【力荐】Exadata火线救援:10TB级数据修复经典案例详解!
《【力荐】Exadata火线救援:10TB级数据修复经典案例详解!》要点: 凌晨1点半,朦胧中电话铃狂响,某Exadata严重故障……. 离上一篇文章(5小时数据蒸发||24小时服务降级,Salesforce的遭遇只是个案?)不远,我们又遇到了一次又一次数据救援工作.跟Salesforce巧合的是,大家都是运行在Exadata上,不幸的是Salesforce丢失了4个小时数据(后续没看到新闻稿,是否又追回了部分)业务停顿,那我今天遇到的要麻烦更多. 近期Exadata故障比较多,比较重要的是硬件生命周期所致,X2从2010年9月开始发布上线,到现在已经将近6年,就算传统“高端”小型机也到该下线的时候了.提醒使用Exadata的朋友们做好备份,否则,你可能也要经历一场难忘的救援经历.问题发生得很不可思议,又很理所当然,细节就不说了.总之比较糟糕: 存放数据文件的diskgroup不能加载(mount),celldisk状态是unknown,部分asmdisk的header是invalid的,就连它自动备份的块也是invalid的,有磁盘物理损坏,物理损坏的磁盘没有的mirror也失效了.接近10TB的数据,想想也头疼吧.再说具体数据抢救工作之前,还是提醒下使用ASM/Exadata的朋友们,至少搭建个DataGuard吧,刚好建荣也做了这方面的分享,赶紧去读读. 鉴于问题非常棘手,综合各方信息,我们做了如下的方案:
要将数据库文件(控制文件、数据文件、日志文件)从没有加载的磁盘组中抽取出来,需要借助于AMDU. 抽取的具体步骤:
第一步:抽控制文件先从alert日志找到控制文件位置: 11g开始amdu不需要编译可以直接使用.到/data文件系统,开始操作 在当前目录下会生成一个DATA_266.f的文件和一个report.txt文件,DATA_266.f就是控制文件了. 第二步:找数据文件和日志文件如果你有备份的pfile最好,如果没有,就从alert日志里去找启动的时候的初始化参数,实在没有,手工编辑一个也行,包含sga_max_size,db_name,control_file这几个参数. 然后把数据库启动到mount状态,查找数据文件和日志文件: 运气好,都是这样的(OMF格式): 运气不好,可能是有这样的(自定义格式): 对于OMF格式的,仿照抽取控制文件,一个个抽: 对于自定义格式的,要从<diskgroup>.6去抽取元数据,然后找到其对应的number
for (( i=1; i<15; i++ )) 再依照OMF格式抽取方式抽取出所有数据文件. 值得一说的是,我们遭遇了一个3T的bigfile,extract消耗了将近24小时= =.–NFS挂过去的文件系统速度特别慢= = (编辑:ASP站长网) |