福建移動BOSS備份任務執(zhí)行情況評測結(jié)果(2009.1.19-2.18)
當前行業(yè)內(nèi)備份系統(tǒng)的平均水平，可以其它兩個兄弟省份公司的近期備份評估結(jié)果為例，2008年7月8日至7月30日，經(jīng)過對"甲"公司備份系統(tǒng)進行測試后發(fā)現(xiàn)，其中有個服務器不能正常備份，另有一個為營帳數(shù)據(jù)庫BCV（業(yè)務連續(xù)性卷）做磁帶備份的服務器，出現(xiàn)了2次備份失敗，而此服務器備份的都是關鍵數(shù)據(jù)并且數(shù)據(jù)量巨大。。評估期間還發(fā)現(xiàn)，因機房調(diào)整導致備份作業(yè)部份監(jiān)控數(shù)據(jù)的收集中斷，無法得到完整的備份作業(yè)監(jiān)控報告。2009年1月8日至1月20日，在"乙"公司的BOSS備份系統(tǒng)中做備份系統(tǒng)評估時，也發(fā)現(xiàn)和"甲"公司類似的問題，還有個別服務器甚至沒有執(zhí)行部份備份任務。
備份系統(tǒng)技術改進無止境
自2000年至今，福建移動的備份系統(tǒng)建設主要經(jīng)歷了四個階段。
2000年到2003年的第一階段，福建移動在Oracle數(shù)據(jù)庫引入了RMAN數(shù)據(jù)庫物理備份工具，并率先使用Oracle RMAN備份工具結(jié)合EMC Networker備份管理工具進行數(shù)據(jù)庫的在線物理備份管理。
2003年到2006年的第二階段，福建移動BOSS系統(tǒng)集中化改造完成，并形成了大型集中的數(shù)據(jù)中心，備份系統(tǒng)結(jié)構(gòu)上利用了SAN網(wǎng)絡搭建新型的備份系統(tǒng)架構(gòu)，實現(xiàn)了備份存儲資源的虛擬化，以及全面的LAN-free(數(shù)據(jù)不經(jīng)過局域網(wǎng)直接進行備份)備份方式。
福建移動BOSS系統(tǒng)備份發(fā)展歷程
2006年到2008年的第三階段，實現(xiàn)了多個遠程機房組成一套備份SAN網(wǎng)絡，并由一個備份系統(tǒng)管理多個遠程系統(tǒng)數(shù)據(jù)備份，并引入虛擬帶庫和ATA盤陣作為備份存儲介質(zhì)，通過多級備份存儲結(jié)構(gòu)實現(xiàn)自動化的異地備份保存。2007年，福建移動完成了BOSS系統(tǒng)容災建設，在此基礎上，福建移動通過快照數(shù)據(jù)庫的備份，實現(xiàn)了對生產(chǎn)數(shù)據(jù)庫無事務丟失的數(shù)據(jù)恢復。福建移動的BOSS系統(tǒng)設備分布在同城的4個機房，其中一個機房關鍵業(yè)務數(shù)據(jù)量少。于是，福建移動將其它三個機房節(jié)點采用2對DWDM 2GB光纖打通遠程備份通道，形成三個遠程節(jié)點備份SAN網(wǎng)絡，并用一套備份系統(tǒng)管理三個遠程系統(tǒng)的數(shù)據(jù)備份。由于有一個專門的備份SAN網(wǎng)絡，就可以減少生產(chǎn)系統(tǒng)SAN網(wǎng)絡的不穩(wěn)定，減少備份過程對主機HBA卡數(shù)據(jù)流量過高的影響，保證備份方式的靈活性，自動實現(xiàn)異地數(shù)據(jù)備份與保存。與些同時，福建移動整體上實現(xiàn)根據(jù)不同需求進行不同等級的備份。通過引入EMC虛擬帶庫作為備份存儲，虛擬磁帶庫的RAID技術保證了備份數(shù)據(jù)的可靠性，從而解決傳統(tǒng)磁帶庫具有高機械故障率的特點。
從2008年開始進入第四階段，福建移動BOSS建設完成容災系統(tǒng)，利用容災端資源進行數(shù)據(jù)備份。EMC Symmetrix存儲陣列的同步數(shù)據(jù)復制技術，保證了同城模式下容災端數(shù)據(jù)與生產(chǎn)端實時同步。這樣，可將數(shù)據(jù)庫物理備份放在容災端的快照數(shù)據(jù)庫進行，降低生產(chǎn)系統(tǒng)資源開銷的需求，增強了數(shù)據(jù)備份的可靠性。同時，能夠?qū)崿F(xiàn)增量備份，能提供歷史數(shù)據(jù)的恢復需求。
備份系統(tǒng)考驗人員的綜合能力
IT是業(yè)務的后臺，備份又是IT的后臺，備份工作不那么引人注目，但是，實際上，備份工作對相關工作人員的技術和經(jīng)驗要求都很高，需要IT管理人員對主機、服務器、網(wǎng)絡、存儲、操作系統(tǒng)、數(shù)據(jù)庫等方面有全面的知識，特別對數(shù)據(jù)庫的備份和恢復操作非常了解，要能夠結(jié)合業(yè)務需求，規(guī)劃IT架構(gòu)，制定和執(zhí)行備份策略，等等。一個好的備份系統(tǒng)，要考慮備份時間、備份成功率、恢復效率和難易、運維管理工作量等多方面的因素。
關于這一點，看一看福建移動備份系統(tǒng)的結(jié)構(gòu)可以窺見一斑。以下為福建移動備份系統(tǒng)的邏輯架構(gòu)圖。福建移動BOSS備份系統(tǒng)采用EMC Networker備份管理集成軟件。它是一個通用平臺，支持廣泛的數(shù)據(jù)保護選項，包括磁盤備份、復制、連續(xù)數(shù)據(jù)保護，以及跨物理和虛擬環(huán)境的重復數(shù)據(jù)刪除。EMC Networker包含了介質(zhì)管理、備份服務器、存儲節(jié)點、備份客戶端、帶機資源共享、以及數(shù)據(jù)庫備份接口等模塊。其中，RMAN可以實現(xiàn)Oracle數(shù)據(jù)庫動態(tài)物理數(shù)據(jù)的備份與無事務丟失的恢復，并且能自動夠管理備份及保存策略。EMC Networker為RMAN提供NMO接口模塊，使得RMAN能夠通過Networker將備份數(shù)據(jù)寫入磁帶或從磁帶中讀取備份數(shù)據(jù)。福建移動BOSS系統(tǒng)中每天有大量的各種處理階段的話單文件需要保存，在備份系統(tǒng)中采用了EMC Disk-Extender工具進行這些文件的歸檔，Disk-Extender可將文件數(shù)據(jù)在后臺通過制定策略搬遷到ATA盤陣中實現(xiàn)歸檔存放。
福建移動BOSS備份系統(tǒng)邏輯架構(gòu)
從數(shù)據(jù)的角度看，福建移動主要采取了四種備份方式，實現(xiàn)了BOSS系統(tǒng)多類型數(shù)據(jù)的保護。
目前，福建移動BOSS系統(tǒng)備份的具體情況是這樣的，核心數(shù)據(jù)庫服務器白天通過災備服務器進行LAN-Free備份，每六天一次數(shù)據(jù)庫全備份，其他時間增量備份；生產(chǎn)服務器每天備份兩次歸檔日志；數(shù)據(jù)在虛擬磁帶庫保留2個月，每月定期克隆2-4份全備份到磁帶庫。關于客服/話單文件服務器，通過備份服務器進行LAN備份，每天晚上增量備份；數(shù)據(jù)備份到異地的物理磁帶庫中，保留半年到1年不等。
最后，林志云談到一點經(jīng)驗，就是不要將備份系統(tǒng)單純看成是使用備份軟件將生產(chǎn)數(shù)據(jù)備份到備份介質(zhì)上，而應該將其納入到信息生命周期的整體規(guī)劃中來統(tǒng)籌考慮。一般而言，生產(chǎn)數(shù)據(jù)庫數(shù)據(jù)量非常大，做物理備份難度非常高，全備份的時間非常長，并且跟生產(chǎn)時間重合占用資源比較多。一些兄弟公司對數(shù)據(jù)庫采用按區(qū)域劃分的方式，數(shù)據(jù)庫的體積往往很大。福建移動采用按功能劃分的方式，分切得非常多，并根據(jù)數(shù)據(jù)在其生命周期中的不同位置，及時將數(shù)據(jù)移動到不同級別的歷史數(shù)據(jù)庫，以保持生產(chǎn)數(shù)據(jù)庫的瘦身狀態(tài)，這樣可以保證最關鍵的生產(chǎn)數(shù)據(jù)得到及時備份及快速恢復，也使數(shù)據(jù)的整體備份流程和管理工作可以做到規(guī)范化管理，最終取得較高的備份成功率和恢復成功率。
