作為一個能夠實時為使用者提供大量信息的多媒體信息系統(tǒng)，我社多媒體信息數據庫系統(tǒng)包括了大型服務器SUN E10000、Oracle數據庫、EMC存儲磁盤陣列、ADIC磁帶庫、App Servers和Web Server環(huán)境及其應用等一系列軟硬件設備，系統(tǒng)結構相當復雜；同時本系統(tǒng)的數據量也非常龐大，用戶訪問量不斷增加。如何實施安全高效的數據存儲與全局管理，讓用戶隨時都可以合理、高效、安全、可靠地利用這些數據資料，避免因突發(fā)事件導致系統(tǒng)不可用或數據毀壞丟失，是我們建設數據存儲系統(tǒng)時要解決的關鍵問題。
為確保這些數據的萬無一失，主機擴容和備份項目組本著著眼應用需求、注重開放性及可擴展性、避免投資浪費等標準，基于不斷擴展、穩(wěn)步推進的實施策略，從眾多廠商中選擇與VERITAS公司合作，分三個階段實施了數據保護及高可用性解決方案。
在整個項目實施的第一階段，我們采用了集中存放、多級存儲的方式來組織管理多媒體信息數據庫的數據。系統(tǒng)結構如下圖所示：
從圖中可以看出：SUN E10K通過主備方式劃分成為２個域（Domain1與Domain2）形成集群環(huán)境，并通過２條心跳線進行探測性通訊，以保證主機系統(tǒng)的高可靠性；EMC Symmetrix通過光纖以冗余方式連接在E10K的2個域上，并在盤陣的內部做硬件級的RAID 1的鏡象保護，提供在磁盤系統(tǒng)的高可靠性；ADIC磁帶庫的機械手和磁帶機均通過SCSI Channel連接到２個分區(qū)上形成冗余連接，以提供帶庫硬件的故障切換基礎。
我們采用了VERITAS Cluster Server集群軟件對SUN E10K的兩個分區(qū)進行保護。實施效果表明：這樣可以構造SUN E10K主機和EMC的Symmetrix存儲子系統(tǒng)的高可用性系統(tǒng)，保證本地業(yè)務運行不間斷，進而很好地達到了雙機熱備份的目的。
同時，考慮到對現有及今后增加的磁盤陣列都需要進行在線管理，我們采用了VERITAS Volume Manager（卷管理器）來實現對磁盤陣列的靈活有效管理。無論是原來的SCSI模式，還是將來的SAN模式，也無論是現有的EMC單一存儲系統(tǒng)，還是將來可能增加的多品牌存儲系統(tǒng)，在VERITAS Volume Manager的管理之下，都可以通過統(tǒng)一接口實現對各種磁盤陣列的支持，并在不同的磁盤陣列之間提供Raid0,1,0+1,1+0,5等各種軟件容錯方案，同時支持SCSI模式到SAN模式的在線轉換，轉換前后也無需對應用及數據庫作任何改動。
第一階段的項目實施完畢后，對于當時的應用而言，存儲系統(tǒng)是一個效率好、可靠性高、可擴展的數據存儲體系結構。但根據我們的估算，未來3年內盤陣上存放的數據量將達到2-3TB，而現有系統(tǒng)架構中的盤陣與磁帶庫并存、主機連接直接存儲的結構都局限了整個系統(tǒng)的效率和資源，我們必須在下一階段的建設中突破現有的硬件瓶頸，通過軟件技術構造一個更加完善的存儲系統(tǒng)，進一步提高系統(tǒng)性能和可靠性。
在第一階段利用VERITAS Cluster Server和VERITAS Volume Manager實現了系統(tǒng)高可用性及磁盤陣列的靈活有效管理之后，不斷增長的數據量要求我們必須突破硬件瓶頸，利用VERITAS的軟件技術進一步提高系統(tǒng)性能和可靠性。
為此，我們在第二階段采用了SAN架構下的LAN Free備份模式：借助VERITAS的磁帶存儲資源共享（SSO）技術，任何一臺服務器都可將數據從磁盤直接寫入磁帶庫，快速完成海量數據的備份。另一方面，由于數據流可直接從磁盤陣列傳到帶庫內，無需占用網絡帶寬，因此在實現Oracle數據庫在線熱備份的同時不會影響數據的傳輸效率，確保了業(yè)務的連續(xù)性。
LAN Free模式的成功實施得益于我們在第一階段采用了擴展性極強的VERITAS NetBackup備份軟件。與其他備份管理軟件常見的C/S二層結構要擴展時必須增加多個主機服務器相比，NetBackup具有獨特的三層架構，我們在擴展新的應用時只需要增加一個介質服務器，而所有的備份管理都可以在原來的主服務器上實現。
第二期項目實施完畢后， SUN E10K主機作為多媒體數據庫系統(tǒng)最主要的數據處理中心，承擔了提供外部訪問服務、接受新上傳的圖片文件等工作。我們在這臺主機上劃分了兩個分區(qū)（Domain1和Domain2）， 數據庫和應用都在Domain1上運行。如果Domain1出現問題，系統(tǒng)會通過VERITAS Cluster Server將數據庫及應用服務自動切換到Domain 2上。由于目前的數據訪問為獨占的方式，即只能由一臺機器對數據進行讀寫，因此大量的數據備份工作均由Domain 1完成。這樣一來，Domain 1需要備份的數據量非常大，容易導致備份期間系統(tǒng)性能的下降，影響系統(tǒng)提供正常的服務；另一方面由于系統(tǒng)中的其他主機無法訪問這些數據，也就無法分擔Domain 1的工作，使Domain 1負載過大。而當Domain 1出現問題需要將任務切換到Domain 2時，文件系統(tǒng)和邏輯卷的修復會導致相當長的應用切換時間，也會影響系統(tǒng)的正常運行。
針對上述問題，我們采用了VERITAS的共享文件系統(tǒng)產品 SPFS / HA，提供一種系統(tǒng)負載分攤機制，在減輕Domain 1壓力的同時提升系統(tǒng)的故障切換效率。具體實現方式如下圖所示：
圖中的Domain 3是我們新增加的BCV管理控制系統(tǒng)。3個Domain在VERITAS SANPoint Foundation SuiteTM HA的管理下，均可通過SAN光纖高速并行訪問共享的文件。在這種模式下，無需對現有的應用程序進行修改，Domain 2即可承擔Domain1的部分中圖的處理工作。在數據共享后，Domain 1、2可以共同提供新聞數據的訪問工作。同時由于另一個服務器只需要重新啟動失效的服務器應用程序，而不需要輸出和安裝文件系統(tǒng)和邏輯卷，所以能大大減少應用程序的故障切換時間。利用SPFS/HA多服務共享文件和數據的能力，可以讓應用服務和數據備份服務分布在不同的服務器上，極大地縮減了計劃內應用系統(tǒng)維護所造成的數據庫服務器的停機時間。
為進一步提高系統(tǒng)性能，我們還采用了VERITAS NetBackup ServerFree產品，借助系統(tǒng)靜默、Frozen Image Service、映射（Mapping）等關鍵技術，使備份的數據流不再經過Domain 1和Domain 2，而是由備份代理直接從磁盤讀取數據后再備份到帶庫上。這樣，備份的大部分任務就被轉移到了一臺單獨的備份代理上，大大減輕了備份作業(yè)對于Domain 1和Domain 2性能的影響。
至此，我社多媒體信息系統(tǒng)的備份解決方案基本實施完畢?？v觀整個項目實施的三個階段，不難發(fā)現每個階段之間是相互關聯、環(huán)環(huán)相扣的。這一方面得益于我們遵循了整體布局、層層推進的策略，另一方面VERITAS解決方案所具有的良好可擴展性也尤為重要。隨著我社業(yè)務的擴展以及對系統(tǒng)結構的完善，今后我們將借助不斷發(fā)展的存儲技術，建立集中、有序、安全、高效的數據管理系統(tǒng)。
