圖 11-2 數(shù)據(jù)中心建設(shè)概況
11.4.1 系統(tǒng)總體結(jié)構(gòu)圖
根據(jù)數(shù)據(jù)中心形式的信息數(shù)據(jù)庫建設(shè)需求分析，系統(tǒng)總體結(jié)構(gòu)（圖11-2）描述如下：
圖 11-2 數(shù)據(jù)中心建設(shè)概況
本項目的存儲網(wǎng)絡(luò)架構(gòu)圖，通過SAN 能夠?qū)⒍喾N數(shù)據(jù)應(yīng)用全面整合起來，其中后端的陣列是整個系統(tǒng)的核心，所有的業(yè)務(wù)數(shù)據(jù)都存在該陣列中，因此陣列本身需要完全冗余架構(gòu)和極高的吞吐性能；SAN 網(wǎng)絡(luò)采用dual Fabric 設(shè)計，采用兩臺交換機構(gòu)成冗余的存儲網(wǎng)絡(luò)；每臺主機（關(guān)鍵業(yè)務(wù)）可以采用兩塊（甚至更多）HBA 跨接到兩臺SAN 交換機上，做的主機到存儲接口冗余；主機層采用HA 配置，因此整個系統(tǒng)是高效而全冗余的。同時也能夠平滑過渡到下階段的容災(zāi)系統(tǒng)。
備份系統(tǒng)也跨接到SAN 網(wǎng)絡(luò)上，這樣所有的備份工作可以大大減輕對于生產(chǎn)網(wǎng)絡(luò)的影響，主機直接通過SAN 將數(shù)據(jù)讀出并寫到帶庫，完全采用FC/SCSI 協(xié)議。
在上述架構(gòu)中，后端的磁盤陣列采用高性能磁盤陣列，作為綜合存儲磁盤陣列。該磁盤陣列代表當(dāng)時行業(yè)的最佳性能、100%數(shù)據(jù)可用性，以及功能豐富的管理軟件。
11.4.2 數(shù)據(jù)庫服務(wù)器設(shè)計
11.4.2.1 數(shù)據(jù)庫系統(tǒng)結(jié)構(gòu)
數(shù)據(jù)庫服務(wù)平臺主要采用動態(tài)分區(qū)、多機集群、并行數(shù)據(jù)庫等技術(shù)，實現(xiàn)多臺數(shù)據(jù)庫主機同時并行訪問數(shù)據(jù)庫，應(yīng)用可以根據(jù)需求均衡到不同主機資源上同時工作，多機互為備份。這種機制依靠系統(tǒng)提供的系統(tǒng)硬件、操作系統(tǒng)集群軟件、與數(shù)據(jù)庫提供的并行技術(shù)來滿足要求。數(shù)據(jù)庫支持?jǐn)?shù)據(jù)分區(qū)技術(shù)，通過數(shù)據(jù)庫分區(qū)技術(shù)提高查詢效率。同時，與數(shù)據(jù)庫服務(wù)平臺相配合，采用專用數(shù)據(jù)采集處理服務(wù)器，負(fù)責(zé)數(shù)據(jù)采集工作，各數(shù)據(jù)庫的數(shù)據(jù)采取分別匯集，單點入庫的數(shù)據(jù)更新策略。
數(shù)據(jù)庫服務(wù)器系統(tǒng)圖如下：
圖 11-3 數(shù)據(jù)服務(wù)器示意圖，以IBM 產(chǎn)品為例
數(shù)據(jù)庫服務(wù)器選用高性能UNIX 服務(wù)器，每臺 高性能UNIX 服務(wù)器劃分成2 個分區(qū)，每個分區(qū)配置8 路1.7GHz CPU、16GB 內(nèi)存、2 塊千兆光纖網(wǎng)卡、2 塊15000 轉(zhuǎn)73G 硬盤、2 塊2GB 光纖通道卡。對應(yīng)分區(qū)通過 HACMP 軟件實現(xiàn)群集。
根據(jù)設(shè)計要求：“當(dāng)前配置tpmC =(TPMC 基準(zhǔn)值* 實際CPU 數(shù)目* 實際CPU 主頻)/ (基準(zhǔn)CPU 數(shù)目*基準(zhǔn)CPU 主頻)”
(768,839*16*1.7)/(32*1.7)=384,420tpmC
數(shù)據(jù)來源www.tpc.org
11.4.3 存儲系統(tǒng)設(shè)計
11.4.3.1 存儲系統(tǒng)結(jié)構(gòu)
圖 11-4 網(wǎng)絡(luò)存儲結(jié)構(gòu)圖
上圖為數(shù)據(jù)存儲部分的系統(tǒng)架構(gòu)示意圖。
整體架構(gòu)采用SAN-存儲局域網(wǎng)的架構(gòu)搭建，分為主機、交換機和存儲設(shè)備三個層面：
1、主機層面
前端服務(wù)器每臺通過兩塊光纖卡（以下簡稱HBA 卡）跨接到兩臺光纖交換機上，構(gòu)成冗余鏈路；
2、光纖交換機
利用兩臺16 口光纖交換機作為SAN 的骨干設(shè)備，連接主機和存儲設(shè)備；
3、存儲設(shè)備
主存儲設(shè)備：核心磁盤陣列存儲所有系統(tǒng)的數(shù)據(jù)。該磁盤陣列通過1 對（2 塊）接口卡分別跨接到兩臺光纖交換機上，構(gòu)成冗余鏈路
近線存儲設(shè)備：近線備份目標(biāo)磁盤陣列使用采用STAT 磁盤的廉價磁盤陣列，離線備份目標(biāo)帶庫采用設(shè)計方案已有的帶庫。
11.4.3.2 主存儲系統(tǒng)方案
目前存儲區(qū)域網(wǎng)（SAN）是解決海量存儲問題的主流解決方案，也是本項目建設(shè)要求的解決方案，同時也支持NAS 方式。數(shù)據(jù)中心形式的信息數(shù)據(jù)庫建設(shè)數(shù)據(jù)庫及其應(yīng)用系統(tǒng)相關(guān)的數(shù)據(jù)庫即將統(tǒng)一存儲到大容量高性能的存儲設(shè)備上，存儲設(shè)備與主機群之間通過SAN光纖交換機互聯(lián)（具有冗余聯(lián)接），同時數(shù)據(jù)備份設(shè)備也通過光纖交換機聯(lián)接以提高備份效率，減輕網(wǎng)絡(luò)和主機的壓力。
在本方案中，存儲工程師使用高檔全光纖磁盤陣列為主存儲系統(tǒng)，從用戶的投資、需求綜合分析，推薦了極佳的性能價格比的產(chǎn)品，用戶可以根據(jù)性能要求、擴(kuò)展性要求、價格需求等因素來選擇。
根據(jù)數(shù)據(jù)中心形式的信息數(shù)據(jù)庫建設(shè)該設(shè)計的需求，為了提高主磁盤陣列的性能，在該設(shè)計中推薦配備15000RPM 的73GB 磁盤。
磁盤陣列在各方面均應(yīng)充分?jǐn)U展，并能夠充分滿足今后業(yè)務(wù)發(fā)展過程中數(shù)據(jù)遷移、系統(tǒng)容災(zāi)的要求：
1）硬件方面
所有重要部分均應(yīng)在線擴(kuò)容??前端接口、磁盤控制卡、緩存、磁盤等。
2）軟件方面
可選擇不同的軟件實現(xiàn)性能優(yōu)化、數(shù)據(jù)遷移和數(shù)據(jù)容災(zāi)等：
3）所有維護(hù)和擴(kuò)容均應(yīng)在用戶現(xiàn)場、不中斷應(yīng)用的情況下完成
11.4.3.3 近線備份系統(tǒng)
傳統(tǒng)的數(shù)據(jù)存儲一般分為在線(On-line)存儲及離線(Off-line)存儲兩級存儲方式。所謂在線存儲就是指將數(shù)據(jù)存放在磁盤系統(tǒng)上，而離線則是指將數(shù)據(jù)備份到磁帶上。硬盤的優(yōu)點是速度快，特別是隨機訪問能力強，但單位容量成本高，適合需要頻繁訪問的數(shù)據(jù)存儲；磁帶善于傳輸流式數(shù)據(jù)，介質(zhì)與驅(qū)動器相分離的特性決定了其單位容量成本低廉，保存數(shù)據(jù)的安全性也較高，適合數(shù)據(jù)備份。
但隨著數(shù)據(jù)量的猛增，這種只使用在線和離線兩級存儲的策略已經(jīng)不能適應(yīng)企業(yè)的需求。一方面，用戶有越來越多的數(shù)據(jù)在一定時期內(nèi)仍需要訪問，如果備份到磁帶上，則讀取的速度太慢，而保持在線狀態(tài)，又會因訪問頻度不高而占用寶貴的存儲空間；另一方面，用戶要求“備份窗口”越來越小，備份設(shè)備要具有更快的速度，以縮短備份時間，而帶基設(shè)備與盤基設(shè)備相比還不夠快。
由此產(chǎn)生了數(shù)據(jù)的分級存儲管理（HierarchicalStorageManagement，HSM）。分級存儲管理是一種將非在線存儲與在線存儲融合的技術(shù)。它以數(shù)據(jù)生命周期的不同階段來決定存儲的位置，從而在在線存儲與離線存儲之間誕生了第三種存儲方式—-近線(Near-line)存儲，使存儲網(wǎng)絡(luò)從“在線–離線”的兩級架構(gòu)向“在線–近線–離線”的三級架構(gòu)演變。近線存儲的特點是性能接近在線存儲，而成本接近離線存儲。
根據(jù)大型信息數(shù)據(jù)庫存儲系統(tǒng)分析結(jié)果，存儲容量約為16TB，考慮適當(dāng)冗余和“快照”備份，存儲陣列實配容量應(yīng)大于20TB，存儲陣列最大擴(kuò)展容量應(yīng)不低于64TB。
基于存儲區(qū)域網(wǎng)技術(shù)，滿足數(shù)據(jù)中心形式的信息數(shù)據(jù)庫建設(shè)數(shù)據(jù)庫和應(yīng)用系統(tǒng)相關(guān)數(shù)據(jù)庫，以及運行于其上的業(yè)務(wù)系統(tǒng)、查詢系統(tǒng)、數(shù)據(jù)分析系統(tǒng)的要求，必須增強數(shù)據(jù)存儲核心，選擇高性能存儲陣列，LUN 數(shù)量應(yīng)≥2048，系統(tǒng)IOPS≥240000（吞吐量大于1540 M/S）。
其基本性能需求分析如下：
1、在存儲系統(tǒng)中，處理器主要完成I/O 處理、Cache 控制管理、數(shù)據(jù)傳輸控制以及一些智能化的軟件運行功能，處理器的能力直接影響到整個存儲系統(tǒng)的性能?？紤]到不同廠商存儲所采用的CPU 性能差異較大、主處理器所承擔(dān)的任務(wù)也有所區(qū)別，應(yīng)在給出實際處理器配置數(shù)量的同時給出性能指標(biāo)、承載任務(wù)分析，CPU 實配數(shù)量不低于16 個。
2、磁盤本身性能也決定存儲系統(tǒng)整體性能，通常磁盤性能以轉(zhuǎn)速、尋道時間等技術(shù)指標(biāo)衡量，考慮到性價比，推薦采用15K rpm 的磁盤。
3、對于數(shù)據(jù)庫等大數(shù)據(jù)量訪問應(yīng)用，緩存越大，性能越好，本項目實配存儲容量應(yīng)與Cache 的容量配置成比例配置，按大于16GB 考慮，最大可擴(kuò)展到128GB。
11.4.4 負(fù)載均衡系統(tǒng)設(shè)計
考慮到系統(tǒng)的高并發(fā)訪問量和系統(tǒng)應(yīng)用需求的快速增長，項目建設(shè)明確制定了Web 服務(wù)層、應(yīng)用服務(wù)層規(guī)劃：走橫向擴(kuò)容、持續(xù)發(fā)展的道路，以服務(wù)器群、交易中間件滿足不斷增長且趨于復(fù)雜化的用戶訪問請求、提高訪問處理和響應(yīng)能力。遵循這一規(guī)劃，Web 信息發(fā)布層、應(yīng)用服務(wù)層考慮了以下因素：
1、支持橫向擴(kuò)容的負(fù)載均衡器。
2、提高系統(tǒng)可靠性的集群或熱備技術(shù)應(yīng)用
3、各層服務(wù)器本身構(gòu)架、性能、配置要滿足需求。
本系統(tǒng)中采用業(yè)界領(lǐng)先的全千兆負(fù)載均衡解決方案：（千兆光纖端口+千兆以太網(wǎng)端口）方案中，可以采用兩臺 IP 應(yīng)用交換機BIGIP 安全流量交換機6400 作為冗余，為中間件服務(wù)器和應(yīng)用服務(wù)器做負(fù)載均衡，并且SSL 加速功能。所有服務(wù)器均配置冗余千兆網(wǎng)卡與兩臺BIGIP6400 相連，這樣無論是其中的一個服務(wù)器網(wǎng)卡故障還是一臺BIGIP6400 故障，都不影響業(yè)務(wù)的正常運行。
圖11-5 負(fù)載均衡設(shè)計圖
方案的特色：
11.4.5 應(yīng)用服務(wù)器、瀏覽服務(wù)器和數(shù)據(jù)處理前置機設(shè)計
應(yīng)用服務(wù)器層主要負(fù)責(zé)業(yè)務(wù)邏輯處理，用戶請求的連接處理和數(shù)據(jù)庫端或其他應(yīng)用系統(tǒng)的連接處理，以及業(yè)務(wù)處理過程實現(xiàn)。用戶多層體系結(jié)構(gòu)要求應(yīng)用服務(wù)器與Web 服務(wù)器物理獨立，考慮到應(yīng)用服務(wù)器對處理能力、系統(tǒng)穩(wěn)定性的要求均大大高于數(shù)據(jù)表現(xiàn)層，關(guān)鍵應(yīng)用采用Unix 服務(wù)器，其他應(yīng)用可考慮刀片式微機服務(wù)器，建立多機集群環(huán)境。
本方案中間一的應(yīng)用服務(wù)器采用中檔UNIX 服務(wù)器，實配單臺處理能力不低于70000tpmC，中檔UNIX 服務(wù)器 采用4 路1.45GHz CPU（可擴(kuò)≥8 路），8GB 內(nèi)存（可擴(kuò)≥64GB），73G 硬盤2 塊，4 塊千兆光纖網(wǎng)卡。
瀏覽服務(wù)器群和數(shù)據(jù)處理前置機采用工業(yè)級刀片服務(wù)器，每臺配置2 路Xeon MP2.7GHz CPU（可擴(kuò)≥4 路），8GB 內(nèi)存，2 塊73GB 硬盤，2 塊2GB 千兆光纖通道卡。系統(tǒng)架構(gòu)中該層面應(yīng)不少于2 臺小型機，4 臺微機服務(wù)器，以滿足峰值下信息訪問的需求。
