作為中國的頂尖學(xué)府，清華大學(xué)承擔(dān)著下一代互聯(lián)網(wǎng)核心網(wǎng)國家工程實驗室建設(shè)項目中的“下一代互聯(lián)網(wǎng)核心網(wǎng)運行管理技術(shù)研發(fā)平臺(簡稱運管研發(fā)平臺)測量系統(tǒng)”的建設(shè)，擬建成“綜合流量采集與分析系統(tǒng)”，為網(wǎng)絡(luò)測量、網(wǎng)絡(luò)管理、探索新型網(wǎng)絡(luò)等業(yè)務(wù)系統(tǒng)提供網(wǎng)絡(luò)流量原始數(shù)據(jù)。

從目前來看，綜合流量采集與分析系統(tǒng)，用于采集和分析實時網(wǎng)絡(luò)流量，需具備8條主干鏈路分組流量的采集和分析能力，以便為網(wǎng)絡(luò)測量、網(wǎng)絡(luò)管理、探索新型網(wǎng)絡(luò)等業(yè)務(wù)系統(tǒng)提供網(wǎng)絡(luò)流量原始數(shù)據(jù)，數(shù)據(jù)容量最大達(dá)540TB。這就要求業(yè)務(wù)平臺必須具備足夠大的存儲容量、高讀寫帶寬以及高效的大數(shù)據(jù)分析能力，才能滿足“綜合流量采集與分析系統(tǒng)”未來的業(yè)務(wù)發(fā)展需要。

而Netflow流采集與分析系統(tǒng)，依托CERNET大規(guī)模試驗網(wǎng)絡(luò)構(gòu)建，用于采集和分析試驗網(wǎng)核心節(jié)點的Netflow流數(shù)據(jù)，支持網(wǎng)絡(luò)研究人員從網(wǎng)絡(luò)全局的角度觀察和分析網(wǎng)絡(luò)行為、網(wǎng)絡(luò)發(fā)展與演進(jìn)規(guī)律，基于現(xiàn)有的分析平臺，要求系統(tǒng)具備連續(xù)12個月流數(shù)據(jù)的存儲能力，并支持未來持續(xù)不間斷的存儲容量擴(kuò)充，為網(wǎng)絡(luò)優(yōu)化和新型網(wǎng)絡(luò)體系結(jié)構(gòu)研究提供網(wǎng)絡(luò)流量采樣數(shù)據(jù)。

根據(jù)以上項目需求，清華大學(xué)在采購IT基礎(chǔ)設(shè)施時考慮如下訴求：

1.如何向大數(shù)據(jù)分析平臺平滑過渡?

整體架構(gòu)和功能設(shè)計應(yīng)該立足于較高起點，在考慮系統(tǒng)性價比的同時應(yīng)兼顧系統(tǒng)的先進(jìn)性和可持續(xù)發(fā)展性，要求存儲硬件平臺采用國內(nèi)外領(lǐng)先的技術(shù)和理念，確保項目在建成后的3～5年內(nèi)保持足夠的先進(jìn)性。綜合流量采集與分析系統(tǒng)具備演進(jìn)能力，建成后可平滑過渡到大數(shù)據(jù)分析平臺。

2.數(shù)據(jù)共享能力是否夠“硬”?

CERNET實驗網(wǎng)全國26個核心節(jié)點每天產(chǎn)生2TB Netflow流數(shù)據(jù)，網(wǎng)絡(luò)流量峰值高達(dá)1.1GB/s，對存儲系統(tǒng)的讀寫性能提出了非常高的要求。同時，采集到的數(shù)據(jù)需要共享給不同的業(yè)務(wù)系統(tǒng)進(jìn)行研究分析，這就同時要求存儲系統(tǒng)具備高效的數(shù)據(jù)共享能力。

3.如何讓存儲系統(tǒng)變得更加“機(jī)靈”?

清華大學(xué)運管研發(fā)平臺將為下一代互聯(lián)網(wǎng)核心網(wǎng)國家工程實驗室提供數(shù)據(jù)服務(wù)，為科研項目提供原始數(shù)據(jù)和分析數(shù)據(jù)樣本，系統(tǒng)的建立必須具備前瞻性，需充分考慮未來5年業(yè)務(wù)的持續(xù)發(fā)展和數(shù)據(jù)急劇增長帶來的擴(kuò)容問題，要求存儲系統(tǒng)具備靈活的擴(kuò)展性，且不影響現(xiàn)有業(yè)務(wù)系統(tǒng)的正常運行。

清華大學(xué)國家工程實驗室大數(shù)據(jù)之路 一路有華為

為達(dá)成項目建設(shè)目標(biāo)，清華大學(xué)對該項目整體方案的把控頗為嚴(yán)謹(jǐn)，在滿足綜合流量采集與分析系統(tǒng)對服務(wù)器及存儲設(shè)備要求的基礎(chǔ)上，還需充分考慮系統(tǒng)向大數(shù)據(jù)平臺演進(jìn)的方案，系統(tǒng)建成之后易可平滑過渡到Hadoop平臺，并具備大數(shù)據(jù)分析計算能力。在對比Dell、宏杉、浪潮方案之后毅然選擇華為整體解決方案。

1.走向“大數(shù)據(jù)之路” 滿足客戶對平臺演進(jìn)能力的要求

針對清華大學(xué)對IT系統(tǒng)的建設(shè)要求，華為推薦采用RH2288H高性能服務(wù)器集群，為綜合流量采集與分析系統(tǒng)提供計算及存儲平臺，以及平滑演進(jìn)到Hadoop大數(shù)據(jù)平臺的能力。針對Netflow流采集與分析系統(tǒng)，華為推薦采用OceanStor N8500集群NAS存儲系統(tǒng)，為該系統(tǒng)提供CIFS/NFS業(yè)務(wù)，實現(xiàn)CERNET實驗網(wǎng)全國26個核心節(jié)點網(wǎng)絡(luò)流數(shù)據(jù)的集中存儲和共享。

此外，華為OceanStor N8500集群NAS存儲系統(tǒng)采用多節(jié)點全Active的集群架構(gòu)，多引擎存儲空間全共享，全面滿足清華大學(xué)對存儲設(shè)備技術(shù)領(lǐng)先的要求。通過華為FusionInsight大數(shù)據(jù)解決方案，可將現(xiàn)有平臺平滑過渡至大數(shù)據(jù)分析平臺，滿足客戶對平臺演進(jìn)能力的要求。

2.數(shù)據(jù)流動自如、存儲擴(kuò)展 滿足運管研發(fā)平臺未來業(yè)務(wù)的擴(kuò)容需求

針對清華大學(xué)對快速高效的要求，華為OceanStor N8500集群NAS存儲系統(tǒng)憑借雙引擎2GB/s的穩(wěn)定讀寫帶寬，贏得客戶青睞;同時，CIFS/NFS/FTP/HTTP等多種數(shù)據(jù)共享方式的靈活選擇，最大程度的方便了不同業(yè)務(wù)系統(tǒng)間的數(shù)據(jù)流動。

憑借scale-out的領(lǐng)先架構(gòu)設(shè)計，OceanStor N8500最高可支持16個節(jié)點，提供高達(dá)15PB的存儲容量，高于業(yè)界同類產(chǎn)品30%以上，同時系統(tǒng)的吞吐能力隨著節(jié)點的增加線性增長。隨著清華大學(xué)數(shù)據(jù)采集業(yè)務(wù)的增長，可在線增加NAS引擎達(dá)到橫向擴(kuò)展性能的目的，同時也可在線增加存儲單元達(dá)到縱向擴(kuò)展容量的目的，滿足運管研發(fā)平臺未來業(yè)務(wù)發(fā)展的擴(kuò)容需求。

目前，該系統(tǒng)運行穩(wěn)定，其大數(shù)據(jù)平臺演進(jìn)能力更為未來的業(yè)務(wù)發(fā)展奠定了堅實的基礎(chǔ)。清華大學(xué)國家工程實驗室走向大數(shù)據(jù)之路 在華為一路相隨下，將走得更遠(yuǎn)、更穩(wěn)健。