“我們正在達(dá)到一個(gè)與以往都不同的重要轉(zhuǎn)折點(diǎn)。傳統(tǒng)數(shù)據(jù)流，是將主存儲(chǔ)幾乎都在在線存儲(chǔ)，拷貝和遷移到標(biāo)準(zhǔn)歸檔和備份設(shè)備上。在新型數(shù)據(jù)流下，人們把速度要求最高的數(shù)據(jù)放在高速閃存上，實(shí)現(xiàn)了對低成本近線數(shù)據(jù)的高速訪問，基于策略、低成本且具有可擴(kuò)展性的永久性內(nèi)容歸檔。”

“這種轉(zhuǎn)變在技術(shù)上產(chǎn)生了對關(guān)鍵技術(shù)的新需求，我的工作就是將這些新需求變成現(xiàn)實(shí)。”Ivan Pittaluga這樣說道。

作為昆騰大數(shù)據(jù)戰(zhàn)略的代表，StorNext的核心是共享的存儲(chǔ)平臺，高速訪問存儲(chǔ)文件，再加上文件存儲(chǔ)管理以及不同存儲(chǔ)介質(zhì)之間的分級存儲(chǔ)。

StorNext貫穿整個(gè)數(shù)據(jù)的生命周期，從左到右是數(shù)據(jù)的產(chǎn)生、獲取、分發(fā)和歸檔

最新StorNext 5.0的設(shè)計(jì)正是也為了符合新型數(shù)據(jù)流的趨勢。它重新設(shè)計(jì)了元數(shù)據(jù)的布局和空間分配，針對固態(tài)盤對元數(shù)據(jù)日志進(jìn)行優(yōu)化，提供FSM壓縮/未壓縮的兩級緩存，避免文件系統(tǒng)進(jìn)程訪問磁盤，更高密度地保存元數(shù)據(jù)。

此外還有文件碎片跟蹤記錄管理功能、固態(tài)盤優(yōu)化、LTFS磁帶歸檔、InfiniBand支持和重新設(shè)計(jì)的緩沖機(jī)制。按照昆騰的說法，現(xiàn)在Stornext 5.0可以存儲(chǔ)50億個(gè)文件，數(shù)據(jù)規(guī)模達(dá)到數(shù)十PB。

除了可擴(kuò)展性和性能之外，新型數(shù)據(jù)流還需要永久數(shù)據(jù)保留和云存儲(chǔ)的技術(shù)，代表產(chǎn)品就是昆騰從14財(cái)年第一季度剛剛開始出貨的Lattus對象存儲(chǔ)，其定位是作為高可擴(kuò)展且的永久性長期磁盤歸檔。

Lattus主要用于保存海量數(shù)據(jù)，有比較強(qiáng)的擴(kuò)展能力(100PB以上)，可以將數(shù)據(jù)分布到多個(gè)不同地理位置，帶有自我治愈和自我遷移的功能，比傳統(tǒng)RAID使用的磁盤更少，所以成本更低。“對中國客戶來說，很難回答Lattus是否會(huì)取代RAID，準(zhǔn)確的說它既可以作為RAID的替代品也是一種輔助。”

Lattus是多種技術(shù)的結(jié)合體：下一代對象存儲(chǔ)，扁平的命名空間，將數(shù)據(jù)切塊直接存儲(chǔ)各個(gè)位置，得到一個(gè)key并采用HTTP REST接口;Forward Error correction(FEC)算法把編碼數(shù)據(jù)的多個(gè)副本分布保存到多個(gè)存儲(chǔ)節(jié)點(diǎn)，這是一項(xiàng)已經(jīng)運(yùn)用于通信行業(yè)的成熟技術(shù)。

此外，Lattus還需要一種智能機(jī)制將數(shù)據(jù)從在線存儲(chǔ)搬到歸檔存儲(chǔ)，層到層的拷貝，從二級存儲(chǔ)到客戶端的直接讀取，二級存儲(chǔ)之間的遷移，以及在線災(zāi)難恢復(fù)數(shù)據(jù)可訪問。同時(shí)，元數(shù)據(jù)可以分散到不同地理位置，這樣就可以異地更新目錄信息并直接訪問在線存儲(chǔ)的數(shù)據(jù)。

在大數(shù)據(jù)概念出現(xiàn)之后，昆騰的StorNext從原來注重單個(gè)數(shù)據(jù)性能開始轉(zhuǎn)向注重并發(fā)整體的數(shù)據(jù)性能要求，而且加強(qiáng)了高性能工作流以及Hadoop實(shí)時(shí)處理。

左邊是StorNext，右邊是Hadoop集群，上面橘色的是Lattus云存儲(chǔ)。Hadoop產(chǎn)生在線運(yùn)算，長期不活躍的數(shù)據(jù)保存到StorNext，在根據(jù)智能策略遷移到Lattus。Hadoop只要通過API就可以直接訪問Lattus上的數(shù)據(jù)。將來，Hadoop可以將數(shù)據(jù)直接保存到StorNext主存儲(chǔ)或者直接存到Lattus，也可以通過這兩種路徑直接回取數(shù)據(jù)

除了硬件之外，昆騰在管理方面也做了針對大數(shù)據(jù)的設(shè)計(jì)，提出了所謂的“Mint”——Management Interface。Mint是管理StorNext和其他昆騰產(chǎn)品的統(tǒng)一界面(1.0版本的發(fā)布是面向StorNext的)，同時(shí)也是集成Lattus和Q-disk的開放平臺。

Mint的主要功能包括系統(tǒng)管理、配置、警報(bào)、通知和健康檢查;性能監(jiān)控和儀表;提供關(guān)于趨勢、成本使用率、預(yù)測和扣款的報(bào)告，是針對企業(yè)級客戶的Web服務(wù)。

總的來看，盡管最新的財(cái)報(bào)數(shù)據(jù)有些令人擔(dān)憂，但是昆騰正在通過向大數(shù)據(jù)的積極轉(zhuǎn)型，調(diào)整著發(fā)展節(jié)奏，并期待借此注入新的增長動(dòng)力。“昆騰在中國也在慢慢轉(zhuǎn)型，雖然目前中國大數(shù)據(jù)業(yè)務(wù)收入占總收入的20%，但是未來三到五年，我們的投資方向和收入增長將全部放在大數(shù)據(jù)上。”

zhenglei