西瓜哥 發(fā)表于:14年05月14日 21:00 [原創(chuàng)] DOIT.com.cn
存儲在線 專欄文章:今天我們來解讀一則新聞,也就是華為驗證40PB單一文件系統(tǒng)的新聞《華為大數(shù)據(jù)存儲實現(xiàn)統(tǒng)一管理40PB文件系統(tǒng)》。
華為上周發(fā)布這個新聞后,在業(yè)界引起了較大的反響。但我也聽到有人說,華為有必要這么折騰嗎,感覺這么做不就是人多錢傻嗎?(西瓜哥沒敢用人傻錢多這個詞,怕被西瓜扁,O(∩_∩)O哈。
大家知道,存儲廠商一般宣傳自己的性能強大,為了證明這點,都會通過第三方機構進行性能的PK測試,比如華為的OceanStor 9000去年就在SPEC(Standard Performance Evaluation Corporation,標準性能評測機構)測試,創(chuàng)造了一個500萬OPS的世界最快NFS記錄。
這個性能的PK是有意義的,因為是第三方機構,客戶容易認可,在市場競爭中有非常大的意義。
但極限容量驗證,真的有必要嗎?HDS VSP號稱可以虛擬化256PB的第三方存儲,好像沒有看到類似的驗證。而且容量的驗證可是沒有第三方的驗證機構,你就說支持這么大容量就可以了,反正客戶一般也用不了這么大容量。再說了,就算你驗證了,客戶也未必信啊。因為沒有第三方驗證。
那么,華為做這個吃力不討好的極限驗證有啥意義呢?西瓜哥開始也以為是否華為人多錢傻,但這兩天咨詢了一些業(yè)內人士的意見,發(fā)現(xiàn)其實不是這么簡單。
我們知道,華為OceanStor 9000號稱支持288個節(jié)點,40PB的容量。而且支持單一文件系統(tǒng)。要驗證這個容量的極限,物料的成本肯定是很高的。
為了給大家一個直觀的印象,我們看一下其中一個華為CE12800交換機上的網(wǎng)線,就知道這是一個多么龐大的工程。
再用數(shù)字來闡述一下硬件配置:每個節(jié)點配置35塊4TB SATA硬盤,1塊200GBSSD,兩張10GE卡,48GB內存,2顆IntelXeon E5-2420-6Core CPU,共計10080塊4TBSATA硬盤,288塊200GB SSD,13824GB內存,576顆CPU(共3456核)。
再說一下網(wǎng)絡:如果采用非標準組網(wǎng),后端和前端分別使用了一臺華為CE12812 10GE交換機,每臺交換機包含576個10GE端口。每個節(jié)點出兩根光纖連接交換機,作為后端通道,288個節(jié)點共計576根光纖。另外出一根光纖連接交換機作為前端通道,288個節(jié)點共計288根光纖?蛻舳瞬捎72臺壓力機,每臺壓力機出4根光纖連接交換機,共計288根光纖。整個組網(wǎng)前后端共計1152根光纖,其中576個為后端,576為前端。如果采用標準組網(wǎng),那么網(wǎng)絡的規(guī)模還需要翻翻。(這里一根包含收發(fā),其實就是一對的意思)
不知道這10000塊硬盤有多少耗電量,不過,光這1000多對光纖,估計就可以把西瓜哥壓死了。
為什么華為愿意去做這種好像是人多錢傻的事情?問了一下業(yè)內的人士,總結了幾點原因:
1. 華為OceanStor 9000的主要競爭對手是EMC ISILON,雖然現(xiàn)在華為的產(chǎn)品性能上已經(jīng)勝出,容量上華為宣傳40PB,而ISILON宣傳20PB,大家都是單一文件系統(tǒng)。但據(jù)說ISILON驗證過15PB的容量,而且ISLION業(yè)界應用很多。華為的是新產(chǎn)品,需要驗證一下,給客戶以信心;
2. 客戶的數(shù)據(jù)增長很快,F(xiàn)在很多客戶雖然沒有40PB的數(shù)據(jù),但預計3-5年內超過20PB數(shù)據(jù)的客戶很多。因此,客戶也非常關注系統(tǒng)的擴展能力;
3. 驗證40PB下解決方案的能力。大家知道,幾十個節(jié)點和幾百個節(jié)點對系統(tǒng)的要求是不一樣的,有一個量變到質變的過程。比如你28個節(jié)點自動部署很簡單,288個節(jié)點部署可能就不成功,就像VDI的啟動風暴一樣。這個只有在極限的情況下,才能暴露很多小規(guī)模場景下不會出現(xiàn)的問題。
4. 除了驗證40PB的單一文件系統(tǒng)的容量極限外,其實也同時可以驗證大規(guī)模系統(tǒng)的穩(wěn)定性,故障修復的快慢,節(jié)點增刪對系統(tǒng)的影響,性能是否線性增長,可維護性和可服務性,大規(guī)模系統(tǒng)在線升級,甚至可以跑具體的應用,驗證超百億文件的支持情況等等。其實,由于Oceanstor 9000采用的是通用的硬件構造的一種全分布的大數(shù)據(jù)平臺,因此,這種大規(guī)模的驗證更多是驗證軟件的健壯性。
由于這是一種內部的驗證,華為比較聰明,找來了CPU廠商英特爾、硬盤廠商希捷以及NVDIMM廠商AgigA Tech來共同見證,增加可信度,并且可以得到廠商的技術支持。INTEL和希捷大家都比較熟悉,而AgigA Tech是提供非易失內存的廠商,也就是系統(tǒng)掉電后,內存的數(shù)據(jù)可以保留。由于OceanStor 9000采用分布式元數(shù)據(jù)的架構,因此,每個節(jié)點上都有元數(shù)據(jù),未來提高可靠性,節(jié)點掉電后,內存的數(shù)據(jù)需要得到保護。而AgigA Tech采用最新的NVDIMM技術,不需要電池(維護麻煩,有充放電次數(shù)問題),采用超級電容的方式,掉電后內存的數(shù)據(jù)會快速寫入板載的閃存芯片里,大大提高系統(tǒng)的可靠性。
綜上所述,華為的這個40PB單一文件系統(tǒng)驗證意義還是很大的,也只有大廠才有能力做這種極限測試,畢竟這個是非常勞民傷財?shù)氖虑。但這個也會給客戶一些信心,特別是在現(xiàn)在這個宣傳指標虛高的社會環(huán)境。據(jù)說華為以后還要搞100PB,200PB甚至EB級別的極限驗證。
不知道各位親是否也認為華為這些極限驗證也是人多錢傻的事情呢?
希望大家積極反饋你的意見和建議,微信掃描如下二維碼,關注微信公眾號“高端存儲知識”,與作者微信互動。通過掌上DOIT移動客戶端,您可以訂閱西瓜哥專欄,第一時間獲得知名專家和業(yè)界領袖的深度剖析與趨勢分析。