存儲(chǔ)在線 12月2日北京報(bào)道：2014（第 十屆）中國(guó)存儲(chǔ)峰會(huì)今天在北京召開，大會(huì)以“掌控?cái)?shù)據(jù)經(jīng)濟(jì)，重塑商業(yè)價(jià)值”為主題，詮釋在IT走向DT時(shí)代下，如何通過(guò)數(shù)據(jù)重塑商業(yè)價(jià)值。大會(huì)共邀請(qǐng)了 16位頂尖第三方嘉賓，數(shù)十位專家，帶來(lái)了35場(chǎng)前瞻性演講＋2場(chǎng)圓桌討論，并首次推出硅谷創(chuàng)始人訪談和存儲(chǔ)夜宴活動(dòng)！

在大數(shù)據(jù)分論壇，知名微信自媒體作者西瓜哥，帶來(lái)了《大數(shù)據(jù)時(shí)代下的高端存儲(chǔ)架構(gòu)演變》專題演講，以下是現(xiàn)場(chǎng)演講內(nèi)容實(shí)錄：

首先，感謝DOIT給這個(gè)機(jī)會(huì)，讓自媒體也可以發(fā)出自己的聲音了。因?yàn)樽悦襟w的比較少，我今天講的內(nèi)容還是聚焦我研究的高端存儲(chǔ)架構(gòu)。大家可能會(huì)想到高端存 儲(chǔ)跟大數(shù)據(jù)好像沒(méi)有特別多的關(guān)系。我今天講的可能是比較窄的大數(shù)據(jù)。首先，這是我個(gè)人的介紹，我是有一個(gè)自己的高端存儲(chǔ)個(gè)人的公眾號(hào)，每天晚上會(huì)寫寫我今 天學(xué)了什么。還有一個(gè)傳送門網(wǎng)站，它也收錄了我所有的歷史文摘。大家從百度上搜索存儲(chǔ)西瓜哥，在DOIT上搜索西瓜哥也能搜到我的文章。大家如果有什么問(wèn) 題，會(huì)后通過(guò)微信平臺(tái)，都可以和我溝通。

我講一下我的觀點(diǎn)，我想講高端存儲(chǔ)架構(gòu)，但是這是大數(shù)據(jù)的論壇，所以要靠點(diǎn)題。其實(shí)也不能說(shuō)高端存儲(chǔ)和大數(shù)據(jù)沒(méi)有關(guān)系，其實(shí)大數(shù)據(jù)業(yè)務(wù)是一個(gè)業(yè)務(wù)的視角，從 用戶角度看，大數(shù)據(jù)解決什么問(wèn)題。一般這個(gè)圈子有兩種生態(tài)圈，一種是基于Hadhoop這種開源的工具，技術(shù)，大數(shù)據(jù)的存儲(chǔ)，包括它的分析、工具。但是， 企業(yè)里面很多人用的也是比較成熟的，比如Oracle、SAP。這么分，其實(shí)在商用生態(tài)圈，高端存儲(chǔ)其實(shí)還是企業(yè)里面比較明顯的選擇。我跟公安客戶交流 過(guò)，像公安里面很多大數(shù)據(jù)的業(yè)務(wù)。高端存儲(chǔ)并不完全是分布式的架構(gòu)。而且現(xiàn)在大數(shù)據(jù)這種業(yè)務(wù)在很多傳統(tǒng)企業(yè)，比如銀行的信用信息分析，很多大數(shù)據(jù)的結(jié)果以 后馬上出結(jié)果，所以它的業(yè)務(wù)非常關(guān)鍵，對(duì)可靠性，對(duì)管理業(yè)務(wù)有比較高的要求。這塊也是高端存儲(chǔ)的長(zhǎng)項(xiàng)。

總的來(lái)說(shuō)，看一下大數(shù)據(jù)對(duì)存儲(chǔ)的需求，首先，數(shù)據(jù)量越來(lái)越大，可能一般的數(shù)據(jù)要達(dá)到PB級(jí)的量，美國(guó)那邊的一些調(diào)查，一般企業(yè)管理的數(shù)據(jù)量，一般1T左右。 第二、有良好的性能，因?yàn)檫@是關(guān)鍵業(yè)務(wù)，需要實(shí)時(shí)分析，需要有很好的帶寬，這是它對(duì)存儲(chǔ)的訴求。用得起，這是開源打存儲(chǔ)最重要的地方。管理問(wèn)題，數(shù)據(jù)量變 大了，傳統(tǒng)的管理方法已經(jīng)不能進(jìn)行管理，里面有很好的管理方式，你存進(jìn)去，可能管理的更加復(fù)雜。大數(shù)據(jù)大量是非結(jié)構(gòu)化，或者半結(jié)構(gòu)化的數(shù)據(jù)，你存儲(chǔ)能不能 支持更多的結(jié)構(gòu)。

講一下高端存儲(chǔ)，我個(gè)人對(duì)高端存儲(chǔ)怎么理解，比如IDC的報(bào)告會(huì)寫高端存儲(chǔ)，比如2014年Q1下降了22%，市場(chǎng)不好，份額在下降，性價(jià)比不好。這塊告訴你 什么意思？它是廣義的高端存儲(chǔ)。在IDC的眼里是按價(jià)錢分的，他說(shuō)什么叫高端？技術(shù)上很難定義，技術(shù)發(fā)展更快，原來(lái)說(shuō)這要多功能架構(gòu)，才能 定義高端�，F(xiàn)在很難定義高端，IDC說(shuō)拿錢來(lái)說(shuō)。比如他分十個(gè)檔次，一個(gè)存儲(chǔ)的朋友售價(jià)。也就是平均售價(jià)是比較貴的，它認(rèn)為是高端，就是十萬(wàn)美金以上。

講一下Gartner的觀點(diǎn)，Gartner是走技術(shù)派，用一些具體的參數(shù)定義高端存儲(chǔ)的范圍。Gartner3月7號(hào)發(fā)布了最新的高端存儲(chǔ)的研究報(bào)告，其 實(shí)它最新的版本已經(jīng)發(fā)布了，跟這個(gè)差不多，它刷新了一下，排名基本變化不大。他認(rèn)為高端存儲(chǔ)從幾個(gè)技術(shù)指標(biāo)去理解。一個(gè)是單部件失效對(duì)主題不可見。第二個(gè) 如果是你這個(gè)單部件失效，存儲(chǔ)有什么部件壞了，對(duì)主機(jī)性能可能少于25%。也就是它想象中，應(yīng)該失控一下這個(gè)架構(gòu)。如果大修的時(shí)候，允許你有一半的性能損 失。還有下面細(xì)的一些條款，比如支持負(fù)載均衡，遠(yuǎn)程復(fù)制，這些其實(shí)不是非常本質(zhì)的區(qū)別。他認(rèn)為這樣的存儲(chǔ)，它的成本是在25萬(wàn)美金起，這是Gartner 的定義。

Gartner的定義里面，還對(duì)高端存儲(chǔ)進(jìn)行了一個(gè)打分，對(duì)目前這個(gè)市場(chǎng)他認(rèn)為符合他定義的高端存儲(chǔ)進(jìn)行打分。他分了8個(gè)功能向，包括管理、可靠性、性能、復(fù)制、擴(kuò)展 性、生態(tài)系統(tǒng)、多租戶和安全、還有存儲(chǔ)的效能等。上面有六個(gè)應(yīng)用，有五大場(chǎng)景，每個(gè)場(chǎng)景對(duì)8個(gè)功能向的比重是不一樣的。我們看到它比較看中的幾個(gè)指標(biāo)是管 理性和性能，還有快照復(fù)制，這是Gartner的分析師在這個(gè)場(chǎng)景下比較看中高端存儲(chǔ)的特性。

HDS對(duì)所有的產(chǎn)品進(jìn)行打分，他認(rèn)為這個(gè)市場(chǎng)有12個(gè)產(chǎn)品符合它的標(biāo)準(zhǔn)。通過(guò)分析這些排名，我們可以看到，基本上是國(guó)外廠商，國(guó)內(nèi)有一家是華為。第一個(gè)是日立的 高端存儲(chǔ)及第二個(gè)也是日立的，第三個(gè)是惠普的。如果看總的排名是這個(gè)，不止分析這個(gè)場(chǎng)景，把所有這些結(jié)合起來(lái)。其實(shí)Gartner還對(duì)存儲(chǔ)廠商市場(chǎng)的能力 做了評(píng)估，前面評(píng)分主要針對(duì)技術(shù)水平和產(chǎn)品的技術(shù)能力，下面零分主要針對(duì)產(chǎn)品的生命力，包括市場(chǎng)的水平，市場(chǎng)的銷售，我們看到這個(gè)里面得分最高的是 EMC，EMC生態(tài)環(huán)境比較好，整個(gè)銷售能力比較強(qiáng)。第二、比較多了，優(yōu)秀的廠商，包括日立、華為。大概是這樣的一個(gè)圖形。

我個(gè)人研究的高端存儲(chǔ)主要是畫紅線的這一塊，因?yàn)樗�首先是面向傳統(tǒng)的高端存儲(chǔ)的市場(chǎng)。第二、在執(zhí)行報(bào)告里面可以抽它的數(shù)據(jù)拿出來(lái)給大家分享。因?yàn)橛行��?shù)據(jù)， 它賣兩部，賣四部看不出來(lái)，因?yàn)榻y(tǒng)計(jì)不了那么細(xì)，所以我暫時(shí)沒(méi)有列多方面報(bào)告里面去。像狹義的高端存儲(chǔ)范圍里面，我們看到在全球來(lái)看，剛才我畫紅線的高端 存儲(chǔ)，中國(guó)其實(shí)只占4%的市場(chǎng)份額，也就是這個(gè)市場(chǎng)，45%以上還是占你們那邊，中國(guó)這邊高端存儲(chǔ)市場(chǎng)感覺(jué)很多地方會(huì)被閃存，軟件定義搶掉它的份額，但是 我覺(jué)得還會(huì)有前進(jìn)的空間。第二、看一下全球的排名情況。EMC在這塊最高有一個(gè)份額，41%，第二、IBM五，后面就是日立惠普，華為在比較小的氛圍。

中國(guó)區(qū)的數(shù)據(jù)，原來(lái)HDS是第一，這兩年EMC超過(guò)HDS。這方面沒(méi)有什么特別大的變化，有一個(gè)比較大的區(qū)別就是這里可能看到華為上升的比較快一些。從行業(yè)緯度可以看，這個(gè)行業(yè)主要用在金融里面，第一是電信，第二是政府。到今天金融是最難做的，因?yàn)樗�的要是性比較高。

高端存儲(chǔ)我們講它的歷史，它的架構(gòu)是怎么演變的？特別是對(duì)大數(shù)據(jù)這個(gè)架構(gòu)怎么演變的？我講到兩個(gè)人，一個(gè)是做大型機(jī)的吉恩·阿姆達(dá)爾，其實(shí)真正把存儲(chǔ)做成一 個(gè)行業(yè)的，應(yīng)該是摩西·亞奈，他1990年研發(fā)了Symmetrix，推向市場(chǎng)，大家知道存儲(chǔ)里面也是吸引高端存儲(chǔ)。摩西·亞奈離開EMC又做了XIV。 后來(lái)被IBM收購(gòu)，后來(lái)他又開創(chuàng)了第三代存儲(chǔ)，Infinbox，現(xiàn)在市場(chǎng)上都有他的三個(gè)產(chǎn)品。

高端存儲(chǔ)的歷史，講一下它架構(gòu)上的一些變化。1956年發(fā)明大機(jī)，配套存儲(chǔ)，1980年還是IBM用的存儲(chǔ)，還是很貴，百萬(wàn)美金起，當(dāng)時(shí)是IBM自己專用的 大硬盤。1988年IBM有一個(gè)項(xiàng)目，沒(méi)有廣泛的推向市場(chǎng)，真正推向市場(chǎng)的是就是第四版的摩西·亞奈提出的技術(shù)。日立也開發(fā)了跟EMC類似的架構(gòu)存儲(chǔ)，這 種架構(gòu)存儲(chǔ)為什么要轉(zhuǎn)型，也是因?yàn)橛绊憽．?dāng)時(shí)EMC出來(lái)，IBM的銷售受到它的影響。其實(shí)日立剛開始的時(shí)候做的是IBM大型機(jī)和存儲(chǔ)。從1995年的時(shí) 代，三國(guó)鼎立階段開始了。直到1999年，IBM也開始擁抱普通的硬盤。

IBM這個(gè)時(shí)候里面后的研究還是用它自己的標(biāo)準(zhǔn)。這也是我現(xiàn)在重點(diǎn)要看的發(fā)展的東西。2000年的時(shí)候日立的產(chǎn)品第一次把交換技術(shù)引入，現(xiàn)在很多人認(rèn)為高端存儲(chǔ) 是完美的架構(gòu)。2002年3Par的出現(xiàn)，3Par被惠普收購(gòu)。2003年EMC推出DMX系列架構(gòu)，也取得了市場(chǎng)的成功。2004年DS8000出來(lái)， 這是IBM經(jīng)典的架構(gòu)。2005年摩西·亞奈推出XIV，2007年被IBM收購(gòu)。2006年整個(gè)互通了。2009年EMC推出VMAX，2012年5越 發(fā)不VMAX  40K。其他的架構(gòu)上沒(méi)有太大的變化。最后，就是2012年華為發(fā)布了自己的個(gè)人存儲(chǔ)，架構(gòu)比較像EMC的架構(gòu)，但是它底層的東西有點(diǎn)像虛擬化的架構(gòu)，同 時(shí)它本身交換技術(shù)更多學(xué)這個(gè)東西。因?yàn)樗�是SaaS的后端，跟交換技術(shù)用的差不多。所以說(shuō)它借鑒了前面的一些特點(diǎn)，開發(fā)了自己的高端存儲(chǔ)。

整個(gè)高端存儲(chǔ)，這種架構(gòu)，從總線式，到Crossbar架構(gòu)，還有2003年高了直連架構(gòu)，但是后來(lái)發(fā)現(xiàn)擴(kuò)展性不是特別好，因?yàn)槁?lián)線密密麻麻，再加一個(gè)節(jié) 點(diǎn)，不太好擴(kuò)展。所以，2009年有了虛擬矩陣架構(gòu)，還是利用交換機(jī)。主要有四個(gè)特點(diǎn)，這可能跟現(xiàn)在大數(shù)據(jù)的驅(qū)動(dòng)有一些影響。一個(gè)是Scale-out為 的架構(gòu)，但是你發(fā)現(xiàn)數(shù)據(jù)量現(xiàn)在越來(lái)越大，Scale擴(kuò)展已經(jīng)不夠了，所以必須把Scale的架構(gòu)加上，增長(zhǎng)快比較快。還有全交換的架構(gòu)，還有 X86，X86架構(gòu)給客戶帶來(lái)的好處就是成本，性價(jià)比，這是大數(shù)據(jù)里面我們要追求的。松偶合比如它會(huì)降低用戶的成本，松偶合有什么好處？你看到民的一個(gè)架 構(gòu)，它每個(gè)節(jié)點(diǎn)有點(diǎn)像一個(gè)終端村素，通過(guò)低時(shí)延把這些高端存儲(chǔ)連在一起。

最后講一下這幾個(gè)存儲(chǔ)廠商，針對(duì)大數(shù)據(jù)時(shí)代下做出一些變化。這是跟我們傳統(tǒng)的高端存儲(chǔ)不太一樣。一個(gè)是EMC之前發(fā)布的產(chǎn)品VMAX3，它可以做到5000 多張硬盤，可以支持16TB的Cash，也就是針對(duì)這個(gè)云時(shí)代，大數(shù)據(jù)時(shí)代，如果不考慮成本的情況系，它遠(yuǎn)遠(yuǎn)滿足大部分企業(yè)的需要，除了互聯(lián)網(wǎng)企業(yè)。所 以，大數(shù)據(jù)應(yīng)該也是一個(gè)核心的大數(shù)據(jù)的平臺(tái)。

為了降低成本，為了降低功耗，為了降低機(jī)房的面積，EMC引進(jìn)Highly  Efficient的設(shè)計(jì)。第二、講一下惠普的一些變化�；萜粘杀镜淖非笊弦沧龅谋容^好，比如它是業(yè)界第一個(gè)提供精簡(jiǎn)配置功能的。也是第二個(gè)在重刪功能的 廠商。我們大數(shù)據(jù)以后存在上面，有數(shù)據(jù)的壓縮技術(shù)，像成本，單位成本會(huì)下降，他也是第一次支持cMLC的廠商�？梢耘浜祥W存價(jià)值，可以降低整體成本。 IBM  DS8000有快照復(fù)制的功能，大家知道在大數(shù)據(jù)場(chǎng)景下，備份備不完，需要用快照復(fù)制的方式管理它的平臺(tái)。

日立的HDS  VSP  G1000，大數(shù)據(jù)不僅僅有結(jié)構(gòu)化的數(shù)據(jù)，非結(jié)構(gòu)化的數(shù)據(jù)，它要保存這些數(shù)據(jù)，把NAS做進(jìn)來(lái)，但是做的并不是特別徹底，只是管理界面上融合了，物理上不 是特別融合�？匆幌翴NFINIDAT公司開發(fā)的InfiniBox，把對(duì)象存儲(chǔ)，文件存儲(chǔ)，Trade存儲(chǔ)全都放在一個(gè)系統(tǒng)里。

為了拒絕更低的成本，富士通出了一個(gè)CD10000，用開源的技術(shù)做了一個(gè)高端存儲(chǔ)，給客戶帶來(lái)比較低的成本，但是企業(yè)為什么改用開源，主要是技術(shù)沒(méi)有支 撐，這彌補(bǔ)了技術(shù)和成本的概念，這也是未來(lái)的方向。我們看到很多開源的存儲(chǔ)也會(huì)出來(lái)，大家都在嘗試應(yīng)對(duì)大數(shù)據(jù)架構(gòu)的變化。

管理方面是大數(shù)據(jù)很重要的一個(gè)方面的要求，這塊IBM做的比較好，特別是XIV，它有底層的架構(gòu)，比較特別，所以它的管理做的特別好。很多東西通過(guò)限制了其他的一些功能，就自動(dòng)優(yōu)化了，這是它的一個(gè)理念，管理非常簡(jiǎn)單，特別是公安里面有用這個(gè)產(chǎn)品。

華為強(qiáng)調(diào)性能，是第一個(gè)高端存儲(chǔ)里面測(cè)SPC-D這么一個(gè)值，超過(guò)100萬(wàn)的IOPS是用OceanStor測(cè)的。富士通也是一個(gè)性能，但是它強(qiáng)調(diào)的是帶 寬。富士通的架構(gòu)后面搞了一個(gè)SAS的連接，任何一個(gè)節(jié)點(diǎn)可以看到任何一塊硬盤，所以富士通的特點(diǎn)有很多SAS。它的帶寬的能力比較強(qiáng)。

總結(jié)來(lái)說(shuō)，為什么大數(shù)據(jù)場(chǎng)景下，高端存儲(chǔ)它努力爭(zhēng)取它自己的地位，因?yàn)榇_實(shí)有它對(duì)大數(shù)據(jù)的一些支持。首先，在比較成熟的商業(yè)環(huán)境下用。第二、能提供企業(yè)級(jí)別 的支持，買高端存儲(chǔ)，服務(wù)都是廠商服務(wù)的。第三、高端存儲(chǔ)在關(guān)鍵業(yè)務(wù)支撐的聲譽(yù)是最好的，現(xiàn)在很多大數(shù)據(jù)的業(yè)績(jī)已經(jīng)是關(guān)鍵業(yè)務(wù)了，不像一線大數(shù)據(jù)業(yè)務(wù)都是 事后分析，現(xiàn)在是適時(shí)分析。第四、通過(guò)前面的一些變化，性能強(qiáng)大、管理簡(jiǎn)化。同時(shí)，它與時(shí)俱進(jìn)的一些特點(diǎn)，比如X86的架構(gòu)，Scale-out技術(shù)的采 用，包括重刪，引到高端存儲(chǔ)里面，還有開源技術(shù)，把存儲(chǔ)Hypervisor，高密、統(tǒng)一存儲(chǔ)、集群、cMLC。這樣可以跟數(shù)據(jù)結(jié)合的更緊密。我的觀點(diǎn)就 是作為一個(gè)企業(yè)用戶，可能高端存儲(chǔ)還是在大數(shù)據(jù)比較強(qiáng)勢(shì)的選擇。謝謝大家！