李洪亮 發(fā)表于:13年12月11日 23:00 [原創(chuàng)] DOIT.com.cn
存儲在線 12月11日消息:以“數(shù)據(jù)造化 智見未來”為主題的2013中國存儲峰會在北京盛大開幕。作為一年一度的中國信息產業(yè)界領袖級會議,本次大會得到了中國軟件行業(yè)協(xié)會、中國計算機學會 存儲技術專業(yè)委員會、武漢國家光電實驗室和國防科技大學計算機學院的大力支持。共有10位第三方專家和23位業(yè)界領袖/專家出席峰會,并發(fā)表了25場極具 前瞻性的主題演講。Gartner和Forrester兩家全球知名機構的分析師還與與會嘉賓就大數(shù)據(jù)浪潮下的存儲進化與應對策略進行了兩場高質量的高峰對話,現(xiàn)場吸引了超過1200名參會嘉賓,給大家?guī)砹素S盛的存儲盛宴,再次引領中國存儲產業(yè)發(fā)展的深度思考。
下午的“中國閃存高峰論壇” 中,"高端存儲知識"微信自媒體作者西瓜哥,帶來《是友是敵,閃存 VS. 高端存儲》的主題演講。在演講里,西瓜哥表示,現(xiàn)在閃存的芯片供應能力比不上數(shù)據(jù)更新的速度。假如,未來增長的數(shù)據(jù)全部用閃存來滿足,閃存的芯片工廠根本生產不過來,生態(tài)鏈上也不太可能。我個人的觀點是,以后閃存與高端存儲混合的情況,可能還會長期存在,而不是全閃存的數(shù)據(jù)中心。
"高端存儲知識" 微信自媒體作者 西瓜哥
以下是西瓜哥精彩演講的內容:
我喜歡研究高端存儲。大家都知道存儲是比較窄的領域,存儲媒體就兩三家,也不是特別多。存儲用量是客戶后臺,原來沒有專門管存儲的,現(xiàn)在有管存儲的,一般都不是專業(yè)的東西,在后臺里面。而且我只講存儲里面的高端存儲,這個就更篇了。一般中小企業(yè)用不到高端存儲,大企業(yè)可能會用到。為什么我要研究高端存儲呢?主要有一個小小的想法,因為我在海外工作的時間,我看了一個報告。
雖然高端存儲占的比例很少,但是研究的人太少了,所以大家花了很多冤枉錢,你可能不需要買高端存儲,但是你買了高端存儲,你為了面子就買了。其實你相當于送給廠商很多錢,并沒有達到你的目的。高端存儲比中端存儲好在哪里也說不出所以然來。普通的工程師很難有機會接觸到高端存儲,如果企業(yè)不大根本見不到,大企業(yè)能見到的就是管理那幾個人。我想把這個東西寫一寫。雖然比例很少,大家也有人想了解的,而且有一些技術是相通的。高端的東西中低端的可能也有,但是高端能做的東西的話,也是業(yè)界比較高的技術。
我講一下我自己人為的高端存儲的領域。這是Ban的報告,以前講高端存儲是多控的,支持駕機的,存互聯(lián)網狀態(tài)變化很大,小機已經用的很少了,大機也在用。云出來了以后就有高端存儲的作用了。現(xiàn)在已經定義不出來高端存儲了,干脆拿錢說話。平均每套的成本,出廠價大于10萬美金,這樣的存儲就是高端存儲。大家看一下比例,只占不到四分之一的份額,而且這里面還包含了很多別的東西,我還不研究那些東西,我研究里面多控那部分,就是說我研究的范圍更窄。高端存儲SAN里面的一點東西。
高端存儲的范圍就是幾款產品,大概六個廠商,七款產品是我目前跟蹤研究的范圍,每更新一個版本我都會去看的。為什么只研究這些東西呢?因為像云和大數(shù)據(jù)都很火了,很多人都已經研究了,包括企業(yè)都會用得上,而且講起來都很有噱頭,高端存儲沒有什么可講的,代表古老、死板、專業(yè)形象,沒有什么太多可以娛樂的東西,也不像云大數(shù)據(jù)0很多都是娛樂,而且有很多人已經研究了。
在一個企業(yè)里面,你會發(fā)現(xiàn)你最有價值的數(shù)據(jù)是放在這些設備上的,比如說金融里面的,信用卡的余額會放在大數(shù)據(jù)系統(tǒng)里面嗎?不會的。數(shù)量不是很大,但是它代表了我們中國國產化的最后,最難的一個地方。因為它有非常高的可靠性,當然性能也是很重要的。大數(shù)據(jù)100T的數(shù)據(jù),丟了一個月的數(shù)據(jù)也沒有關系,因為趨勢不會變的,沒有什么大問題,但是高端存儲丟了一部分,可能就丟了好幾億的美金,所以理論上來都不一樣的。
我們簡單回顧一下高端存儲的歷史。高端存儲的發(fā)展不如閃存長。你看TMS說有35年歷史了。高端存儲到現(xiàn)在也就20多年的歷史,沒有閃存歷史長。大家怎么看呢?因為高端存儲剛開始跟大機配套的,剛才IBM發(fā)明大機的時候就有存儲的介質,但是當時這種存儲只是IBM自己做的,包括日立會做一些兼容IBM存儲的存儲,市場份額80%都是在IBM手里。直到90年代,EMC推出了一個坦克軍官(音譯)這個推出來以后,才真正開創(chuàng)了高端存儲的市場,所以也就20多年的歷史。也就是說我們這個行業(yè)先有高端才有中端的,現(xiàn)在勢頭反是了,因為很多技術高端不敢用,中端先用,中端用了以后高端才用。
我們回顧一下歷史就是這樣的。從EMC發(fā)布第一代產品以外,后來日立看到了這個機會,日立就發(fā)布了采用EMC的架構用ketch技術做的真正意義的高端存儲。IBM用的硬盤,用的是自己的大硬盤,都沒有用傳統(tǒng)的PC硬盤,所以說從EMC產品開始,才真正用了普通的硬盤,是現(xiàn)在真正意義上的高端存儲。日立加進來就是兩個了。最后日立把EMC的份額搶的差不多了,IBM沒辦法就拋棄了原來的技術,推出了列的方式的技術,重回殺會高端存儲的領域,現(xiàn)在形成是三足鼎立的格局,現(xiàn)在這個領域也就這三個廠家。這三個廠商各自往來外國發(fā)展了,一代一代往前發(fā)展,日立也是一代一代往前發(fā)展。這些廠家都在發(fā)展,到后來的有一個施德怕(音譯)高端價格也是10萬美金以上,也是我們研究的范疇。06年的時候,富通(音譯)也發(fā)布了高端存儲,2012年華為在上海CC大會也發(fā)布了中國人自己造的國產的存儲。我研究的領域就是這6個廠商,7款產品。因為IBM有兩款產品,DS8000和SSIB(音譯)。因為今天不是高端存儲的沙龍,我就不講高端存儲了。我想講高端存儲和閃存競爭合作的關系。
這是我自己統(tǒng)計的數(shù)據(jù)。我們看高端存儲的分布,中國只占了5%,也就是說這是我每天有動力寫微信跟大家分享的原因。我想把蛋糕做大,把中國高端存儲的市場做,美國占了45%,我們是美國的零頭。我們的經濟地位已經是第二位了,但是從高端存儲來看,我們定位上還是差很多的,高端存儲主要用在金融里。
我從這個數(shù)據(jù)里面我也分析出來。高端存儲里面金融占43%,所以說這個市場是最難做的市場,金融對可靠性、穩(wěn)定性、性能的要求,所以說我關注這些方面的話,也是普及一下這方面的知識,大家不要覺得太神秘了,看一下自己的企業(yè)是不是需要高端存儲的東西。
現(xiàn)在問題來了。我應該回去賣西瓜了,因為高端存儲要滅亡了,因為我是西瓜哥嘛。因為廠商推了很多閃存戰(zhàn)略,高端存儲不是性能高嘛,用不著了。EMC這么多柜,現(xiàn)在這么小的盒子搞定,性能和你一樣,體積小多少倍。英國register的網站也登了很多信息。大家都覺得高端存儲是不是沒了?快沒了,沒必要存在了,性價比太差。為什么叫高端存儲?一個是貴,貴就叫高端存儲。有人說我沒必要了。我不光是貴,我性能也好,閃存性能也好。
現(xiàn)在還需不需要高端存儲?我想分享一下我自己的觀點。現(xiàn)在我們先看一下閃存適用的負載,剛才前面的許先生已經說過了,到底哪些負載比較適合閃存,索引是比較適合。索引的趨勢現(xiàn)在是峰值,以后占的比例會小一點。閃存發(fā)揮得特性就是讀,特別是隨機讀。只要是隨機讀很高的地方就是閃存的應用之地。這些讀,這些應用排在哪些位置。這些位置就是用的比較多的地方。我們看到有一些很奇怪的地方。比如說綠顏色VDI,其實很多閃存公司都把它當成是最主要的場景,但是在IO負載模式里面,其實很多都是順序的,也不是隨機的,讀寫也不是最高的。閃存還有另外一個問題就是時延。VDI最大的痛苦就是啟動風暴,這個模式沒有體現(xiàn)時延的要求。
用戶的數(shù)據(jù)存在閃存上可能受不了,但是啟動數(shù)據(jù)可以存在閃存上。從行業(yè)來看,行業(yè)也很多,高端存儲是金融和電信應用比較多。前面我講了很多膠片都是來自于互聯(lián)網的,我沒有任何版權。政府健康和教育是閃存應用最大的領域,目前應用重合不太完全重合,這方面有什么問題嗎?金融不需要性能嗎?不是,金融里面太謹慎了。前段時間一個日立朋友給我打電話說他有一個金融用戶問他是不是可以用閃存?可以用,但是也有擔心。
一個產品出來三年才會考慮的,我們閃存也就三五年才出來的。雖然閃存比較可靠,但是你有一個一直用閃存五年以上的案例很難拿出來,這樣的案例有,但是很難拿得出來,這就是金融客戶擔心的。
Purp Storage在跟EMC打官司,因為它里面很多的人員都是從EMC挖過來的。所以現(xiàn)在EMC跟它打官司,用它的客戶信息,搶它的市場。我們看它的定位,它自己定位是VIVEL和VDI和數(shù)據(jù)庫加速(音譯)。我看了他們的成功案例,大概有16個主要的客戶。我看了一下這些客戶,應該說大的客戶還不說,就是說世界五百強的客戶不是特別多,有一半以上都是用VDI的場合,數(shù)據(jù)庫的場合大概有9個,十幾個用VDI的場合。不跟高端存儲的定位還是有一點點的區(qū)別的。
我再回答一下剛才前面金融朋友問我的朋友,到底閃存的可靠性怎么樣?我用了一個美國企業(yè)調查數(shù)據(jù)。從目前使用閃存的企業(yè)經驗來講,閃存的可靠性比傳統(tǒng)的硬盤要強的。這是用戶自己的感覺,這是第三方獨立公司調查的數(shù)據(jù)?煽啃曰旧辖鉀Q的差不多了,因為有很多優(yōu)化的算法。第二我們看一下分析師,我們以后的數(shù)據(jù)中心是不是全部用閃存呢?我們看一下有兩個問題。
一個是成本問題。這是gartner的預測,我們看得見的這四五年,閃存的成本跟大容量硬盤,成本差距保持在20倍以上,就是每GB的差距。如果光從容量來考慮你用閃存確實是不合適的。數(shù)據(jù)中心真正的數(shù)據(jù)是多少,我覺得二八原則,20%是熱的就不錯了很多是老數(shù)據(jù),但是老數(shù)據(jù)不能仍,還得用磁帶保留它,全閃存的數(shù)據(jù)中心是不太現(xiàn)實的。
第二個現(xiàn)在閃存的芯片供應能力比不上數(shù)據(jù)更新的速度。如果2017年增長的數(shù)據(jù)全部用閃存滿足的,閃存的芯片工廠根本生產不過來,生態(tài)鏈上也不太可能。趨勢會增長,但是我個人的觀點,以后這種長期混合的情況,可能還是長期存在的,而不是全閃存的數(shù)據(jù)中心。
我再給大家分享一下美國閃存峰會的關鍵詞,代表我對閃存的思考。首先從介質來講,現(xiàn)在是芯片兩維布局的,現(xiàn)在已經到了極限,容量再增長,再這么布局的話,硬盤容量就上去了,就往3D,三維里面走,各個芯片廠商都在往這上面做。預計2017年有可能代替目前閃存技術的是RERAM,這個趨勢是大家比較認可的。第二個是前面講的NVM和SCSI,NVM走的更快一些。還有一個是flash-aware,現(xiàn)在閃存用起來還不是很順的,現(xiàn)在我們的文件系統(tǒng)不能很好的利用閃存的特性。它不是flash-aware。因為我們幾十年以來,我們的軟件都是按照傳統(tǒng)的機械硬盤設計的。閃存是盡量少寫,盡量不去寫,盡量在內存里面把數(shù)據(jù)整合好,但是現(xiàn)在的系統(tǒng)不懂這個東西,閃存有這個特性,如果操作系統(tǒng)不能很好的配合這個介質的話是沒有很好的達到性能。還有Faceboo:cold flash(worm),要求速度很快。還有一個是endurance和retention。一個是壽命,一個是保存的時間。停電以后保存的時間是有限的。比如說企業(yè)閃存標準是3個月,三個月不加電數(shù)據(jù)就丟了。
最后是安全的題,F(xiàn)在閃存標準比較缺乏,雖然技術比較老了,但是比較缺乏標準。普通的硬盤在到高端存儲可以做三重操作。我的硬盤歸給廠商,為了防止信息泄露,我要對信息寫零,物理刪除,再返修,但是閃存做不到。因為閃存有一個特性,比如說200G的閃存就布了200G或者300G,你刪的時候,超控的快你不知道怎么控制,你不知道怎么刪除,由于有置換器,或者垃圾收集,里面可能有用戶的數(shù)據(jù),這些都是沒有標準的。
下來看一下閃存的三個位置,一個是服務器,全閃存陣列,還有混合陣列,越靠近CPU的地方性能越好,但是共享是一個挑戰(zhàn)。
混合陣列和全閃存貞烈的趨勢。我們看到混合陣列剛開始的時候,可能感覺沒有全閃存陣列快,但是慢慢的,當一個全閃存陣列把企業(yè)加上的話,企業(yè)性能就拉平了,功能和性能要一起考慮。
我們在企業(yè)購買的時候,20%是硬件的成本,很多的都是管理人力消耗,這塊需要大家考慮。
總結一下閃存大潮是無法阻擋,歲了全閃存陣列很小眾,但是成長很快,對高端存儲形成威脅,第二虛擬化給閃存帶來了機會。雖然歷史很久,但是閃存還有很多標準正在完善之中,閃存跟大容量HDD會長期共存,高系統(tǒng)硬盤可能沒有了。
EMC,VMAX怎么應對挑戰(zhàn)。EMC認為閃存無處不在,根本應用場景去區(qū)分,比如說全閃存陣列喜歡用VDI和虛擬化這塊,還有數(shù)據(jù)庫的測試,把數(shù)據(jù)庫的應用放在了全閃存陣列上,因為全閃存陣列測試,開發(fā)的時候用可能更方便一些。因為企業(yè)級的特性少一些。它的策略是收購等于創(chuàng)新,高端VMAX支持全閃存配置,但是優(yōu)化不多,不主推,還是傳統(tǒng)的思路。按照應用場景來區(qū)分產品的關系。
第二我們看一下IBM的全閃存,它也收購了一個公司,生產出來了flashsystem。IBM的紅皮書里面有一個很奇怪的東西,講的很清楚,當你需要5個SSD硬盤的時候,他認為這個時候,配它的全閃存陣列是性價比最高的,如果要和大機配合,總雙機還是得用XD800接混合陣列(音譯)推SVC跟閃存陣列配合起來,滿足場景的虛擬。全閃存陣列不存儲的時候,要把熱的數(shù)據(jù)放在上面去,外面有一些SVC的部件能把冷熱數(shù)據(jù)拿出來搬過去發(fā)揮它的特性。收購+優(yōu)化,收購TMS,但是SVC只做了catch(音譯)。
日立也是高端里面最重要的廠商。日立閃存陣列,也是有點像EMC,也認為閃存無處不在,從控制器到服務器,包括應用都在做,在高端和中端里面推出全閃存陣列了,這是日立的策略。它做了很多軟件的優(yōu)化,比如說做了30多基本軟件的優(yōu)化,專門適合閃存這樣的應用場景,硬件也做了優(yōu)化。推了三個版本講優(yōu)化,技術三個版本通過流程優(yōu)化和外部數(shù)據(jù)DXBF的應用,時延很好。觀點是再造等于新建。很多summary公司打擊他們全閃存公司一定要優(yōu)化,不優(yōu)化是不行的。日立是自研加reenging,這是它的思路。(音譯)
惠普有自己的芯片,有自己的介質。但是在高端里面沒有推出全閃存的版本,只是在中端推出了試水全閃存的版本。收購改造,中端先行。
富士通轉售VIOLIN,高端也沒有全閃存的配置。
華為認為閃存是第一位的。他們也做閃存硬盤,也在閃存cache進行了優(yōu)化,也把RAID2.0和閃存做了配合。提出全局磨損均衡和反磨損均衡。閃存磨損均衡,閃存同一天同時壞了,整個數(shù)據(jù)就沒了,后期就有反磨損均衡,閃存是一塊一塊的。因為我們只能同時換兩塊盤,有反磨損均衡,讓閃存一塊一塊的壞。華為的觀點是自研+融合+獨立,推出全系列全閃存陣列。
閃存跟云是融合的,閃存在云的狀態(tài)下,閃存有很大的機會沖入高端市場,但是也有避雷針,支持SSD。對高端存儲廠商推全閃存是一個噱頭,以后高端存儲廠商推閃存優(yōu)化的混合陣列是高端主流形態(tài)。我買一個車以后我爬山有爬山模式,雪地有雪地模式,不能買一個雪地車,買一個爬山車。陣列工作模式自動或手動切換,全閃存閃存優(yōu)化傳統(tǒng)分層。
閃存的必經之路,我們通過試用閃存了解這項技術評估給企業(yè)帶來的價值。綜合評估性能和功能,目前階段魚和熊掌較難兼得,全閃存陣列需要外部智能部件對熱點數(shù)據(jù)識別和遷移,真正閃存優(yōu)化的混合陣列可以簡化管理。
我的分享就這么多謝謝。