方敏表示,AI、物聯(lián)網(wǎng)等技術對于存儲來說是一個變革的窗口。也正是由于存儲技術的發(fā)展,SSD、SCM、NVMeoF等這些技術,會加快傳統(tǒng)存儲轉向軟件定義存儲,人工智能的發(fā)展促進了存儲智能化。
以下是方敏先生演講內容摘錄:
方敏:
同有在NVMeSSD這方面,構建了自己的全閃存快存儲系統(tǒng)。我們?yōu)槭裁匆鲞@件事,實際上是有兩個原因,一個原因是應用的驅動,第二個原因是技術的驅動。
我們首先看應用的驅動是一個什么概念。十年前,預測到2016年,年數(shù)據(jù)可以達到16EB程度。十年過去了,數(shù)據(jù)量在不斷增長,對于傳統(tǒng)存儲企業(yè)來說機會越來越多,靠存儲吃飯的飯碗應該是沒有問題,可以保住的。
十年后我回頭看這個事情,很多公司做傳統(tǒng)存儲的人慢慢被裁掉了,中間也有自己跳槽轉行做分布式存儲的,原因也是因為最終數(shù)據(jù)的增長,實際上它是由應用的驅動導致的。新的存儲架構它是需要滿足應用的定義的。那我們先看一下今天IT世界是什么樣子的。
這個是傳統(tǒng)類型的應用,十年的發(fā)展我們可以看到,整個世界開始往云轉變了,云的趨勢已經(jīng)很明顯了,很多變化正在發(fā)生,或者已經(jīng)發(fā)生,或者將來繼續(xù)會發(fā)生,特別是AI?,F(xiàn)在物聯(lián)網(wǎng)的數(shù)據(jù),傳感器的這種數(shù)據(jù)量會越來越大。它會需要實時的分析,我們怎么樣去提供一個平臺級的解決方案,能夠讓它滿足數(shù)據(jù)不斷擴展的同時,還可以滿足實時分析的需要,這是我們將來可能要解決的問題。
另外是云,我們下面會建存儲系統(tǒng),建在哪兒能達到最高的性價比,怎么樣能夠滿足多種需求。所以各種各樣的應用,這種驅動導致了我們會產(chǎn)生一些什么樣的問題,第一個問題就是擴展性問題,我們的數(shù)據(jù)量會越來越大,底層的架構怎么樣滿足不斷擴展數(shù)據(jù)量的需求,我需要動態(tài)擴展,以前的傳統(tǒng)存儲,比如說我今天買了EMC的設備覺得挺好,一兩年后數(shù)據(jù)量增加了,我該怎么辦,碰到的問題是統(tǒng)一管理。但是應用方面的需求,它產(chǎn)品的數(shù)據(jù)量會越來越快,剛才講2016年采用EB的數(shù)據(jù)量,怎么樣解決擴展性的問題,這個是我們第一個需要解決的問題。
第二個就是成本問題,因為IT結構大家知道,IT是不賺錢的,因為它不是直接面向應用的,實際上這個東西你說購了這么多東西,那我的效益在哪呢,我是不是能夠以最小的投入能夠產(chǎn)生最大的效益而滿足我的需求呢,如果是這樣我需要最好的性價比。
另外一個是我滿足了性價比之后,我上面的應用又是各種各樣的,我的需求也是各種各樣的,那我怎么樣滿足性能需求呢,我們怎么樣構建性價比好的存儲滿足存儲問題呢。
第三是可管理問題,它是不斷的擴展帶來的。我們數(shù)據(jù)量會越來越大,怎么樣去滿足管理上的問題,然后讓這種應用的場景更加簡單。實際上我跟一些運營人員交流時,他們說太累了太痛苦了,為什么,一出現(xiàn)問題半夜三點叫起來解決問題,所以就是可管理問題。
所有的這些東西,實際上現(xiàn)在可以看到,它都是通過分布式的架構解決問題,這就是從應用的角度來看,我們的分布式架構,實際上是一個比較好的,能夠解決現(xiàn)代應用發(fā)展的底層架構的技術問題。
第二個就是從技術的角度來看,其實我們今天在論壇上,講來講去講了很多NVMe SSD。今天早上談了很多AI的技術,所有這一切對于存儲來說,都一個變革的窗口。就是因為存儲技術的發(fā)展,SSD、SCM,還有像NVMeoF這些技術。NVMeoF將會加快傳統(tǒng)存儲轉向軟件定義存儲的趨勢,人工智能的發(fā)展催進存儲智能化。
從應用的角度和技術的角度,有一個畫面展現(xiàn)在我們面前,就是分布式加全全閃,這個會構成一個系統(tǒng),這個系統(tǒng)會滿足很多應用的需求,提供一種高性價比,所以我們就在這一塊,同有做了一些努力,也做了一些工作。大家可以看到圖中的柜子,同有在這一塊做了一些工作,你可以看到,這個是由同友的服務器組成的,1U 10盤位;All NVMe SSD;單盤容量800G-11T;單節(jié)點IOPS高達120w。
中國原創(chuàng),完全自主知識產(chǎn)權,性能達到國際領先水平;多重數(shù)據(jù)保護,安全可靠,易于使用;
無中心的可擴展架構,在性能這一塊我們是做了一些優(yōu)化的。因為大家知道,我們在做NVMe SSD的時候,NVMe SSD它可以提供64K,我們怎么樣能夠充分利用并發(fā)性,提升整個系統(tǒng)性能,我們重點解決了兩塊的問題。第一塊問題就是我們在線程調度這一塊,減少了線程相互切換的開銷。第二塊我們在鎖這一塊通過了對內技術的優(yōu)化,減少整個鎖的開銷。
我們用了NVMe SSD測出來的性能值,大家可以看一下,這個也是從另外一個角度給大家說明,NVMe SSD確實是很不錯的,我們測出來IOPS實際上是SATA SSD的13/28倍,15K HDD的4760/1320。順序帶寬(讀/寫)SATA SSD11/7倍,15K HDD的22/14倍。
這個是NVMe SSD實測出來的分布式存儲的系統(tǒng)性能,我們用了四臺存儲結點,每臺存儲節(jié)點1U,配置10塊NVMe硬盤。測出來的4K隨機結果IOPS,寫是400萬,讀是500萬。
功能方面,做了靈活的冗余策略,可根據(jù)系統(tǒng)I/O負載,自動調整修復速率。系統(tǒng)工作時減少對正常業(yè)務的沖擊,系統(tǒng)空閑時以最大速率修復,降低數(shù)據(jù)丟失風險。
另外一個就是日志過濾技術。因為我剛才講到我們在做分布式架構,有個優(yōu)勢,將來需要解決的問題,就是我們在管理這一塊的話,我們需要能夠減少運維人員的痛苦。我們這里有遠端的日志過濾技術,我們可以設置不同的日志級別,還有日志的速率,讓它決定哪些日志是關鍵的,這樣對于他來說關鍵信息立馬可以把握住,不是關鍵的信息還要半夜三天叫起來去現(xiàn)場維護。
下面我講一下服務器虛擬化/VDI應用。第一個我們會支持云管理平臺Vmware的vCenter。我們發(fā)現(xiàn)通過兩個節(jié)點的集群就可以很輕松的支持一千個VAAI的使用。優(yōu)點是分布式存儲(Server SAN),性能優(yōu)異。
最后和前面呼應一下,如果大家對我們分布式全閃存、快存儲有興趣可以去展臺看一下。最后謝謝大家。