因此,Gartner預(yù)測,2023年,所有的數(shù)據(jù)中心的10,000rpm的HDD幾乎都被SSD代替。Gartner建議,現(xiàn)在就停止在數(shù)據(jù)中心環(huán)境中使用15,000 rpm和10,000 rpm HDD技術(shù)。

而另一方面,根據(jù)IDC的預(yù)測,2025年全球的數(shù)據(jù)圈將從2018年的33ZB狂漲到175ZB。

而這大量的數(shù)據(jù)都在公有云上。這個(gè)其實(shí)也容易理解,因?yàn)殡S著5G的普及,以后移動網(wǎng)絡(luò)不再是瓶頸,所有的終端設(shè)備產(chǎn)生的數(shù)據(jù)將大部分保存在公有云上。

如此海量的數(shù)據(jù)要保存和處理,傳統(tǒng)的存儲架構(gòu)肯定是不行的(不過公有云采用傳統(tǒng)存儲的本來就不多),分布式存儲,甚至是All-Flash的分布式存儲,將是未來公有云的主流存儲架構(gòu)。

正是看到這樣的趨勢,華為云順勢而發(fā),在7月初發(fā)布了云存儲All-Flash戰(zhàn)略,并推出了全新一代極速IO云硬盤。極速IO云硬盤基于華為自研的芯片,采用大量針對Flash設(shè)計(jì)的原生算法,單盤可以達(dá)到100萬IOPS,時(shí)延低至100微秒以下。

相比華為云原來提供的超高IO云硬盤,極速IO云硬盤的IOPS、帶寬、時(shí)延方面都有巨大的提升——特別是時(shí)延,降低了90%,使得云盤從ms時(shí)代直接進(jìn)入μs時(shí)代,就像使用本地SSD盤一樣。

為什么有這么大的差異呢?其實(shí),華為云極速IO云硬盤是引擎、架構(gòu)、芯片、算法、AI等多項(xiàng)技術(shù)融合的成果。

華為云的智能數(shù)據(jù)底座包括五個(gè)部分:引擎、架構(gòu)、芯片、算法和AI,也可以概括為“兩個(gè)創(chuàng)新+三個(gè)加持”。“兩個(gè)創(chuàng)新”為全新Flash-Native存儲引擎和全棧架構(gòu)創(chuàng)新,而“三個(gè)加持”則是全系列自研芯片、硬核數(shù)學(xué)算法以及AI。

全新Flash-Native存儲引擎

采用Flash友好的數(shù)據(jù)布局,實(shí)現(xiàn)了智能全局FTL完成全局磨損均衡,可以智能控制垃圾數(shù)據(jù)回收,大幅度減少了SSD寫放大,使得SSD壽命提升5倍以上,可靠性達(dá)到了11個(gè)9。

全新架構(gòu)創(chuàng)新

全棧架構(gòu)創(chuàng)新,實(shí)現(xiàn)了數(shù)據(jù)IO和控制的分離,通過芯片重構(gòu)數(shù)據(jù)讀寫,軟件實(shí)現(xiàn)智能調(diào)度,例如網(wǎng)卡可以直接寫數(shù)據(jù)到SSD介質(zhì),無需CPU參與;可以利用專用的ASIC芯片進(jìn)行數(shù)據(jù)的EC、壓縮計(jì)算,這樣原有軟件消耗的60%的CPU可以通過網(wǎng)卡、ASIC來完成,大幅度提升了整個(gè)軟件的性能。

全系列自研芯片加持

自研CPU:華為云存儲充分發(fā)揮鯤鵬920系列芯片在多核、低功耗等方面的優(yōu)勢,實(shí)現(xiàn)了免鎖多核調(diào)度和高并發(fā)性能和綠色節(jié)能。鯤鵬920芯片采用了7nm的制造工藝,在典型主頻下,芯片的SPECint Benchmark評分超過930分,超出業(yè)界標(biāo)桿25%,能效比優(yōu)于業(yè)界標(biāo)桿30%。鯤鵬920芯片主頻可達(dá)2.6GHz,單芯片可支持64核。該芯片集成8通道DDR4,內(nèi)存帶寬超出業(yè)界主流46%;芯片集成100G RoCE以太網(wǎng)卡功能,支持PCIe4.0及CCIX接口,可提供640Gbps總帶寬,單槽位接口速率為業(yè)界主流速率的兩倍;

自研網(wǎng)卡:RDMA網(wǎng)絡(luò)已經(jīng)成為人工智能、科學(xué)計(jì)算等高性能計(jì)算、存儲業(yè)務(wù)的必備技術(shù),華為基于自研網(wǎng)卡突破大規(guī)模RDMA網(wǎng)絡(luò)擁塞控制技術(shù),支持1萬+節(jié)點(diǎn)規(guī)模,同時(shí)大幅降低網(wǎng)絡(luò)擁塞,長尾時(shí)延降低30%以上。

硬核算法加持

EC:云存儲為了應(yīng)對數(shù)據(jù)從PB級向EB級演進(jìn)挑戰(zhàn),通過存儲的核心數(shù)據(jù)冗余編碼技術(shù)EC算法,可根據(jù)存儲集群規(guī)模自動調(diào)整冗余策略,一方面相對副本寫帶寬大幅提升,同時(shí)優(yōu)化數(shù)據(jù)重構(gòu)下的帶寬,相對傳統(tǒng)三副本冗余方式整體帶寬提升3X。

為了進(jìn)一步提升數(shù)據(jù)存儲效率,華為全面優(yōu)化了壓縮算法,可以根據(jù)不同的用戶數(shù)據(jù)特征進(jìn)行變長及數(shù)據(jù)差量壓縮,數(shù)據(jù)壓縮率相對傳統(tǒng)算法提升3倍;

SSD LDPC算法:在華為SSD存儲中,華為率先引入LDPC算法(Low Density Parity Check,低密度奇偶校驗(yàn)),并依托華為強(qiáng)大的算法團(tuán)隊(duì)持續(xù)優(yōu)化LDPC算法能力和性能,達(dá)成業(yè)界最佳糾錯(cuò)能力,F(xiàn)lash壽命最高提升5倍。

AI加持

華為將人工智能技術(shù)融入分布式存儲的全生命周期。

首先,華為云存儲能夠智能識別用戶個(gè)性化的業(yè)務(wù)模型,進(jìn)行自適應(yīng)的AI調(diào)優(yōu);同時(shí)通過動態(tài)自適應(yīng)QoS控制,減少多租戶之間的干擾,保障租戶SLA。

其次,根據(jù)業(yè)務(wù)模型和負(fù)載,智能預(yù)測性能趨勢,并且根據(jù)用戶提前配置的自動調(diào)整策略完成調(diào)整,免人工干預(yù)保障業(yè)務(wù)平穩(wěn)。

另外,從云上大數(shù)據(jù)分析看,大部分性能波動是由于硬件故障引起的,通過AI故障預(yù)測能力,可以提前14天發(fā)現(xiàn)故障盤并完成自動隔離處理。

通過AI的加持,華為云可以實(shí)現(xiàn)對租戶的IO模型和云存儲系統(tǒng)運(yùn)行狀態(tài)的感知和匹配,系統(tǒng)可以自主調(diào)優(yōu)和自我進(jìn)化,讓用戶越用越快。

目前,華為云是業(yè)界為數(shù)不多有能力將多項(xiàng)技術(shù)進(jìn)行整合與優(yōu)化,從而提升整體服務(wù)水平的云服務(wù)提供商。其通過全棧技術(shù)能力,將所有環(huán)節(jié)進(jìn)行協(xié)同與優(yōu)化,最終為用戶呈現(xiàn)出最佳的云服務(wù)。

從華為云宣傳的指標(biāo)來看,極速IO云硬盤非常不錯(cuò),但是具體如何,還需要第三方測試一下。

至頂網(wǎng)評測實(shí)驗(yàn)室最近對華為極速IO云硬盤進(jìn)行了全面的測試,我這里只選取他們測試MySQL數(shù)據(jù)庫的情況。

在數(shù)據(jù)庫應(yīng)用測試中,至頂網(wǎng)選用Sysbench OLTP對華為云極速IO云硬盤與高速IO云硬盤的MySQL數(shù)據(jù)庫同樣進(jìn)行了評測。

在測試過程中,至頂網(wǎng)設(shè)置了10張數(shù)據(jù)庫表格,數(shù)據(jù)庫的大小設(shè)置為10,000,000,測試時(shí)長為5分鐘。

云極速IO云硬盤測試截圖

從上面的SysbenchOLTP測試結(jié)果可以看出,華為云極速IO云硬盤MySQL數(shù)據(jù)庫應(yīng)用性能可以達(dá)到每秒2萬,接近2.1萬transactions(20938.99 per sec)的程度。每秒萬次級別的數(shù)據(jù)庫調(diào)用,基本上達(dá)到各大電商大促活動時(shí)的數(shù)據(jù)庫調(diào)用強(qiáng)度。

云超高IO云硬盤測試截圖

與華為云超高IO云硬盤數(shù)據(jù)庫應(yīng)用性能相比,極速IO云硬盤有一個(gè)數(shù)量級的性能提升。

鑒于華為云極速IO云硬盤的卓越性能,預(yù)計(jì)其在關(guān)系型數(shù)據(jù)庫、NoSQL數(shù)據(jù)庫、大數(shù)據(jù)+AI場景和云游戲及互聯(lián)網(wǎng)應(yīng)用將會被大量采用,大大提升最終用戶的體驗(yàn),讓性能問題不再是上云的瓶頸。

也許大家都很關(guān)心,這么好的東西,到底貴不貴?我們是否負(fù)擔(dān)得起?目前,華為云極速IO云硬盤還處于試用階段,沒有公布價(jià)格。不過,隨著閃存價(jià)格的下降,應(yīng)該會有一個(gè)較高的性價(jià)比。

感興趣的朋友不妨先上華為云官網(wǎng)免費(fèi)申請?jiān)囉冒伞?/p>

分享到

xiesc

相關(guān)推薦