高性能計(jì)算領(lǐng)域,基礎(chǔ)架構(gòu)設(shè)施由超級(jí)計(jì)算機(jī)及高性能存儲(chǔ)及網(wǎng)絡(luò)組成。在每年的國(guó)際超算大會(huì)(ISC)上,公布超級(jí)計(jì)算機(jī)的性能排名,即近日大家熱議的Top500榜單。同樣地,在ISC大會(huì)上還會(huì)公布IO500榜單,IO500是針對(duì)存儲(chǔ)系統(tǒng)性能的排名表。這兩個(gè)榜單,標(biāo)志著相關(guān)研究機(jī)構(gòu)及企業(yè),在高性能計(jì)算和存儲(chǔ)領(lǐng)域的技術(shù)實(shí)力和產(chǎn)品水平。
高性能存儲(chǔ)系統(tǒng)的基準(zhǔn)性能測(cè)試是一項(xiàng)復(fù)雜的任務(wù),并行I/O不僅受CPU延遲性能和網(wǎng)絡(luò)的影響,還受底層存儲(chǔ)技術(shù)和軟件的影響。不同廠商發(fā)布的性能測(cè)試結(jié)果,往往由于測(cè)試方法、工具、參數(shù)甚至測(cè)試步驟的先后順序不同,而具有較大的差異性。IO500定義了一個(gè)全面的基準(zhǔn)性能測(cè)試套件,可以對(duì)高性能存儲(chǔ)系統(tǒng)進(jìn)行標(biāo)準(zhǔn)的測(cè)試和比較,旨在為用戶提供一個(gè)標(biāo)準(zhǔn)的評(píng)價(jià)依據(jù)。
與計(jì)算體系結(jié)構(gòu)的Top500列表類似,IO500不僅提供評(píng)價(jià)存儲(chǔ)系統(tǒng)性能的關(guān)鍵指標(biāo),還將作為在業(yè)界促進(jìn)和共享最佳實(shí)踐的資料庫(kù)。
從測(cè)試方法上,IO500進(jìn)行兩組測(cè)試,分別完成以下場(chǎng)景的測(cè)試:
理想狀況下,存儲(chǔ)系統(tǒng)的最優(yōu)性能(例如大文件讀寫(xiě)),這組測(cè)試可以充分發(fā)揮存儲(chǔ)廠商在性能調(diào)優(yōu)上的主動(dòng)性。測(cè)試包括:
– IO Easy:write/read
– MDTest Easy: create/stat/delete
IO500專門(mén)設(shè)置了一組苛刻的測(cè)試流程(如隨機(jī)讀寫(xiě)3901 Byte數(shù)據(jù)),以及海量小文件的讀寫(xiě),以此來(lái)評(píng)估存儲(chǔ)系統(tǒng)在極端場(chǎng)景下的性能底線。測(cè)試包括:
– IO Hard:write/read
– MDTest Hard:create/stat/read/delete
– Find索引
最終,通過(guò)IOPS和帶寬的測(cè)試數(shù)據(jù),計(jì)算出整個(gè)存儲(chǔ)系統(tǒng)的性能評(píng)分。
IO500的測(cè)試基準(zhǔn),從設(shè)計(jì)之初,就設(shè)立了以下目標(biāo):
代表性:IO500的測(cè)試基準(zhǔn)應(yīng)該代表在真實(shí)系統(tǒng)上觀察到的典型工作負(fù)載。這包括可調(diào)優(yōu)和優(yōu)化的工作負(fù)載,也包括交互的、原始的及不可優(yōu)化的工作負(fù)載。IO500利用IOR、MDTEST和標(biāo)準(zhǔn)POSIX來(lái)對(duì)可優(yōu)化的順序IO、隨機(jī)IO以及元數(shù)據(jù)操作等類型的工作負(fù)載進(jìn)行性能評(píng)估。
易理解:IO500將生成有意義的度量和評(píng)價(jià)體系。測(cè)試指標(biāo)對(duì)數(shù)據(jù)中心用戶來(lái)說(shuō)是有意義的。盡量將測(cè)試偏差降低(即減少測(cè)試步驟差異帶來(lái)的影響),盡可能使重復(fù)測(cè)試可獲得相近的結(jié)果。對(duì)于每個(gè)單獨(dú)的性能運(yùn)行,IO500使用以GiB/s和kIOPS為單位進(jìn)行統(tǒng)計(jì)。除了綜合得分之外,還保留了個(gè)別值,以方便進(jìn)行更細(xì)致的評(píng)估。
可擴(kuò)展性:可以在任意規(guī)模的大型計(jì)算機(jī)及存儲(chǔ)系統(tǒng)上運(yùn)行,并根據(jù)使用的客戶端/服務(wù)器端節(jié)點(diǎn)數(shù)量和每個(gè)節(jié)點(diǎn)的進(jìn)程來(lái)評(píng)估測(cè)試結(jié)果。
可移植:基準(zhǔn)測(cè)試應(yīng)該涵蓋各種存儲(chǔ)技術(shù)和非POSIX API。提供不同版本的軟件包和工具,減少用戶在不同平臺(tái)上進(jìn)行測(cè)試的時(shí)間投入,使測(cè)試盡可能流暢地進(jìn)行。
權(quán)威性:IO500旨在提供可信賴的基準(zhǔn)性能測(cè)試結(jié)果,并且防止(無(wú)意中)作弊。向IO500提交的報(bào)告中,要求披露結(jié)果提供者所做的性能優(yōu)化參數(shù)。這些參數(shù)將作為結(jié)果的一部分與業(yè)界進(jìn)行分享,讓其他人通過(guò)調(diào)整有用的選項(xiàng)來(lái)進(jìn)一步理解測(cè)試。
IO500由存儲(chǔ)業(yè)界的國(guó)際知名廠商代表和學(xué)者組成委員會(huì),公平接受全球廠商、研究機(jī)構(gòu)提供的存儲(chǔ)系統(tǒng)性能測(cè)試數(shù)據(jù),并對(duì)結(jié)果進(jìn)行發(fā)布,IO500排名已成為高性能存儲(chǔ)領(lǐng)域及其重要的評(píng)價(jià)指標(biāo)。
YRCloudFile
YRCloudFile是焱融云推出的高性能分布式存儲(chǔ),此次參與的是IO500 10節(jié)點(diǎn)測(cè)試。IO500 10節(jié)點(diǎn)測(cè)試將基準(zhǔn)性能測(cè)試限制為10個(gè)節(jié)點(diǎn),評(píng)估在10節(jié)點(diǎn)上系統(tǒng)發(fā)揮出的最佳性能。這樣的集群規(guī)模十分貼近于大多數(shù)的中小規(guī)模應(yīng)用場(chǎng)景,其測(cè)試數(shù)據(jù)對(duì)客戶而言也非常具有參考和借鑒意義,YRCloudFile在這樣的規(guī)模下對(duì)集群的優(yōu)化也可以為大量用戶提供最佳實(shí)踐。
焱融云YRCloudFile通過(guò)支持RDMA、NVMe等新型高性能設(shè)備和技術(shù),以及高效的讀寫(xiě)引擎,降低了數(shù)據(jù)在讀寫(xiě)過(guò)程中的開(kāi)銷,可擴(kuò)展的元數(shù)據(jù)集群有效應(yīng)對(duì)海量文件場(chǎng)景下系統(tǒng)對(duì)元數(shù)據(jù)操作的壓力(MDTest Hard)。使YRCloudFile在及其有限的硬件配置環(huán)境下,依然發(fā)揮出優(yōu)異的性能,獲得理想的性能基準(zhǔn)測(cè)試結(jié)果。
YRCloudFile所提供的高性能存儲(chǔ)對(duì)人工智能(AI)、大規(guī)模仿真(Simulation)、電子設(shè)計(jì)自動(dòng)化(EDA)、生命工程(Life Science)、資源勘探等應(yīng)用領(lǐng)域至關(guān)重要。
除了高性能訪問(wèn)的能力外,YRCloudFile還提供了友好的數(shù)據(jù)治理功能,幫助用戶快速定位系統(tǒng)熱點(diǎn)(FileSystem Hot Spot),系統(tǒng)數(shù)據(jù)分析(FileSystem Insight)等功能,使管理員能更好掌控存儲(chǔ)集群并進(jìn)行相應(yīng)調(diào)整。
在未來(lái),焱融云還將繼續(xù)在YRCloudFile的性能優(yōu)化上投入更多資源,進(jìn)一步提升和優(yōu)化性能指標(biāo),為人工智能等眾多新興場(chǎng)景提供一流的數(shù)據(jù)管理支持。