浪潮信息存儲(chǔ)產(chǎn)品線副總經(jīng)理劉希猛表示:“當(dāng)前,各個(gè)廠商紛紛投資硬件,訓(xùn)練自己的大模型,國(guó)內(nèi)已發(fā)布的生成式AI模型超過了100個(gè),‘百模爭(zhēng)秀’的格局初現(xiàn),云廠商和運(yùn)營(yíng)商對(duì)IT硬件的投資往往是成千上萬(wàn)節(jié)點(diǎn)規(guī)模,而行業(yè)大廠投資在幾百節(jié)點(diǎn)規(guī)模,在建設(shè)布局時(shí)考慮到AI大模型對(duì)高性能AI服務(wù)器、高吞吐并行存儲(chǔ)系統(tǒng)、低延遲RDMA網(wǎng)絡(luò)的嚴(yán)苛需求,將數(shù)據(jù)中心的算力、全閃、混閃按照1:1:1黃金比例建設(shè),可實(shí)現(xiàn)用戶整體投入最小化。”

“一臺(tái)8卡最先進(jìn)GPU服務(wù)器后端配置的存儲(chǔ)節(jié)點(diǎn)寫帶寬要求20GB/s,讀帶寬要求40GB/s,通常一臺(tái)全閃存儲(chǔ)節(jié)點(diǎn)的寫帶寬是20GB/s,讀帶寬接近30GB/s,可得到計(jì)算節(jié)點(diǎn)與全閃節(jié)點(diǎn)的數(shù)量比例接近1:1。按著數(shù)據(jù)使用規(guī)律,通常熱數(shù)據(jù)和溫冷數(shù)據(jù)的容量配置約為1:10,即全閃單節(jié)點(diǎn)容量為50~100TB,混閃節(jié)點(diǎn)容量為500~1000TB,全閃節(jié)點(diǎn)與混閃節(jié)點(diǎn)的數(shù)量比例接近1:1?!?劉希猛說(shuō)。

“我們建議用戶整體規(guī)劃布局,避免在存儲(chǔ)擴(kuò)容、數(shù)據(jù)遷移和數(shù)據(jù)管理方面隨著業(yè)務(wù)的增加而力不從心,因此按照算力、全閃、混閃節(jié)點(diǎn)數(shù)量配比1:1:1來(lái)設(shè)計(jì)規(guī)劃和部署是目前的最優(yōu)方案?!?劉希猛繼續(xù)補(bǔ)充說(shuō)。

 分布式存儲(chǔ)產(chǎn)品線總經(jīng)理姜樂果表示:AS15000G7是在AS13000基礎(chǔ)上的升級(jí)迭代,如果說(shuō)AS13000的特點(diǎn)是極致融合,那么AS15000G7的特點(diǎn)則是極致性能。

AS15000G7采用高吞吐并行存儲(chǔ)系統(tǒng),通過GDS、RDMA技術(shù)縮短I/O路徑;通過智能元數(shù)據(jù)管理,提前緩存用戶數(shù)據(jù)和文件系統(tǒng)元數(shù)據(jù),顯著提升數(shù)據(jù)訪問和檢索速度;獨(dú)有的智能網(wǎng)絡(luò)優(yōu)化技術(shù),可實(shí)現(xiàn)多個(gè)子網(wǎng)與指定目的地通信,每對(duì)守護(hù)進(jìn)程之間建立多個(gè)TCP連接并通信,顯著提升網(wǎng)絡(luò)端口并發(fā)能力,實(shí)現(xiàn)傳輸端口帶寬翻數(shù)倍,時(shí)延縮短50%以上,小文件級(jí)傳輸?shù)臅r(shí)延可降至毫秒級(jí)。

以GDS(GPU Direct Storage)為例,能夠?qū)PU和外部數(shù)據(jù)存儲(chǔ)的帶寬提升2~8倍,當(dāng)GPU并發(fā)度增加的時(shí)候,GDS仍然能夠保持穩(wěn)定的低延遲輸出,非常適用于AIGC等AI應(yīng)用場(chǎng)景的應(yīng)用。通過對(duì)于GDS的支持,GPU直接訪問存儲(chǔ),從而避免了傳統(tǒng)設(shè)計(jì)應(yīng)用中,CPU調(diào)度帶來(lái)的訪問延遲??梢哉f(shuō),GDS也好,RDMA也好,對(duì)于新的訪問協(xié)議的支持,已經(jīng)成為了分布式文件系統(tǒng)的基本功,也是追求極致性能的必由之路。

AS15000G7提供了自動(dòng)化的數(shù)據(jù)分層和遷移的功能,從而為滿足AIGC場(chǎng)景應(yīng)用提供了更好的支持,因?yàn)槌烁咚俨⑿性L問能力之外,AIGC訓(xùn)練、推理中的中間結(jié)果數(shù)據(jù)需要存儲(chǔ)和保留,很多都是以冷數(shù)據(jù)形式呈現(xiàn),也更加適合混閃陣列的定位,這也是浪潮信息提出全閃、混閃1;1的原因。AS15000G7在產(chǎn)品設(shè)計(jì)上充分考慮到了這一點(diǎn),提供了通用型、容量型和性能型的產(chǎn)品類型。通過基于閃存、磁盤、磁帶、光盤的靈活配置,可最大程度降低用戶的整體投入。

AS15000G7新品同時(shí)搭載了AIStation調(diào)度平臺(tái)和InView數(shù)據(jù)管理平臺(tái),通過對(duì)AI服務(wù)器、網(wǎng)絡(luò)、存儲(chǔ)的智能運(yùn)維,提高多租戶管理、資源分配、數(shù)據(jù)管理分析的能力和水平。與此同時(shí),AS15000G7保留了多協(xié)議實(shí)時(shí)互訪互通和系統(tǒng)扁平擴(kuò)展的能力,從而能夠?qū)崿F(xiàn)對(duì)于多元異構(gòu)非結(jié)構(gòu)化數(shù)據(jù),如文本、圖片、音頻、視頻等,以及文件、對(duì)象、大數(shù)據(jù)以及視頻文件的高效共享。

“1:1:1,也許這樣配置比較奢侈,很少有用戶能夠達(dá)到這樣的配置,那是因?yàn)闆]有考慮到混合模態(tài)、多模態(tài)訓(xùn)練的需要?!?劉希猛說(shuō)。

都說(shuō)未雨綢繆,這應(yīng)該是AS15000G7的最好寫照。大軍未動(dòng),糧草先行,1:1:1,應(yīng)該是AIGC爭(zhēng)先的明智選擇。

分享到

songjy

相關(guān)推薦