浪潮信息AS13000G7做對了什么？有哪些心得體會分享？
10月18日，浪潮信息存儲產(chǎn)品線副總經(jīng)理劉希猛、浪潮信息分布式存儲研發(fā)部總經(jīng)理張在貴、浪潮信息分布式存儲產(chǎn)品線副總經(jīng)理安祥文、浪潮信息分布式存儲方案架構師Lance SUN接受媒體采訪，分享了MLPerf Storage v1.0測試的經(jīng)驗。
據(jù)了解，本次MLPerf存儲基準評測（v1.0）吸引了全球13家存儲廠商和研究機構參與，圍繞醫(yī)學影像分割、圖像分類、宇宙學參數(shù)預測垂直領域內(nèi)的 3D-Unet 、 ResNet50、 CosmoFlow三個典型算法，重點考察與之匹配的存儲系統(tǒng)的總帶寬/每節(jié)點帶寬，以及存算配比指標的能力。
這些指標對于AI至關重要，原因很簡單，如今承擔算力的GPU資源非常昂貴，萬卡集群所能提供的算力驚人，資金投入同樣驚人，在這種情況下，高效利用GPU資源意義重大。眾所周知的“木桶效應”表明，木桶盛水的多寡是由短板而非長版決定的，AI系統(tǒng)也是一樣，不論決定模型訓練數(shù)據(jù)加載，還是模型訓練過程中斷點續(xù)訓，其加載速度不能拖GPU的后腿，加載時間越短越好，不要讓GPU資源出現(xiàn)閑置、等待的狀態(tài)。
有鑒于此， MLPerf存儲基準評測（v1.0）對GPU利用率設置了門檻，其中，3D-UNet的要求是90%以上，Resnet50、CosmoFlow的要求是70%以上，換句話說，留給存儲數(shù)據(jù)加載的時間，最苛刻的只有10%，在滿足這個前提下，對于存儲系統(tǒng)的吞吐能力，以及所能夠支持GPU數(shù)量進行考察，也就是上面圖標中所說的加速器數(shù)量，這里的數(shù)據(jù)越大越好。
順帶提一句，在這次參加測試產(chǎn)品中，Resnet50始終達不到70%利用率的指標，后來MLCommons協(xié)會對MLPerf Storage v1.0軟件進行了調(diào)整。因此，此次測試，3D-UNet、CosmoFlow更能夠說明問題。
要想在MLPerf存儲基準評測(v1.0)中取得佳績，采取NVMe SSD全閃集群架構設計是一定，SATA SSD以及混閃架構設計達不到性能的需要。此外，網(wǎng)絡帶寬也是必須滿足的條件，有專業(yè)人士指出，“網(wǎng)絡400G連接完全是被GenAI催生出來的需求，其技術本身沒有那么成熟，類似性能抖動是必須要解決的工程上的難題?！?/p>
劉希猛透露，浪潮信息在這次測試中，采用了InfiniBand網(wǎng)絡方案，但浪潮信息也準備了以太網(wǎng)絡方案，能夠幫助用戶更好控制成本。
然而，僅有硬件還是遠遠不夠的，軟件的作用更為關鍵。
對于參測的存儲系統(tǒng)而言，必須要一致性分布式管理系統(tǒng)進行組織協(xié)調(diào)，以浪潮信息的方案為例，其控制層面采用有針對的管理和調(diào)度，對節(jié)點間流轉的數(shù)據(jù)流進行管控，減少東西向（節(jié)點間）數(shù)據(jù)轉發(fā)量，因為頻繁的節(jié)點間數(shù)據(jù)轉發(fā)，必然拖累存儲系統(tǒng)的整體效能；再有就是頻繁的IO中斷以及上下文切換，也是需要極力避免的問題。為此，浪潮信息分布式存儲平臺AS13000G7采用了多路并發(fā)透傳技術，將多個 I/O 請求進行整合和批處理，使得系統(tǒng)可以一次性處理多個請求，而不是逐個處理，從而減少了上下文切換的次數(shù)；該系統(tǒng)允許多個 IO通道同時傳輸數(shù)據(jù)，充分利用存儲系統(tǒng)的硬件資源和網(wǎng)絡帶寬。
此外，在數(shù)據(jù)傳輸過程中，還要注意減少格式轉換、數(shù)據(jù)校驗等中間處理環(huán)節(jié)，采用數(shù)據(jù)直通傳輸?shù)姆绞?。還要注意增強文件系統(tǒng)與計算節(jié)點親和性，確保負載均衡。從浪潮信息存儲的實踐看，好的設計能夠將數(shù)據(jù)移動與多核CPU之間的訪問效率提升400%。
這些先進技術的是AS13000G7斬獲佳績的重要保證。
從表現(xiàn)看，在3D-UNet測試場景中，AS13000G7三節(jié)點存儲實現(xiàn)了1430個高并發(fā)讀線程，每個線程單次I/O時延均在0.005秒以內(nèi)，AI端到端訓練I/O占比低于10%，計算節(jié)點帶寬利用率達到了72%，實現(xiàn)了單存儲節(jié)點120 GB/s的超高性能。在單客戶端2和多客戶端2 CosmoFlow宇宙學分析應用的評測任務中，AS13000G7也分別提供了18 GB/s和52 GB/s的帶寬最佳成績。
這是一份令人相當滿意的答卷，也幫助浪潮信息在評測中獨占鰲頭。
劉希猛指出，人工智能賦能千行百業(yè)，背后離不開數(shù)據(jù)這個關鍵生產(chǎn)要素，數(shù)據(jù)連接了物理世界和數(shù)字世界，而數(shù)據(jù)存儲作為數(shù)據(jù)的載體，是人工智能落地的關鍵支撐之一。
如今，輿論的焦點都集中在大模型AI創(chuàng)造的神奇，但是對于創(chuàng)造奇跡的過程缺乏必要的了解。在存儲配套方面也存在類似問題，輿論更多關注模型訓練的數(shù)據(jù)加載、過程中的斷點續(xù)訓，青睞TB級、萬卡算力等指標，但是忽視了數(shù)據(jù)歸集、清洗的重要性，大模型AI要行業(yè)落地，勢必牽涉到要將分散在終端、地域，跨協(xié)議、跨地域數(shù)據(jù)進行處理，涉及到大數(shù)據(jù)組件Spark、以及Clip等工具的使用，這也需要適合的存儲系統(tǒng)提供支撐。這也是存儲系統(tǒng)選型重要的考察內(nèi)容。
對此，浪潮信息AS13000G7同樣表現(xiàn)出色，憑借非結構化協(xié)議融合、富元數(shù)據(jù)管理等技術支撐，AS13000G7能夠實現(xiàn)文件、對象、大數(shù)據(jù)、視頻協(xié)議互通，語義無損、性能一致，僅保存一份存儲池數(shù)據(jù)，就可以支撐多種協(xié)議訪問，避免了數(shù)據(jù)拷貝，實現(xiàn)最高50%數(shù)據(jù)存儲空間的節(jié)省。此外，其系統(tǒng)可靠性以及韌性同樣出色。試想，如果存儲系統(tǒng)韌性不足，導致訓練中斷，則任何努力都將付之東流。對此，要求存儲系統(tǒng)提供主動管理技術能力，對硬件、網(wǎng)絡、系統(tǒng)等進行檢測，在系統(tǒng)亞健康就采取措施，進行免數(shù)據(jù)遷移的快速微重構，而這些都離不開AI技術的加持。
劉希猛指出，無論采用什么樣的進階路線和方法，生成式AI對行業(yè)的影響將是史無前例的，其中數(shù)據(jù)成為智能革命的核心動力。圍繞著數(shù)據(jù)歸集、訓練和推理，應該構建起強大的算力、存力基礎設施，會發(fā)揮事半功倍的效果，磨刀不誤砍柴工。對于浪潮信息而言，參加MLPerf Storage v1.0 AI存儲基準測試也不過是小試牛刀，在展示技術水平和能力的同時，也加深了對于生成式AI技術的適配和了解，將繼續(xù)全力推動AI產(chǎn)業(yè)化和產(chǎn)業(yè)AI化進程。
浪潮信息已經(jīng)做好了充分的準備！
萬事俱備，不欠東風！
