這個圖看上去復雜，其關鍵在于WADP，它是一個純軟件，可以直接部署在AI算力節(jié)點，利用AI服務器本身的計算能力，提供統(tǒng)一的存儲資源池的服務；當然，它也有另外一個選擇，在外部獨立部署，構建外部的存儲資源池。
如果沒有WADP，就需要借助Linux操作系統(tǒng)的ext4、XFS、Btrfs，或高性能場景下的ZFS（支持壓縮、快照）來管理本地部署的SSD或者磁盤，將其抽象為文件和目錄結構，供上層應用訪問。
二者的差別有點類似業(yè)余和專業(yè)的區(qū)別，就像直連存儲和外部數(shù)據(jù)存儲的差別，SAN也好，NAS也好，之所以要構建外部存儲資源池，很重要的原因是為了實現(xiàn)數(shù)據(jù)的集中共享，在存儲效率、可靠性、安全性保證水平上，二者存在明顯的差別。
曹羽中表示：WADP的目標是打破傳統(tǒng)架構壁壘，使得用戶無需使用不同的存儲設備，分別應對不同的應用場景；無需在不同存儲設備之間，拷貝和移動數(shù)據(jù)。WADP基于豐富接口，共享同一份數(shù)據(jù)，無縫互通滿足關鍵業(yè)務應用、以及AI數(shù)據(jù)應用場景的需求。將企業(yè)核心數(shù)據(jù)與AI 能力進行融合。
“在WADP的加持下，AI計算節(jié)點沒有必要部署本地SSD?！辈苡鹬姓f。
企業(yè)數(shù)據(jù)不能割裂
不同于互聯(lián)網(wǎng)上的數(shù)據(jù)，企業(yè)擁有自己專屬數(shù)據(jù)，這些數(shù)據(jù)是企業(yè)的核心資產(chǎn)，也是數(shù)字經(jīng)濟的基礎核心。
無論是SAN存儲，還是NAS存儲，無論是塊數(shù)據(jù)、文件數(shù)據(jù)，以及后來發(fā)展起來的對象數(shù)據(jù)，共同構成了企業(yè)的核心數(shù)據(jù)資產(chǎn)。但AI的浪潮襲來，將企業(yè)數(shù)據(jù)與AI 能力無縫融合，就成為迫在眉睫的事情。
AI能力的實質是向量化數(shù)據(jù)的擬合，借助Transformer 架構捕捉序列的多頭注意力（Multi-Head Attention）之間的復雜依賴關系，從而捕捉輸入序列的語義關聯(lián)（如長距離依賴、局部特征、語法/語義關系等），揭示單純依靠人力難以發(fā)現(xiàn)的客觀規(guī)律。 因此，企業(yè)核心數(shù)據(jù)的向量化處理是連接AI算法模型的橋梁，或者采用微調，或者采用RAG，或者訓練專屬小模型，這是目前企業(yè)結合AI模型較為常見的方式。
在這里，華瑞指數(shù)云的WADP讓我們思考：如何用一個統(tǒng)一的存儲架構，同時滿足傳統(tǒng)業(yè)務和AI應用的需求，避免數(shù)據(jù)的頻繁移動和拷貝。要知道，企業(yè)業(yè)務應用隨時隨地都在快速發(fā)展和變化之中，AI業(yè)務推理也需要能夠隨時捕捉這種變化，最好的方法是數(shù)據(jù)共享，一份數(shù)據(jù)滿足不同業(yè)務場景的需求。不能因為不同業(yè)務場景，讓數(shù)據(jù)產(chǎn)生割裂，這是WADP的意義。
為AI在企業(yè)場景落地插上翅膀
我們知道，HBM（高帶寬內存）在AI模型訓練、推理中扮演著重要角色，HBM借助硅中介層（Interposer）這種獨特的方式，實現(xiàn)了超高訪問帶寬，其弱點是價格昂貴，容量相對偏小，通常只有40GB ～ 141GB。
在AI訓練、推理的過程中，模型的參數(shù)、激活參數(shù)、參數(shù)精度，上下文數(shù)據(jù)都要加載到HBM，因為HBM緩存容量有限，存不下太多內容，為此，模型會將部分數(shù)據(jù)下刷本地NVMe SSD，依靠PCIe 4.0、5.0進行連接。NVMe SSD在傳輸性能上較之HBM會有數(shù)量級上的差距。
如今專業(yè)的存儲管理軟件，如WADP，為AI訓練、推理提供了全局共享的存儲資源池，為模型KV Cache存儲提供了近似無限的訪問空間，如此一來，無限空間的存儲資源池可對于長下文KV Cache數(shù)據(jù)進行保存，以存代算，提高模型推理的性能和響應能力（模型推理涉及多輪對話，會將上一輪對話輸出結果與新的對話內容一并提交，作為新一輪對話輸入，其中，涉及已經(jīng)計算過的內容，已經(jīng)被保存在KV Cache緩存中，無需重復計算，因此提升推理的速度）。
用曹羽中的話講：WADP為模型提供了一個近似無限空間的HBM擴展內存空間，盡管在性能上與HBM存在差距，但彌補了HBM容量不足以及無法全局共享的弱點，性能差距可以通過流水線并行和IO預加載等解決，全局共享的無限空間的KVCache池理論上可以做到把推理過程中計算出來的所有的KV值持久化下來，通過存儲IO讀取KV來代替GPU的重復運算，可以大幅降低推理算力需求。
WADP的能力在最新一輪專業(yè)評測中得到驗證。
最新的AI Storage權威評測MLPerf Storage v2.0測試結果顯示，華瑞指數(shù)云（ExponTech）WADP軟件在Resnet50模型訓練測試中，單客戶端支持的GPU卡數(shù)和帶寬均位居世界第一，Llama3模型的Checkpoint寫入帶寬排世界第三，但WADP方案僅使用了其他評測方案的1/5數(shù)量的SSD盤，因此如果以Checkpoint寫入帶寬/容量來計算寫入效率，ExponTech WADP方案排名將遙遙領先，位居第一，展示了WADP存儲軟件極為高效的硬件利用效率。
不同于市場上現(xiàn)有的打補丁的產(chǎn)品升級方法，華瑞指數(shù)云WADP為實現(xiàn)一份數(shù)據(jù)服務不同業(yè)務場景的目標，他們從零開始自主研發(fā)了一套可以適應各種IO需求的統(tǒng)一分布式存儲引擎WiDE，同時基于全自研分布式KV系統(tǒng)，構建了分布式元數(shù)據(jù)引擎，滿足OLTP關鍵業(yè)務應用，以及AI訓練、推理業(yè)務的需求。新的分布式KV系統(tǒng)，較之現(xiàn)有的NAS文件系統(tǒng)、并行文件系統(tǒng)，在海量小文件的處理上，具有明顯的優(yōu)勢，能夠實現(xiàn)萬億級別的數(shù)據(jù)操作，以此為基礎構建的WFS并行文件系統(tǒng)，可以完美適配AI訓練對于海量小文件隨機操作的需求。
基于分布式KV系統(tǒng)的元數(shù)據(jù)引擎就像一條線，完美串聯(lián)起來了WDS、WFS、WOS、WQS等不同場景模塊化存儲產(chǎn)品的需求，這也是WADP被稱為統(tǒng)一AI數(shù)據(jù)平臺的原因。
小結
AI模型和企業(yè)數(shù)據(jù)是一個不可分割的整體，面對源源不斷的業(yè)務數(shù)據(jù)，AI模型需提供具有針對性分析和推理能力，與此同時，AI模型也需要與傳統(tǒng)的企業(yè)應用互相配合，如此才能夠構建真正AI智能體，為企業(yè)業(yè)務創(chuàng)新創(chuàng)造價值。AI模型不會單獨存在，需要與傳統(tǒng)應用相互配合。
WADP從數(shù)據(jù)平臺的高度為AI、傳統(tǒng)業(yè)務應用構建了統(tǒng)一的數(shù)據(jù)基礎，為基于AI模型的業(yè)務創(chuàng)新創(chuàng)造了良好的物質基礎。據(jù)了解，WADP的4個模塊化存儲產(chǎn)品，可以分開使用，也可以彼此聯(lián)合，發(fā)揮協(xié)同的優(yōu)勢。從這個意義來說，WADP是一個真正具有平臺意義的產(chǎn)品，它緊緊抓住了AI時代企業(yè)業(yè)務創(chuàng)新的重點和關鍵。
