隨著ChatGPT、Genesis和Claude等大型語言模型的崛起，全球數(shù)據(jù)生成量呈現(xiàn)爆發(fā)式增長。IDC預(yù)測，到2028年全球創(chuàng)建、獲取、復(fù)制和消費的數(shù)據(jù)總量將達(dá)到394ZB。
當(dāng)前，大模型領(lǐng)域的競爭已全面展開——從硬件架構(gòu)到軟件算法的各個層面，廠商都在展示技術(shù)實力。而擁有海量數(shù)據(jù)存儲經(jīng)驗的云服務(wù)商們，正通過優(yōu)化硬盤與固態(tài)硬盤的混合存儲架構(gòu)，為規(guī)?；疉I分析提供支撐，并推出一系列創(chuàng)新AI應(yīng)用。
一、AI如何重塑數(shù)據(jù)存儲及其演進(jìn)需求
隨著數(shù)據(jù)的爆炸式增長，生成式人工智能應(yīng)用日益普及。更加豐富的內(nèi)容形態(tài)、更多次的數(shù)據(jù)復(fù)制和轉(zhuǎn)換、更長的數(shù)據(jù)保留時間以及數(shù)據(jù)監(jiān)管和數(shù)據(jù)主權(quán)要求的升級，共同催生了更龐大的數(shù)據(jù)創(chuàng)建和存儲需求。
數(shù)據(jù)已成為AI成功的核心要素，其在希捷提出的“AI數(shù)據(jù)無限循環(huán)”中流經(jīng)六大節(jié)點：源數(shù)據(jù)、訓(xùn)練模型、創(chuàng)建內(nèi)容、存儲內(nèi)容、保存數(shù)據(jù)和重復(fù)利用數(shù)據(jù)。每個階段都需要差異化的存儲方案組合：
AI模型的訓(xùn)練、后處理及微調(diào)過程天然需要消耗大量數(shù)據(jù)和存儲資源，尤其是各行業(yè)特有的非公開數(shù)據(jù)集，這些數(shù)據(jù)對開發(fā)具有領(lǐng)域針對性的AI系統(tǒng)至關(guān)重要。雖然并非所有AI應(yīng)用都需要“無限”的數(shù)據(jù)支撐，但現(xiàn)代深度推理系統(tǒng)的有效性很大程度上依賴于大規(guī)模高質(zhì)量數(shù)據(jù)集——隨著AI技術(shù)向新領(lǐng)域拓展，這種依賴性愈發(fā)顯著。當(dāng)前的一個關(guān)鍵趨勢是：在推理能力進(jìn)步和成本優(yōu)化部署的雙重推動下，以往未被充分利用的數(shù)據(jù)源（如醫(yī)療領(lǐng)域的患者病歷、能源勘探中的地震數(shù)據(jù)等行業(yè)記錄和現(xiàn)實場景數(shù)據(jù)）正被整合到AI工作流程中。這一轉(zhuǎn)變使得曾被邊緣化的數(shù)據(jù)類別融入AI核心應(yīng)用范疇，進(jìn)一步刺激市場擴(kuò)張。
鑒于AI在現(xiàn)代數(shù)據(jù)生態(tài)中的無處不在，“通用數(shù)據(jù)”與“AI專用數(shù)據(jù)”正在融合為單一類別——這場變革將以指數(shù)級速度加速全球數(shù)據(jù)領(lǐng)域的擴(kuò)張。
二、數(shù)據(jù)存儲在AI工作流中的關(guān)鍵作用
AI工作流是由多個復(fù)雜環(huán)節(jié)組成的完整過程，每個階段都需要專門的存儲解決方案支撐。從數(shù)據(jù)預(yù)處理、模型訓(xùn)練、推理部署到長期歸檔，不同環(huán)節(jié)對存儲性能、容量和成本效益各有側(cè)重。隨著AI系統(tǒng)的持續(xù)演進(jìn)，存儲技術(shù)必須同步創(chuàng)新，在確保可擴(kuò)展性、效率與可靠性的同時，滿足這些動態(tài)變化的需求。
1、源數(shù)據(jù)：AI成功的基石
人工智能模型的有效性取決于能否訪問來自不同來源的海量高質(zhì)量數(shù)據(jù)集，因此存儲架構(gòu)必須能夠超越“SSD=快/HDD=慢”這種簡單的二分法。如今的高密度機(jī)械硬盤已發(fā)展成為大規(guī)模AI工作流的高效組件，它們不僅作為冷存儲層存在，更是分布式緩存系統(tǒng)的活躍參與者。憑借無可匹敵的容量成本比，HDD實現(xiàn)了EB級甚至更大規(guī)模數(shù)據(jù)操作的可持續(xù)擴(kuò)展。
當(dāng)前，行業(yè)領(lǐng)導(dǎo)者已在需要超高吞吐量和持久數(shù)據(jù)可用性的地理分布式AI/ML部署中采用HDD，充分證明其與SSD共同構(gòu)成了現(xiàn)代存儲體系的核心支柱。這些架構(gòu)實踐表明，經(jīng)過創(chuàng)新的HDD技術(shù)已從昔日的“傳統(tǒng)”存儲介質(zhì)，蛻變?yōu)榭蓴U(kuò)展AI基礎(chǔ)設(shè)施的關(guān)鍵基石。
2、模型訓(xùn)練：存儲需求的核心戰(zhàn)場
訓(xùn)練諸如ChatGPT或GROK等大型語言模型（LLM）需要反復(fù)訪問PB級數(shù)據(jù)，這對存儲系統(tǒng)提出了雙重挑戰(zhàn)——既要滿足梯度計算所需的高速訪問，又要保障數(shù)據(jù)集持久化存儲的大容量需求。在這一計算密集型階段，高性能存儲架構(gòu)通常采用HBM、DRAM 和本地SSD進(jìn)行學(xué)習(xí)。
檢查點具體發(fā)生在模型訓(xùn)練階段。它通過定期保存包含模型數(shù)據(jù)、參數(shù)和配置設(shè)置的完整快照，為訓(xùn)練過程提供多重保障。這些檢查點不僅可以作為防止意外中斷的保障措施，避免訓(xùn)練進(jìn)度丟失，還能完整記錄模型參數(shù)的演化軌跡，為開發(fā)者提供寶貴的記錄依據(jù)。為確保檢查點的安全存儲與高效訪問，業(yè)界普遍采用網(wǎng)絡(luò)硬盤和SSD存儲檢查點以保護(hù)和改進(jìn)模型訓(xùn)練。
模型訓(xùn)練期間的數(shù)據(jù)保留呈現(xiàn)出明顯的階段性特征。如圖所示，模型工作流程會持續(xù)生成數(shù)據(jù)變更和參數(shù)調(diào)整，高速SSD會頻繁執(zhí)行快速檢查點寫入，同時覆蓋先前的數(shù)據(jù)以滿足實時性要求。這種高頻覆蓋機(jī)制可確保高效的訓(xùn)練進(jìn)程，這意味著活躍的訓(xùn)練數(shù)據(jù)通常僅保留幾分鐘。相比之下，大容量HDD則承擔(dān)著長期存儲的職責(zé)，將海量檢查點數(shù)據(jù)集保存數(shù)周甚至數(shù)月，從而維護(hù)全面的歷史檔案。
3、推理與內(nèi)容生成：速度與經(jīng)濟(jì)性的兼顧
在推理階段，AI系統(tǒng)需實時響應(yīng)各類查詢請求（如聊天機(jī)器人、推薦引擎等），這就要求存儲系統(tǒng)在實現(xiàn)微秒級數(shù)據(jù)訪問的同時保持成本可控。支撐這一持續(xù)創(chuàng)作過程的核心存儲技術(shù)包括：HBM、DRAM和本地SSD。
4&5、內(nèi)容存儲與留存：耐用性與合規(guī)性并重
AI生成內(nèi)容（如合成媒體、學(xué)術(shù)論文及大規(guī)模數(shù)據(jù)集）在產(chǎn)出后，需要滿足三大核心要求的長期存儲方案：超大容量、能源高效與合規(guī)留存。隨著各行業(yè)AI生成內(nèi)容的爆發(fā)式增長，可擴(kuò)展存儲基礎(chǔ)設(shè)施的需求呈指數(shù)級上升。這類技術(shù)不僅能顯著降低運(yùn)營成本，還可有效減少碳足跡，與全球可持續(xù)發(fā)展目標(biāo)高度契合。
此外，要確保數(shù)據(jù)長期完整性，必須采用先進(jìn)糾錯協(xié)議并實施定期完整性校驗，從而有效防止數(shù)據(jù)劣化或過時問題。合規(guī)性要求更進(jìn)一步增加了存儲策略的復(fù)雜性——不同司法管轄區(qū)對數(shù)據(jù)留存期限、可訪問性及隱私保護(hù)的規(guī)定往往存在差異。通過將可擴(kuò)展的節(jié)能存儲方案與完善的合規(guī)框架相結(jié)合，企業(yè)既能使其AI產(chǎn)出具備前瞻適應(yīng)性，又能滿足持續(xù)演進(jìn)的監(jiān)管要求與環(huán)保標(biāo)準(zhǔn)。
像英國國家檔案館這樣需要長期保存PB級數(shù)據(jù)（20年合規(guī)留存）的大規(guī)模AI項目，必須采用能夠兼顧性能與容量的存儲架構(gòu)。總部位于美國的Iron Mountain公司協(xié)助英國國家檔案館部署了AI及機(jī)器學(xué)習(xí)系統(tǒng)，該方案能自動識別符合永久保存要求的檔案，從而滿足留存20年的規(guī)定。該系統(tǒng)可以完成記錄篩選、重復(fù)項檢測、實體提取及文件評估等全流程處理，最終確定歸檔內(nèi)容。
6、數(shù)據(jù)再利用：源數(shù)據(jù)、模型數(shù)據(jù)和推理數(shù)據(jù)將助力下一步工作
內(nèi)容輸出反饋到模型中，從而提高其準(zhǔn)確性并賦能新模型。網(wǎng)絡(luò)硬盤和固態(tài)硬盤為跨地域的AI數(shù)據(jù)協(xié)同生產(chǎn)提供支撐，使原始數(shù)據(jù)集與處理結(jié)果能持續(xù)轉(zhuǎn)化為新工作流的輸入源。
AI技術(shù)的下一前沿不僅關(guān)乎算法優(yōu)化，更在于重構(gòu)數(shù)據(jù)存儲、訪問與再利用的全流程范式。展望未來，數(shù)據(jù)中心運(yùn)營商需重點考量三大戰(zhàn)略方向：重新評估數(shù)據(jù)留存策略以保留曾被丟棄但具潛在價值的數(shù)據(jù)集；推動基礎(chǔ)設(shè)施從集中式向分布式-解耦架構(gòu)演進(jìn)；優(yōu)化功耗、服務(wù)等級協(xié)議（SLA）與可擴(kuò)展性的三角平衡。這些決策將直接決定AI系統(tǒng)如何有效地充分利用其數(shù)據(jù)潛力。
三、激烈的競爭與永無止境的創(chuàng)新之旅
作為全球領(lǐng)先的EB級存儲解決方案供應(yīng)商，希捷一直走在滿足日益增長的數(shù)據(jù)存儲需求的前沿。
希捷最新推出的魔彩盒3+（Mozaic 3+）平臺彰顯了公司對創(chuàng)新的執(zhí)著追求，為可擴(kuò)展的AI解決方案提供了清晰路徑。這一尖端技術(shù)平臺助力客戶能夠高效擴(kuò)展其存儲基礎(chǔ)架構(gòu)，優(yōu)化總體擁有成本，并實現(xiàn)可持續(xù)發(fā)展目標(biāo)。在AI驅(qū)動的數(shù)據(jù)中心，高存儲容量至關(guān)重要，不同的存儲介質(zhì)在性能和可擴(kuò)展性方面具有不同的優(yōu)勢。希捷的熱輔助磁記錄（HAMR）技術(shù)顯著提升了面密度，提升了硬盤的容量、性能和能效，并將實現(xiàn)單碟片10TB的突破性容量。
希捷率先將NVMe技術(shù)引入大容量硬盤領(lǐng)域，推出革命性解決方案，該技術(shù)已通過試點項目得到驗證。通過將NVMe發(fā)展為未來硬盤連接標(biāo)準(zhǔn)協(xié)議，希捷提供了一種創(chuàng)新選擇，既能優(yōu)化AI數(shù)據(jù)流水線、減少存儲瓶頸，又可保留硬盤在成本與存儲密度方面的傳統(tǒng)優(yōu)勢。與傳統(tǒng)基于SAS/SATA的硬盤相比，NVMe硬盤無需主機(jī)總線適配器（HBA）、協(xié)議橋接器和額外SAS基礎(chǔ)設(shè)施，從而顯著簡化了AI存儲架構(gòu)。尤為關(guān)鍵的是，該技術(shù)還支持GPU直接訪問。通過在高密度硬盤存儲與高速SSD緩存之間構(gòu)建統(tǒng)一的NVMe架構(gòu)，從而實現(xiàn)AI工作負(fù)載的無縫擴(kuò)展。
希捷正積極攜手客戶及AI生態(tài)領(lǐng)軍企業(yè)，共同驗證該技術(shù)在AI全價值鏈中的實際效能。此類深度合作將助力構(gòu)建標(biāo)準(zhǔn)參考架構(gòu)，從而確立NVMe硬盤在AI基礎(chǔ)設(shè)施中的長期戰(zhàn)略價值。
四、總結(jié)
希捷對技術(shù)創(chuàng)新的不懈追求，彰顯了其在應(yīng)對現(xiàn)代數(shù)據(jù)中心不斷演進(jìn)需求中的關(guān)鍵作用。通過持續(xù)提升存儲容量并推動全行業(yè)協(xié)作，希捷不僅可以滿足當(dāng)前需求，更為人工智能等領(lǐng)域的未來發(fā)展奠定了基礎(chǔ)。
隨著競爭格局的加劇，企業(yè)將傾向于采用能夠利用尖端硬件技術(shù)并優(yōu)化配置的架構(gòu)。在應(yīng)用性能和投資效率之間取得適當(dāng)?shù)钠胶?，對于在這種動態(tài)環(huán)境中蓬勃發(fā)展至關(guān)重要。通過實現(xiàn)這種平衡，企業(yè)不僅可以跟上技術(shù)進(jìn)步的步伐，還可以推動人工智能和數(shù)據(jù)存儲領(lǐng)域的未來創(chuàng)新。
