2022年,全球生成式AI市場規(guī)模為101.4億美元,預(yù)計到2030年將達到1159億美元,復(fù)合年增長率 (CAGR) 為35.6%。

但不論AI應(yīng)用如何發(fā)展,都要依賴于大量結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)的“投喂”。因此,生成式AI模型會生成大量文本、圖像、視頻等。簡單來說,數(shù)據(jù)分析處理千兆字節(jié)的信息,機器學(xué)習(xí)將數(shù)據(jù)分析推向PB級(1PB約為5000億頁標(biāo)準(zhǔn)輸入文本),而生成式AI則把數(shù)字拉到了數(shù)百PB甚至更多。

AI對存儲的需求也在不斷變化。存儲廠商開始對AI需求劃分優(yōu)先級,要容量,要性能,要數(shù)據(jù)傳輸速度,還有AIOps等等。比如:

1、推動DRAM(動態(tài)隨機存取存儲器)市場發(fā)展。AI訓(xùn)練和推理過程中需要頻繁訪問和處理數(shù)據(jù),對內(nèi)存容量和帶寬提出了更高要求。

隨著半導(dǎo)體技術(shù)的不斷發(fā)展,DRAM的制程技術(shù)快速發(fā)展。目前如三星、海力士和美光等已經(jīng)進入1Znm(10-14nm)制程,并預(yù)計將進一步縮小至1αnm(10nm以下)制程。這將顯著提升DRAM的存儲密度和性能,同時降低功耗和成本。DDR5作為DRAM的新一代標(biāo)準(zhǔn),已經(jīng)開始在市場上廣泛應(yīng)用。

2、還有隨著AI模型對數(shù)據(jù)傳輸速度的要求提高,PCIe接口也在不斷迭代。PCIe 5.0和即將到來的PCIe 6.0提供了更高的數(shù)據(jù)傳輸速率來滿足AI應(yīng)用的需求。例如,PCIe 5.0的接口帶寬性能在某些應(yīng)用中已經(jīng)可以翻倍,滿足AI對高帶寬的需求。目前,市場上的主流廠商們已經(jīng)在發(fā)售PCIe 5.0 SSD。

3、推動CXL技術(shù)發(fā)展。CXL通過提供高帶寬、低延遲的連接,優(yōu)化數(shù)據(jù)中心內(nèi)存,使其能夠更好地適應(yīng)AI時代的需求。生成式AI模型的應(yīng)用不斷發(fā)展,對計算資源有著巨大的需求,尤其是在訓(xùn)練和推理過程中。CXL技術(shù)通過實現(xiàn)CPU和加速器之間的內(nèi)存資源共享,推動異構(gòu)計算的普及,提高AI模型訓(xùn)練和推理的速度。

4、還有QLC(四層單元)和TLC(三層單元)NAND閃存因其較高的存儲密度和相對較低的成本,成為生成式AI應(yīng)用的理想選擇。QLC NAND市場規(guī)模預(yù)計將從2023年的12.9%增長到2027年的46.4%,接近TLC NAND的市場份額 。QLC NAND提供的更大容量密度使其在企業(yè)級SSD市場中尤為受歡迎,尤其是在需要大量數(shù)據(jù)存儲的AI服務(wù)器環(huán)境中。

5、云文件服務(wù)也來活了,服務(wù)商們用存儲在云上的數(shù)據(jù)集來投喂大模型,但數(shù)據(jù)需要從其底層對象庫實現(xiàn)更快地訪存,類似AWS、Azure和谷歌用類似 GPUDirect的方式把數(shù)據(jù)從S3和Azure Blob存儲傳送到GPU實例里。

6、數(shù)據(jù)保護和安全方面,連接聊天機器人接口到企業(yè)設(shè)備使用時要保護數(shù)據(jù)集和識別漏洞。特定領(lǐng)域的聊天機器人可以檢查組織的攻擊面并確定保護它的操作。

一些安全廠商已經(jīng)開始通過聊天機器人等AI技術(shù)讓它們更有效地檢測和響應(yīng)惡意軟件及處理用戶交互。

總之,AI的興起正在推動存儲市場的發(fā)展,同時也促使存儲技術(shù)不斷創(chuàng)新以滿足AI應(yīng)用的需求。隨著AI技術(shù)的不斷進步,我們可以預(yù)見存儲市場將繼續(xù)擴大,為AI應(yīng)用提供更強大的支持。2024年11月8日,歡迎大家來到北京,來到中國數(shù)據(jù)與存儲峰會現(xiàn)場,走進AI+存儲協(xié)同發(fā)展論壇,了解更多關(guān)于AI與存儲的新變化。

分享到

崔歡歡

相關(guān)推薦