如今,專家、學(xué)者都在呼吁要像重視智算中心或者算力中心一樣,重視存力中心的建設(shè),但什么是存力中心?存力中心應(yīng)該具備哪些衡量指標?對此,并沒有一個業(yè)內(nèi)的共識,很多時候,會與存儲數(shù)據(jù)中心混為一談。為此,中國電子工業(yè)標準化技術(shù)協(xié)會數(shù)據(jù)存儲專委會(簡稱:數(shù)據(jù)存儲專委會)特邀業(yè)內(nèi)專家進行研討和交流,并通過《數(shù)存連線》欄目對外傳播。
我非常榮幸受邀,與華為數(shù)據(jù)存儲產(chǎn)業(yè)發(fā)展總監(jiān)翟爽、中國移動研究院項目經(jīng)理閆晗、數(shù)據(jù)存儲專委會秘書長孫鋼等專家參與第1期沙龍研討,也因此迸發(fā)了“有存,有力,才是存力中心”的觀點。
存力中心不能僅用存儲容量考評
在我看來“有存”非常好理解,數(shù)據(jù)要存下來,保護好,基本等同于存儲數(shù)據(jù)中心,數(shù)據(jù)在這里保存、使用,甚至交易。
相比“有力”應(yīng)該怎么理解呢?對此,不妨對比一下算力,所謂算力可通過1PFLOPS(千萬億次/秒)或者10PFLOPS等GPU算力的指標進行衡量;那么,存力中心如果也用100PB/1EB數(shù)據(jù)存儲的能力進行界定是否可以呢?我認為千萬不可以!
為什么存力中心不可以照方抓藥呢?
之所以可以用1PFLOPS或者10PFLOPS等算力指標界定智算中心,是因為算力基本決定了AI大模型訓(xùn)練、推理的能力和水平;相比,100PB/1EB存儲數(shù)據(jù)容量,只能夠代表數(shù)據(jù)的多與少,并不代表就此可以釋放數(shù)據(jù)的價值。借用數(shù)學(xué)的邏輯表述,存儲數(shù)據(jù)的能力是必要條件,卻并不是釋放數(shù)據(jù)價值的充要條件。
從數(shù)據(jù)到數(shù)據(jù)價值釋放,缺少了數(shù)據(jù)要素這個中間環(huán)節(jié)。
數(shù)據(jù)要素是存力中心非常重要的核心內(nèi)容。這從數(shù)據(jù)要素的表述就可以體現(xiàn)出來,數(shù)據(jù)要素是指從數(shù)據(jù)中提煉出的、可用于生產(chǎn)經(jīng)營并創(chuàng)造價值的資源,是數(shù)字經(jīng)濟時代的核心生產(chǎn)要素之一。
應(yīng)該說,數(shù)據(jù)要素才是存力中心建設(shè)的靈魂,也是“存力”的力量源泉。
存力如何進行衡量?
從數(shù)據(jù)到數(shù)據(jù)要素,再到數(shù)據(jù)價值的釋放,離不開生產(chǎn)力工具的使用,其中包括大數(shù)據(jù)以及AI大模型。AI大模型的使用已得到了廣泛的認可和重視,數(shù)據(jù)要素也不可避免地與AI大模型技術(shù)緊密結(jié)合,激發(fā)新的生產(chǎn)力。因此,數(shù)據(jù)要素對AI大模型的支持能力,完全可以作為存力的衡量指標。
未經(jīng)處理的原始記錄(如日志、文本、圖像),也就是我們說的數(shù)據(jù),一般不直接參與交易,也不能被AI大模型直接使用,這也是為什么100PB或者1EB的存儲容量不能說明問題的原因。這些原始數(shù)據(jù)要能夠被AI大模型使用,必須先經(jīng)過清洗、加工、分析和處理,其中,向量化就是一個最為基礎(chǔ)的操作。既然如此,完全可以將向量化數(shù)據(jù)量作為數(shù)據(jù)要素的衡量指標,如果數(shù)據(jù)要素占比過低,則不宜稱為存力中心。
存力中心建設(shè)應(yīng)該集中體現(xiàn)出數(shù)據(jù)要素的加速能力,加快數(shù)據(jù)價值的使用和釋放,這理應(yīng)成為存力中心建設(shè)的重要使用目標,如果背離了這個初衷,存力中心建設(shè)極有可能成為數(shù)據(jù)中心建設(shè)的翻版。
存力中心建設(shè)是否應(yīng)該像智算中心一樣單獨立項呢?
存力中心應(yīng)該與智算中心一樣得到重視,但這并不意味著一定要單獨構(gòu)建一個存力中心,這是因為數(shù)據(jù)要素不應(yīng)離開生產(chǎn)力單獨存在(這里生產(chǎn)力應(yīng)該是算力),智算中心和存力中心不應(yīng)該割裂。因為數(shù)據(jù)量龐大,存力中心很難依靠網(wǎng)絡(luò)傳輸遠程連接智算中心。存力中心應(yīng)該緊鄰智算中心,或者干脆就在同一個數(shù)據(jù)中心。二者的關(guān)系是:存力中心應(yīng)該是智算中心,但是智算中心未必是存力中心。這是由數(shù)據(jù)價值釋放的這個性質(zhì)決定的。
一切應(yīng)該以數(shù)據(jù)價值釋放作為前提,存力中心建設(shè)應(yīng)該體現(xiàn)出這個原則和宗旨。
存力中心存儲應(yīng)該具備的能力
以釋放數(shù)據(jù)價值作為前提,這也對存儲基礎(chǔ)設(shè)施運作提出了新的要求。
無論是存儲容量、閃介質(zhì)占比、高速網(wǎng)絡(luò)、分層存儲管理等等,都應(yīng)該有明確的要求和衡量的指標。
考慮閃存介質(zhì)占比,主要是AI大模型對數(shù)據(jù)存儲的需求,從模型訓(xùn)練中的CheckPoint加載,到模型推理中的數(shù)據(jù)處理,都對存儲系統(tǒng)的性能有很高的要求,而閃存介質(zhì)占比,可以作為主要衡量指標。其中,高速網(wǎng)絡(luò)也是保障性能不可或缺的技術(shù),也可以作為衡量指標之一。
性能之外,數(shù)據(jù)分層存儲的管理水平也是重要的衡量指標,其中牽涉到的技術(shù),如多協(xié)議融合互通、多元異構(gòu)集群納管,目的是同一份數(shù)據(jù),實現(xiàn)文件系統(tǒng)、對象存儲、大數(shù)據(jù)共享訪問,支持AI、數(shù)據(jù)交易、數(shù)據(jù)分析等上層應(yīng)用。避免了數(shù)據(jù)的拷貝來,拷貝去,最大程度上體現(xiàn)數(shù)據(jù)的管理水平。
在此需要認真思考的問題是:數(shù)據(jù)流動并不等同于數(shù)據(jù)的自由拷貝、復(fù)制,相反,更多的數(shù)據(jù)拷貝、復(fù)制,不僅帶來存儲成本的增加,同時也恰恰反映出數(shù)據(jù)共享水平的低下。因此,存力中心需要的是高水平的數(shù)據(jù)管理,以及高效的成本控制,這應(yīng)該成為存力建設(shè)的最基本的原則。
小結(jié)
以上是我對存力中心建設(shè)的一點思考,存力中心應(yīng)該以數(shù)據(jù)價值釋放為根本目標,綜合考慮數(shù)據(jù)要素占比,以及存儲基礎(chǔ)設(shè)施的專業(yè)化。希望通過數(shù)據(jù)存儲專委會等專業(yè)機構(gòu),從專業(yè)的角度給出完整的存力中心建設(shè)衡量標準,促進存力中心的健康發(fā)展。