各位專家大家好，很高興能夠參加2022數(shù)據(jù)與存儲(chǔ)峰會(huì)。

今天跟大家分享的題目是“算網(wǎng)（存）融合下的分布式存儲(chǔ)發(fā)展趨勢(shì)”，從算網(wǎng)融合相關(guān)背景、算網(wǎng)融合下的數(shù)據(jù)存儲(chǔ)與流動(dòng)以及算網(wǎng)融合下的分布式存儲(chǔ)發(fā)展趨勢(shì)等幾個(gè)方面進(jìn)行分享。

算網(wǎng)（存）融合相關(guān)政策背景

隨著新一代信息技術(shù)快速發(fā)展，應(yīng)用對(duì)算力、網(wǎng)絡(luò)、存儲(chǔ)的需求不斷提升，算力、網(wǎng)絡(luò)、存儲(chǔ)的融合成為必然。

作為未來算力進(jìn)一步發(fā)展的關(guān)鍵技術(shù)，算網(wǎng)融合具有多層次、多類型、一體化的共性特征。

2021年5月，國家發(fā)改委聯(lián)合有關(guān)部委發(fā)了《全國一體化大數(shù)據(jù)中心協(xié)同創(chuàng)新體系算力樞紐實(shí)施方案》，工信部同年7月發(fā)布了《新型數(shù)據(jù)中心發(fā)展三年行動(dòng)計(jì)劃(2021-2023年)》，今年1月，工信部、發(fā)改委又發(fā)布了《關(guān)于促進(jìn)云網(wǎng)融合 加快中小城市信息基礎(chǔ)設(shè)施建設(shè)的通知》，1個(gè)月后，發(fā)改委等四部門印發(fā)文件，正式啟動(dòng)?xùn)|數(shù)西算工程建設(shè)。

這些政策文件中屢屢提及云網(wǎng)協(xié)同、、云網(wǎng)融合、云數(shù)一體、算力網(wǎng)絡(luò)等概念，標(biāo)志著算網(wǎng)存融合，已經(jīng)達(dá)成政策共識(shí)。

算網(wǎng)（存）融合，是“東數(shù)西算”工程的重要支撐

一直以來，我國的算力供需都存在著很大的矛盾。

從中國信通院的調(diào)研中可以看到，中國的算力基礎(chǔ)設(shè)施規(guī)模已經(jīng)達(dá)到了135Eflops，位居全球第二。但是，算力的利用率仍然比較低，北上廣等核心城市的平均上架率達(dá)到了70%，遠(yuǎn)高于50%的全國平均水平，而中西部的上架率僅為15%-20%。

在這樣的背景下，打通網(wǎng)絡(luò)通道，加快實(shí)施“東數(shù)西算”工程，提高跨區(qū)域算力調(diào)度水平，構(gòu)建全國算力網(wǎng)絡(luò)體系，就顯得十分必要和緊迫。

實(shí)現(xiàn)算力全國調(diào)度，離不開算力網(wǎng)絡(luò)支持。而算力網(wǎng)絡(luò)是算網(wǎng)融合體系的技術(shù)實(shí)現(xiàn)，商業(yè)及政策相關(guān)內(nèi)容也有助于算力網(wǎng)絡(luò)的實(shí)現(xiàn)。

如何讓算網(wǎng)融合在東數(shù)西算工程中發(fā)揮更大的作用？可以從以下三個(gè)方面發(fā)力：一是建設(shè)統(tǒng)一的算網(wǎng)運(yùn)營平臺(tái)，對(duì)全國算網(wǎng)基礎(chǔ)設(shè)施的資源進(jìn)行編排和調(diào)度；二是開放各個(gè)平臺(tái)接口，納管云廠商的算力平臺(tái)、數(shù)據(jù)中心服務(wù)商的算力平臺(tái)以及超算中心等的算力平臺(tái)等社會(huì)算力，讓所有算力相關(guān)平臺(tái)都能夠按照標(biāo)準(zhǔn)互聯(lián)互通；三是要建立一體化的安全基礎(chǔ)設(shè)施，強(qiáng)化安全支持、實(shí)現(xiàn)共享交易，保障整體算力的一體化調(diào)度。

算網(wǎng)存融合建設(shè)，離不開各方力量的協(xié)同推進(jìn)。其中，運(yùn)營商要加強(qiáng)網(wǎng)絡(luò)基礎(chǔ)設(shè)施通信建設(shè)，提高傳輸?shù)馁|(zhì)量，云服務(wù)商以及算力服務(wù)商要提高算力調(diào)度的能力，數(shù)據(jù)中心和超算中心等算力基礎(chǔ)設(shè)施提供商要增強(qiáng)算力的整體供給能力，共同形成算力一體化的調(diào)度和協(xié)同。

算網(wǎng)（存）融合下分布式存儲(chǔ)發(fā)展趨勢(shì)

算力的一體化調(diào)度，并不是說像電力調(diào)度那樣，把算力從一個(gè)地方調(diào)配到另外一個(gè)地方，而是把數(shù)據(jù)調(diào)度編排到適合的算力資源池中，真正“運(yùn)動(dòng)”的其實(shí)是數(shù)據(jù)。

因此，算網(wǎng)存融合真正面臨的挑戰(zhàn)是數(shù)據(jù)的存儲(chǔ)與流動(dòng)問題。

數(shù)據(jù)在存儲(chǔ)、計(jì)算和分析，并得出科學(xué)決策和預(yù)測(cè)等商業(yè)價(jià)值的過程中，與數(shù)據(jù)的傳輸質(zhì)量及效率、數(shù)據(jù)的安全、數(shù)據(jù)的加速以及計(jì)算的能力都有著密切的關(guān)系；數(shù)據(jù)類型的不同，對(duì)存儲(chǔ)資源以及算力資源的需求不同，決定了它選擇相應(yīng)算力資源池的路徑。此外，數(shù)據(jù)還要能在異構(gòu)資源池中進(jìn)行流動(dòng)、處理、分析。

所有這一切，除了算力資源的配合，還需要數(shù)據(jù)基礎(chǔ)設(shè)施作為支撐。分布式存儲(chǔ)，就是承載算網(wǎng)（存）融合中數(shù)據(jù)存儲(chǔ)、流動(dòng)、統(tǒng)一調(diào)度和管理的數(shù)據(jù)支撐底座。

1）分布式存儲(chǔ)在數(shù)據(jù)流動(dòng)中的關(guān)鍵作用

為應(yīng)對(duì)算網(wǎng)（存）融合各類場景中海量多樣性數(shù)據(jù)應(yīng)用的挑戰(zhàn)，分布式存儲(chǔ)正在向面向混合業(yè)務(wù)負(fù)載、多協(xié)議互通以及存算分離的架構(gòu)方向演進(jìn)。

分布式存儲(chǔ)具備高擴(kuò)展、多協(xié)議、高性能、高可靠的、開放數(shù)據(jù)存儲(chǔ)能力。作為與計(jì)算能力相匹配的存儲(chǔ)架構(gòu)，分布式存儲(chǔ)已經(jīng)成為未來數(shù)據(jù)存儲(chǔ)核心業(yè)務(wù)場景的支撐。

2022年7月，中國信息通信研究院從架構(gòu)、硬件、軟件功能及性能以及數(shù)據(jù)管理、綠色節(jié)能等方面向分布式存儲(chǔ)領(lǐng)域展開了一項(xiàng)調(diào)研分析，并總結(jié)形成了《分布式存儲(chǔ)發(fā)展白皮書（2022年）》。該白皮書指出了分布式存儲(chǔ)短中期與長期發(fā)展走勢(shì)。

2）分布式存儲(chǔ)短中期與長期發(fā)展走勢(shì)

短中期來看，分布式存儲(chǔ)有面向多協(xié)議互通的架構(gòu)、面向混合負(fù)載的架構(gòu)以及應(yīng)用架構(gòu)的存算分離三大發(fā)展趨勢(shì)：

多協(xié)議互通架構(gòu)，支持同一套分布式系統(tǒng)訪問文件存儲(chǔ)、對(duì)象存儲(chǔ)、大數(shù)據(jù)存儲(chǔ)等并且可以對(duì)像文件對(duì)象、DFS等不同的協(xié)議實(shí)現(xiàn)兼容，從而減少多種協(xié)議帶來的存儲(chǔ)性能的損失；面向底層的異構(gòu)算力和混合負(fù)載架構(gòu)，支持云計(jì)算、通用計(jì)算、超算和智算等多樣化的算力，提供相匹配的數(shù)據(jù)存儲(chǔ)與網(wǎng)絡(luò)和基礎(chǔ)設(shè)施的性能；算分離的架構(gòu)，使得計(jì)算和存儲(chǔ)資源可以按需地獨(dú)立進(jìn)行擴(kuò)展，實(shí)現(xiàn)資源的最大效率利用。

3）分布式存儲(chǔ)長期發(fā)展趨勢(shì)

長遠(yuǎn)來看，分布式存儲(chǔ)的介質(zhì)、性能、容量將高于CPU能力的提升，存儲(chǔ)服務(wù)和存儲(chǔ)介質(zhì)將進(jìn)一步解耦。未來的分布式存儲(chǔ)除了支持通用的服務(wù)器，也會(huì)逐漸演進(jìn)到一個(gè)可以組合、廣泛卸載和大規(guī)模的支持異構(gòu)計(jì)算能力的存算分離架構(gòu)；存儲(chǔ)介質(zhì)集群，解決日益增長的數(shù)據(jù)存儲(chǔ)問題，存儲(chǔ)服務(wù)集群，解決存儲(chǔ)自身計(jì)算問題（存儲(chǔ)特性、控制面），計(jì)算集群，則解決生態(tài)連接問題及本地高性能緩存問題。

基于全閃存的分布式存儲(chǔ)系統(tǒng)具有更高的性能、擴(kuò)展性、企業(yè)級(jí)存儲(chǔ)特性以及更好的性價(jià)比，正在成為市場主流。要發(fā)揮好全閃存帶來的優(yōu)勢(shì)，存儲(chǔ)軟件堆棧還需要進(jìn)行端到端的重構(gòu)，如IO免鎖設(shè)計(jì)、優(yōu)化寫放大、垃圾回收、數(shù)據(jù)縮減等。

近年來，NVMe over Fabric協(xié)議借助NVMe通過網(wǎng)絡(luò)結(jié)構(gòu)將主機(jī)連接到存儲(chǔ)，取代傳統(tǒng)的以磁盤為中心的SAN技術(shù)，讓企業(yè)能夠通過網(wǎng)絡(luò)無縫連接閃存，釋放閃存性能優(yōu)勢(shì)。對(duì)于活躍的熱數(shù)據(jù)，持久性內(nèi)存和閃存盤將取代機(jī)械硬盤成為主流。

在分布式存儲(chǔ)硬件發(fā)展方面，以DPU、IPU等一系列硬件加速的專用數(shù)據(jù)處理芯片正在興起。如DPU就是把存儲(chǔ)系統(tǒng)中的IO處理、糾刪碼計(jì)算、數(shù)據(jù)重刪、數(shù)據(jù)壓縮、加密等功能卸載到了DPU上，讓CPU集中于系統(tǒng)控制面的功能，從而極大地提升了CPU工作的效率，因此得到快速發(fā)展。應(yīng)運(yùn)而生的NVMe協(xié)議，以高達(dá)數(shù)十GB的吞吐量、數(shù)百萬IOPS和微秒級(jí)時(shí)延極致地發(fā)揮出了SSD硬盤性能。使用Fabric網(wǎng)絡(luò)來承載NVMe協(xié)議的NVMe over Fabric，高性能、低延遲的遠(yuǎn)程訪問SSD成為可能。與SCSI協(xié)議相比，在主機(jī)和陣列間使用NVMe-oF協(xié)議具備更好的性能、簡化配置、組網(wǎng)靈活。

分布式存儲(chǔ)軟件正呈現(xiàn)四大趨勢(shì)：超高性能、安全可信、非結(jié)構(gòu)化數(shù)據(jù)縮減、容器存儲(chǔ)。一是大多數(shù)高性能計(jì)算其實(shí)都是對(duì)于海量數(shù)據(jù)進(jìn)行人工智能或者科學(xué)計(jì)算，所以分布式存儲(chǔ)的集群的性能正在快速提升；二是安全可信已經(jīng)成為數(shù)據(jù)泄露風(fēng)險(xiǎn)的重要保障，分布式存儲(chǔ)需在主機(jī)、存儲(chǔ)到盤的全鏈路提供高性能的數(shù)據(jù)加密傳送能力，提勒索病毒檢測(cè)、容災(zāi)備份等快速恢復(fù)數(shù)據(jù)韌性能力，并支持多云數(shù)據(jù)訪問控制策略與安全合規(guī)機(jī)制；三是隨著SSD成為主流介質(zhì)，通用的數(shù)據(jù)壓縮的算法與針對(duì)不同場景的專用壓縮算法創(chuàng)新將成為趨勢(shì)；四是云原生技術(shù)的深度應(yīng)用，可以實(shí)現(xiàn)對(duì)底層存儲(chǔ)的統(tǒng)一管理，提升對(duì)存儲(chǔ)系統(tǒng)的自動(dòng)化運(yùn)維能力。

數(shù)據(jù)跨平臺(tái)流動(dòng)、多數(shù)據(jù)中心容災(zāi)以及智能化運(yùn)維，是分布式存儲(chǔ)在數(shù)據(jù)管理方面的三大趨勢(shì)。以實(shí)現(xiàn)數(shù)據(jù)在不同的云平臺(tái)間的自由流動(dòng)為例，未來分布式存儲(chǔ)將考慮統(tǒng)一的數(shù)據(jù)編排目錄或者操作系統(tǒng)去形成統(tǒng)一的管理平面，對(duì)于跨云的數(shù)據(jù)和應(yīng)用進(jìn)行統(tǒng)一的編排，消除跨云平臺(tái)或異構(gòu)算力資源池中分布式存儲(chǔ)的數(shù)據(jù)孤島。

存儲(chǔ)系統(tǒng)作為數(shù)據(jù)中心三大件之一，存儲(chǔ)的綠色節(jié)能成為關(guān)鍵剛需。在碳達(dá)峰、碳中和這樣戰(zhàn)略大背景下，分布式存儲(chǔ)基礎(chǔ)設(shè)施需要在保證性能的前提下，綜合考慮規(guī)模、介質(zhì)、架構(gòu)、創(chuàng)新等因素，最大限度降低能源消耗。目前包括分布式存儲(chǔ)在內(nèi)的存儲(chǔ)領(lǐng)域的節(jié)能探索正在如下幾個(gè)方面取得進(jìn)展：首先是采取存算均衡模式，通過優(yōu)化數(shù)據(jù)中心存算比提高資源的利用率，從而減少能耗；其次，通過存算分離的架構(gòu)，利用數(shù)據(jù)高密存儲(chǔ)再加上糾刪技術(shù)，提高數(shù)據(jù)存儲(chǔ)效率；三是算法的節(jié)能，利用數(shù)據(jù)重刪壓縮和多協(xié)議訪問技術(shù)，提高數(shù)據(jù)的利用和訪問效率；四是介質(zhì)的節(jié)能，固態(tài)盤提升了存儲(chǔ)密度，同等容量下的閃存系統(tǒng)會(huì)比磁盤介質(zhì)存儲(chǔ)系統(tǒng)降低約50%的能耗。

至此分布式存儲(chǔ)在架構(gòu)、軟件功能和性能還有硬件、數(shù)據(jù)管理以及節(jié)能等方面的趨勢(shì)跟大家分享完了。相信各位都會(huì)在這種算網(wǎng)（存）融合的大背景下，進(jìn)一步看到分布式存儲(chǔ)所發(fā)揮的作用。

未來我們也希望跟在座的各位，共同去研究算網(wǎng)（存）融合過程中面臨的數(shù)據(jù)存儲(chǔ)與流動(dòng)等一系列問題及對(duì)策。

謝謝大家！

【在當(dāng)天召開的“東數(shù)西算高峰論壇“上，中國科學(xué)院計(jì)算機(jī)技術(shù)研究所研究員張?jiān)迫?、中國氣象局首席氣象專家何文春等專家以及英特爾、?lián)想凌拓等企業(yè)的代表也先后發(fā)表致辭或主題演講；兩天峰會(huì)共吸引了線上線下20余萬人參與和互動(dòng)交流。】

xiesc