報(bào)告還對(duì)過(guò)去5年，工業(yè)、政府以及學(xué)術(shù)研究機(jī)構(gòu)采用的HPC文件系統(tǒng)進(jìn)行了深入調(diào)查分析。結(jié)論是，NFS仍然是目前最廣泛采用的文件系統(tǒng)，但使用率已從2015年的54%下降到2019年的46%。Lustre、HDFS、GPFS/Sectrum Scale則分別實(shí)現(xiàn)增長(zhǎng)，其中Lustre由21%增長(zhǎng)至32.5%、HDFS由15%增長(zhǎng)至24.7%、GPFS/Sectrum Scale由23%增長(zhǎng)至26.8%。

在調(diào)查的194個(gè)超級(jí)計(jì)算機(jī)站點(diǎn)中，共使用了349個(gè)文件系統(tǒng)，平均每個(gè)站點(diǎn)使用1.8個(gè)文件系統(tǒng)。 超過(guò)50%的政府網(wǎng)站和30%的學(xué)術(shù)網(wǎng)站使用Lustre和GPFS/Sectrum Scale，工業(yè)選擇NFS、HDFS和RedHat的居多。除此之外，GFS、CEPH和Pan FS占比雖然不高，但在政府、學(xué)術(shù)界和工業(yè)都不同程度的應(yīng)用。

HPC存儲(chǔ)“大家談”

無(wú)論是開源還是商用存儲(chǔ)，也不管選用哪種分布式文件系統(tǒng)，HPC存儲(chǔ)技術(shù)發(fā)展終究是要適應(yīng)市場(chǎng)的需求，特別是適應(yīng)當(dāng)前企業(yè)不斷深化的數(shù)字化轉(zhuǎn)型和智能化升級(jí)需求。隨著云計(jì)算、大數(shù)據(jù)以及AI融入到千行百業(yè)，無(wú)論是傳統(tǒng)企業(yè)、政府還是學(xué)術(shù)研究機(jī)構(gòu)，數(shù)據(jù)的快速增長(zhǎng)將避無(wú)可避，由此帶來(lái)的龐大數(shù)據(jù)處理與分析需求，勢(shì)必推動(dòng)HPC存儲(chǔ)廠商的技術(shù)創(chuàng)新和變革。

面對(duì)快速增長(zhǎng)的數(shù)據(jù)存儲(chǔ)、管理、分析、低延時(shí)、高帶寬的應(yīng)用需求。HPC存儲(chǔ)廠商在做什么?總結(jié)來(lái)說(shuō)，主流廠商都在瞄準(zhǔn)大數(shù)據(jù)分析和AI分析場(chǎng)景，通過(guò)收購(gòu)或技術(shù)創(chuàng)新不斷提升HPC存儲(chǔ)性能。

作為存儲(chǔ)行業(yè)的老牌廠商，戴爾易安信有著豐富的HPC解決方案組合，既有基于Lustre、BeeGFS包裝的并行存儲(chǔ)解決方案主打傳統(tǒng)HPC場(chǎng)景，又有基于PowerScale(前Isilon)構(gòu)建的數(shù)據(jù)湖解決方案主打HPDA場(chǎng)景，同時(shí)推出了系列全閃存儲(chǔ)機(jī)型和PowerEdge服務(wù)器、400GbE開放式網(wǎng)絡(luò)交換機(jī)等形成AI就緒解決方案，通過(guò)多種方案組合應(yīng)對(duì)傳統(tǒng)HPC向HPDA、HPC-based AI演進(jìn)趨勢(shì)。

IBM正在將軟件定義的IBM Spectrum Scale存儲(chǔ)產(chǎn)品與基于 IBM POWER9處理器的I/O密集型服務(wù)器結(jié)合起來(lái)。通過(guò)將整個(gè)組織的存儲(chǔ)需求整合到 IBM ESS 5000 和基于 NVMe的ESS 3000上，支持需求苛刻的 HPC、分析和/或高容量存儲(chǔ)需求。IBM ESS 5000專為數(shù)據(jù)湖而設(shè)計(jì)，單個(gè)節(jié)點(diǎn)的性能可達(dá)到 55 GB/秒，可擴(kuò)展至堯字節(jié)級(jí)容量。

戴爾易安信和IBM都將存儲(chǔ)未來(lái)的發(fā)展壓向“AI、分析和HPC”應(yīng)用，足見各大廠商對(duì)HPDA、HPC-based AI應(yīng)用場(chǎng)景方向的看好和認(rèn)可。

作為一家專注于高性能計(jì)算存儲(chǔ)的供應(yīng)商，DDN擁有一系列快速訪問(wèn)和可擴(kuò)展陣列，可單獨(dú)使用，也可以與GRIDscaler Spectrum Scale和EXAscaler Lustre系列中的橫向擴(kuò)展并行文件系統(tǒng)捆綁使用。近年來(lái)，DDN通過(guò)一系列的收購(gòu)來(lái)強(qiáng)化其存儲(chǔ)系統(tǒng)面向AI、5G等場(chǎng)景的支撐能力。2019年收購(gòu)軟件定義存儲(chǔ)公司Nexenta，該公司擁有一系列文件，塊和對(duì)象存儲(chǔ)軟件產(chǎn)品，以及基于ZFS文件系統(tǒng)。Nexenta已進(jìn)入了市場(chǎng)，其在物聯(lián)網(wǎng)市場(chǎng)也在開拓計(jì)劃中。收購(gòu)Nexenta，不僅能拓展DDN存儲(chǔ)面向5G、AI以及物聯(lián)網(wǎng)等場(chǎng)景的能力，還可以在Lustre和Spectrum Scale產(chǎn)品之下獲得更為通用的文件存儲(chǔ)。

對(duì)比業(yè)界幾種主流的文件系統(tǒng)，Lustre作為超20年歷史的老牌開源并行文件系統(tǒng)，專門面向HPC場(chǎng)景設(shè)計(jì)，具有很強(qiáng)的擴(kuò)展性和超高的帶寬能力，HPC場(chǎng)景生態(tài)上也支持度很高。但開源文件系統(tǒng)的通病也在它身上充分體現(xiàn)出來(lái)，系統(tǒng)復(fù)雜性高和調(diào)優(yōu)維護(hù)復(fù)雜是客戶對(duì)Lustre詬病最多的點(diǎn)，同時(shí)，Lustre的企業(yè)特性較少，小文件性能偏弱也成為其面向HPDA/AI場(chǎng)景演進(jìn)的障礙。

IBM Spectrum Scale(前GPFS)作為并行文件系統(tǒng)的另一大分支，相比Lustre在企業(yè)特性方面和小文件性能上有了較大的增強(qiáng)，但仍然沒(méi)能擺脫系統(tǒng)復(fù)雜性高和調(diào)優(yōu)維護(hù)復(fù)雜的帽子，隨著IBM近兩年在整體存儲(chǔ)市場(chǎng)走弱，Spectrum Scale也面臨困境。

PowerScale的OneFS作為通用分布式文件系統(tǒng)的代表，憑借多協(xié)議互通能力和系統(tǒng)易用性，在新興的以自動(dòng)駕駛為代表的HPDA場(chǎng)景斬獲了較多的市場(chǎng)份額，但不支持MPI并行訪問(wèn)接口和相對(duì)較弱的性能，又限制了其在HPDA場(chǎng)景的競(jìng)爭(zhēng)力。

隨著傳統(tǒng)HPC向HPDA、HPC-based AI方向演進(jìn)，各行業(yè)迎來(lái)了數(shù)據(jù)量爆發(fā)和異構(gòu)算力加入，那么有沒(méi)有一種存儲(chǔ)能解決企業(yè)的所有需求，應(yīng)對(duì)跨協(xié)議訪問(wèn)、混合負(fù)載性能、成本、可靠性等多方面給存儲(chǔ)帶來(lái)新的挑戰(zhàn)?

2020年HC大會(huì)期間，國(guó)內(nèi)存儲(chǔ)市場(chǎng)的領(lǐng)軍者華為正式發(fā)布新一代HPDA存儲(chǔ)解決方案，依托OceanStor Pacific提供的多協(xié)議互通、面向混合負(fù)載、超高密設(shè)計(jì)能力，強(qiáng)勢(shì)進(jìn)軍HPC/HPDA市場(chǎng)。華為作為國(guó)內(nèi)頂尖科技公司的代表，一旦全力投入某個(gè)領(lǐng)域，還是能給我們帶來(lái)很多期待的：

首先，華為OceanStor Pacific可以實(shí)現(xiàn)POSIX/MPI/NFS/CIFS/HDFS/S3等多種協(xié)議的無(wú)損互通，實(shí)現(xiàn)HPDA場(chǎng)景下不同協(xié)議訪問(wèn)的數(shù)據(jù)零拷貝。相比業(yè)界網(wǎng)關(guān)式的協(xié)議互通，OceanStor Pacific的多服務(wù)構(gòu)建在統(tǒng)一的非結(jié)構(gòu)化數(shù)據(jù)底座上，每種協(xié)議均可直接訪問(wèn)，無(wú)需網(wǎng)關(guān)或插件，從而可以實(shí)現(xiàn)性能無(wú)損和語(yǔ)義無(wú)損的協(xié)議互通能力，同時(shí)各服務(wù)能夠共享數(shù)據(jù)底座豐富的特性能力。

其次，華為OceanFS新一代并行文件系統(tǒng)，架構(gòu)設(shè)計(jì)時(shí)同時(shí)繼承了分布式存儲(chǔ)的高并發(fā)帶寬能力和集中式存儲(chǔ)的小文件高OPS能力，再輔以DPC(Distributed Parallel Client)分布式并行客戶端支持MPI-IO，實(shí)現(xiàn)單流和單客戶端性能加速，實(shí)現(xiàn)了面向混合負(fù)載的全場(chǎng)景加速，能夠更從容的應(yīng)對(duì)HPDA場(chǎng)景的復(fù)雜業(yè)務(wù)負(fù)載。

針對(duì)HPC和大數(shù)據(jù)、AI技術(shù)融合后帶來(lái)的數(shù)據(jù)量爆發(fā)，華為OceanStor Pacific還推出了系列化高密硬件，來(lái)降低海量數(shù)據(jù)的空間占用和存儲(chǔ)成本。OceanStor Pacific 9950高密NVMe全閃機(jī)型可在5U空間提供高達(dá)160GB/s的帶寬和200萬(wàn)的IOPS性能;OceanStor Pacific 9550高密大容量機(jī)型則可在5U空間放置120塊HDD盤，提供高達(dá)1.68PB裸容量，通過(guò)兩者的分級(jí)，可以實(shí)現(xiàn)數(shù)據(jù)的性能與成本均衡。

歷史上，華為強(qiáng)勢(shì)進(jìn)軍某個(gè)領(lǐng)域，都給該領(lǐng)域帶來(lái)了巨大的變化，這次華為憑借系列硬核技術(shù)發(fā)力HPC/HPDA場(chǎng)景，我們也有理由相信將推動(dòng)HPC向HPDA、HPC-based AI方向的快速演進(jìn)，實(shí)現(xiàn)HPC產(chǎn)業(yè)升級(jí)。我們也期待有更多的存儲(chǔ)廠商發(fā)力HPDA場(chǎng)景，讓HPDA存儲(chǔ)的春天早日到來(lái)!

來(lái)源：飛象網(wǎng)

zhangnn