CPFS是一種并行文件系統(tǒng),數據存儲到群集中多個數據節(jié)點,多個客戶端可以同時訪問這些數據,為大型高性能計算機集群提供高IOPS、高吞吐,低時延的數據存儲服務。

隨著高性能并行計算大規(guī)模商業(yè)化時代的到來,傳統(tǒng)并行文件系統(tǒng)面臨諸多挑戰(zhàn),存儲資源的急劇增長,成本高,運維管理復雜度大,大規(guī)模存儲系統(tǒng)的穩(wěn)定性,性能隨規(guī)模無法完全線性擴展等一系列問題困擾廣大客戶,CPFS應運而生。

具體來說,CPFS可將數據條帶化后均勻分布在整個存儲集群上,允許client并行訪問,吞吐和IOPS隨存儲節(jié)點的數量實現(xiàn)線性增長,整個存儲集群對外提供超高的聚合帶寬和IOPS。同時,采用融合以太網的 RDMA 協(xié)議 (RoCE) 網絡縮短IO訪問的網絡時延,進一步提高了IO訪問速度。此外,基于paxos ring的仲裁調度,CPFS可自動檢測服務節(jié)點異常,并在分鐘級別切換到其它節(jié)點重新提供服務。

以基因行業(yè)為例,人全基因組測序的原始數據大約有300GB,這些數據在傳統(tǒng)模式下需要70小時才能處理完畢,在云端優(yōu)化后也需要5小時才能完成。采用CPFS后,可在17分鐘內加載完1萬個人類全基因組數據,僅用1.5小時就可完成單個基因測序pipeline,這對臨床醫(yī)學的快速診斷、科研成果的快速轉換具有重大意義。

除了CPFS并行文件系統(tǒng),阿里云還推出了兩款NAS新品:NAS Plus智能緩存型和NAS Plus極速IO型。前者適用于對延時、單線程讀吞吐能力有較高要求的廣電行業(yè),可滿足單臺云圖站對20層4K高清編輯能力的需求,縮短視頻采編播流程;后者則適合搭建高性能彈性Web Server,可將海量小文件的訪問性能提升20倍,IOPS可達100萬,而單路延遲僅有500微秒。

 

分享到

xiesc

相關推薦