目前HPC應(yīng)用正從過去的傳統(tǒng)科研領(lǐng)域計算密集型，逐漸向新興的大數(shù)據(jù)、人工智能以及深度學(xué)習(xí)等方向進行融合和演進。繼而，數(shù)字時代無論是智能制造、智慧醫(yī)療、智慧城市、智能家居，HPC都將成為核心技術(shù)。特別是近兩年備受關(guān)注的人工智能領(lǐng)域，如自動駕駛汽車、無人機、人臉識別、醫(yī)療診斷以及金融分析和商業(yè)決策等，其核心是大數(shù)據(jù)支持，HPC成為人工智能模型訓(xùn)練的重要支撐平臺。
HPC通過極快的處理速度，獲取大量數(shù)據(jù)進行復(fù)雜的運算，實現(xiàn)數(shù)據(jù)即時分析，達到快速決策的目標(biāo)。因此，HPC機群對于存儲有著較高的性能要求，保證來自多個HPC服務(wù)器密集而多樣的分析行為。
同時，由于未分析的原始數(shù)據(jù)會越積越多，并且未來還會有更多的數(shù)據(jù)需要研究/處理，因此容量和擴展性也是重要的考慮因素。HPC的總體數(shù)據(jù)最終會達到PB級別，需要超大的存儲容量才能完成歸檔。
在HPC應(yīng)用環(huán)境下，業(yè)務(wù)軟件眾多（其中運行的應(yīng)用算例各不相同），從而導(dǎo)致不同的業(yè)務(wù)對I/O負(fù)載要求不同，其中包括帶寬型、IPOS型、元數(shù)據(jù)OPS密集型、及基于MPI框架的應(yīng)用需要并行訪問同一個文件的并行I/O等。例如，在新興的AI場景中會牽涉到預(yù)處理階段、訓(xùn)練階段和仿真等階段，都對帶寬及IOPS有著各不相同的高要求。
在傳統(tǒng)的油氣勘探典型場景中，假設(shè)需要同時滿足震資料處理和地震資料解釋兩種應(yīng)用場景對IO負(fù)載的不同要求，通常需要為其分別配置存儲A及存儲B，以滿足不同的IO負(fù)載性能。因此，在HPC應(yīng)用的場景下，滿足高帶寬、高IOPS及低時延的混合負(fù)載模型是HPC存儲面臨的巨大挑戰(zhàn)。
?性能衡量標(biāo)準(zhǔn)
帶寬型業(yè)務(wù)的衡量標(biāo)準(zhǔn)（單位時間內(nèi)的數(shù)據(jù)總吞吐量），主要特點有每個I/O大且處理次數(shù)少，單次I/O處理時間較長；IOPS型業(yè)務(wù)性能衡量標(biāo)準(zhǔn)（單位時間內(nèi)處理的總I/O請求，及每個I/O處理的時長），主要特點是單位時間內(nèi)I/O請求頻度較高，I/O請求量大，且處理時間較短；使用同一個存儲設(shè)備，在混合負(fù)載的情況下主要沖突體現(xiàn)在：CPU調(diào)度策略，帶寬型業(yè)務(wù)與IOPS型業(yè)務(wù)呈現(xiàn)為相反的調(diào)度策略，傳統(tǒng)技術(shù)無法實現(xiàn)帶寬型業(yè)務(wù)與IOPS型業(yè)務(wù)計算性能的雙重保障。
?軟件棧調(diào)度策略要求
混合負(fù)載下同樣存在軟件調(diào)用棧處理的邏輯沖突，物理性能瓶頸主要存在網(wǎng)絡(luò)帶寬、硬件帶寬及內(nèi)存帶寬上。要想減少性能瓶頸就要通過減少網(wǎng)絡(luò)轉(zhuǎn)發(fā)、減少內(nèi)存訪問實現(xiàn)、降低數(shù)據(jù)冗余。繼而與IOPS型業(yè)務(wù)產(chǎn)生沖突，在IOPS的應(yīng)用場景下，性能瓶頸主要集中在CPU算力及軟件調(diào)用棧深度，需要通過降低I/O請求的放大量，從而降低軟件調(diào)用棧的深度。因此，在同一設(shè)備中，既要保障帶寬型業(yè)務(wù)場景的處理性能，又要確保IOPS型業(yè)務(wù)場景性能，給存儲系統(tǒng)的處理邏輯帶來了巨大的挑戰(zhàn)。
介質(zhì)訪問模型
另外針對不同的業(yè)務(wù)類型，最佳的訪問模型也各不相同。要求I/O越大，通過磁頭、柱面和扇區(qū)組成的（3D參數(shù)）使得磁盤LBA連續(xù)度越高，則帶寬型業(yè)務(wù)的性能越高。然而，針對IOPS場景，I/O的大小與磁盤管理的顆粒度越匹配，則性能越高。因此，在混合負(fù)載下，主要問題體現(xiàn)在，數(shù)據(jù)布局如何兼顧I/O不同需求。
柏科數(shù)據(jù)ISCould分布式存儲可采用多維度創(chuàng)新信息技術(shù)來解決HPC場景下混合負(fù)載沖突帶寬機IOPS業(yè)務(wù)共存問題，分別通過一系列關(guān)鍵技術(shù)實現(xiàn)極致帶寬性能及IOPS性能。
混合負(fù)載性能雙優(yōu)化
通過I/O直通存儲技術(shù)將前端應(yīng)用寫入的大I/O直通存儲到節(jié)點的存儲層，以減少網(wǎng)絡(luò)帶寬、硬件帶寬及內(nèi)存帶寬的帶寬放大問題。小I/O則通過RDMA直接內(nèi)存訪問技術(shù)，將分散在其他存儲節(jié)點小I/O進行聚合存儲，隨即寫入到非易失性高速存儲介質(zhì)，可進一步降低CPU的消耗。既保證了帶寬型業(yè)務(wù)中帶寬問題，又提升了IOPS的性能。同時采用，分布式糾刪技術(shù)，對元數(shù)據(jù)節(jié)點進行存儲，可通過糾刪碼算法將原始數(shù)據(jù)進行編碼，不僅保障了數(shù)據(jù)安全性，同時實現(xiàn)存儲空間高可用。
?軟件棧智能調(diào)度
為了進一步實現(xiàn)混合負(fù)載下的最佳性能，通過CPU智能分組算法及全方位QoS管理技術(shù)，來實現(xiàn)自適I/O大小的軟件棧調(diào)用能力。軟件棧智能調(diào)度是通過大小I/O的特點，通過CPU動態(tài)分組技術(shù)，實現(xiàn)CPU自動歸屬應(yīng)用，為不同要求的I/O實行專核專用的策略，保障關(guān)鍵業(yè)務(wù)運行及IOPS業(yè)務(wù)快速響應(yīng)。同時，ISCould分布式存儲可智能識別IOPS優(yōu)先級別，采用全方位QoS管理技術(shù)，確保前臺優(yōu)于后臺的機制。充分實現(xiàn)混合負(fù)載下的極致低時延。
智能處理策略
目前磁盤管理通常采用Write in place的管理方式，這種管理方式在長時間的運行之后，由于數(shù)據(jù)及部分文件反復(fù)創(chuàng)建、重刪，會導(dǎo)致傳統(tǒng)數(shù)據(jù)碎片化嚴(yán)重。大I/O寫入會被拆解成多個小I/O，使得磁盤LBA連續(xù)度越低。通過兩次智能處理策略，首先通過智能數(shù)據(jù)處理技術(shù)，可將數(shù)據(jù)寫入連續(xù)的磁盤空間中，將無效數(shù)據(jù)在后臺進行垃圾回收。在通過對象組智能平衡技術(shù)，對磁盤進行實時監(jiān)控 、動態(tài)計算， 自動調(diào)整磁盤空間。
