曙光公司高性能產(chǎn)品事業(yè)部副總經(jīng)理李斌演講。
實際上,“E級計算”已經(jīng)成為各國在超算和科技領(lǐng)域爭奪的制高點,歐美、日本都確立了自己的“E級計算”發(fā)展計劃;E級高性能計算機以及E級高性能計算應(yīng)用和計算環(huán)境也作為“十三五”期間工作重點進行了部署。
曙光面向“E級計算”的技術(shù)突破
“E級計算”也是曙光未來高性能計算重點發(fā)展的框架。
曙光面向“E級計算”的技術(shù)突破情況如何?曙光公司高性能產(chǎn)品事業(yè)部副總經(jīng)理李斌總結(jié)了三大技術(shù)。
一是致力于突破高性能計算的新技術(shù)。經(jīng)過了20多年的發(fā)展,曙光致力于突破高性能計算的新技術(shù),包括計算、存儲、網(wǎng)絡(luò)等各個方面,逐漸形成了一套獨特的思路。
二是深化應(yīng)用融合。曙光注重高性能計算機與各行業(yè)、領(lǐng)域應(yīng)用的協(xié)同設(shè)計,定制推出一些專用高性能計算機。例如,曙光公司跟中科院大氣所共同申請了國家的“地球數(shù)值模擬裝置”原型系統(tǒng),在該項目中曙光承擔了針對地球科學的專用高性能計算機研制的任務(wù)。
三是推動中國高性能計算機的產(chǎn)業(yè)化。這也是曙光作為商業(yè)化運作的公司使命。作為中國科學院先進計算創(chuàng)新與產(chǎn)業(yè)化聯(lián)盟的理事長單位,曙光和中科院大氣所成立了中科三清公司,致力于從事生態(tài)環(huán)境的實時監(jiān)測和空氣質(zhì)量的實時預報等業(yè)務(wù);跟中科院電子所成立了航天星圖公司,后者主要從事衛(wèi)星遙感、空天大數(shù)據(jù)的深度加工和行業(yè)應(yīng)用。
這都是依托于曙光高性能計算機對相關(guān)行業(yè)做推動和帶動的例子。
面向E級高性能計算機研發(fā)的六大關(guān)注點
“太湖之光”用自主的處理器以100P的規(guī)模成為全中國的驕傲;“太湖之光”離“E級計算”還有10倍的差距,還有很多的技術(shù)難點需要突破。國際公認的實現(xiàn)“E級計算”的時間將在2020年。
李斌認為,曙光E級高性能計算機的研發(fā)目標在以下六個方面。
一是降低系統(tǒng)功耗。要不斷提高系統(tǒng)的能效比,即每瓦的計算性能,通過高效的制冷散熱技術(shù)提高整個系統(tǒng)的節(jié)能性。
二是在提高單點性能同時不斷提高整個系統(tǒng)的可擴展性。這對高性能計算機的高速度互聯(lián)網(wǎng)絡(luò)有很高的要求。
三是要通過硬件和軟件的方式提高整個系統(tǒng)的可靠性以及對應(yīng)用的容錯性。
四是要對應(yīng)用提供高效的支撐。高性能計算機要對應(yīng)用有很好的普適性,能支撐傳統(tǒng)的高性能計算,支持新興的大數(shù)據(jù)和深度學習等新興的計算應(yīng)用。
五是如何針對一個超大規(guī)模的系統(tǒng)實現(xiàn)高效的管理和運維。
六是實現(xiàn)產(chǎn)業(yè)化。不能為了E級而E級,而是要通過E級高性能計算機的研發(fā)打造一個良好的生態(tài)環(huán)境,推動相關(guān)產(chǎn)業(yè)的產(chǎn)業(yè)化。
計算網(wǎng)絡(luò)及制冷散熱領(lǐng)域新發(fā)展
曙光承擔了“十三五”期間E級高性能計算的重點專項。李斌認為,就算是沒有該項目,曙光的高性能計算研發(fā)工作也會沿著原有的思路和方向發(fā)展。
硅立方:2015年,曙光依托于地球數(shù)值模擬裝置原型系統(tǒng),發(fā)布了采用硅立方系列的高性能計算機,這可以看作曙光通用高性能計算機向E級過渡的體系結(jié)構(gòu)。
硅立方系統(tǒng)采用模塊化的立體擴展建設(shè)方式,這種物理排布方式與Torus網(wǎng)絡(luò)的拓撲結(jié)構(gòu)對應(yīng),可大幅度節(jié)省系統(tǒng)占地面積,提高空間計算密度,解決大規(guī)模系統(tǒng)長距離網(wǎng)絡(luò)布線的問題。依托這樣的技術(shù),曙光今年正式推出了硅立方數(shù)據(jù)中心的概念和解決方案。
M-Pro就是這樣一個全新的架構(gòu)和產(chǎn)品。這個系統(tǒng)和產(chǎn)品本來不是為E級計算設(shè)計的,但在未來的E級系統(tǒng)中將得到應(yīng)用。M-Pro是利用Multi-Host這樣的網(wǎng)絡(luò)技術(shù)實現(xiàn)網(wǎng)絡(luò)芯片到多個處理器支持到多個節(jié)點這樣的共享,實現(xiàn)更加均衡的I/O性能。從技術(shù)的角度來看,Multi-Host支持Infiniband和Intel,提供多處理器的選擇。這樣的架構(gòu)既適用于高性能計算,也適用于大數(shù)據(jù)運算這樣的應(yīng)用場景。
Multi-Host技術(shù)不僅可以保證每個核的帶寬性能,還實現(xiàn)了不同處理器在跨節(jié)點通信的時候?qū)崿F(xiàn)性能的均衡,對并行程序的擴展性和并行效率提供直接的幫助。節(jié)點共享這樣的網(wǎng)絡(luò)技術(shù),可以大幅度降低高性能計算系統(tǒng)的網(wǎng)絡(luò)成本。
這也意味著M-Pro HPC在單核的計算性能、保存性能和網(wǎng)絡(luò)帶寬性能方面比現(xiàn)在主流的計算平臺有明顯的優(yōu)勢。
針對材料模擬、氣侯、海洋工程等應(yīng)用,曙光做了實際應(yīng)用測試,在相同的運行規(guī)模下(不做額外的優(yōu)化),相對主流的計算平臺可以得到1.5-2倍實際應(yīng)用的性能提升。也就是說,在相同投資的情況下,采用M-Pro HPC平臺,可以實現(xiàn)更好的應(yīng)用性能。
Torus網(wǎng)絡(luò)技術(shù):目前超大規(guī)模高性能計算系統(tǒng),Torus網(wǎng)絡(luò)架構(gòu)是國際上較主流的計算方向。
3D-Torus網(wǎng)絡(luò)結(jié)構(gòu)的優(yōu)勢,一是有非常好的擴展性和性價比,系統(tǒng)網(wǎng)絡(luò)建設(shè)成本和系統(tǒng)規(guī)模呈線性關(guān)系;二是有非常好的鄰近通信性能。不過,在網(wǎng)絡(luò)拓撲里距離較遠的時候,網(wǎng)絡(luò)跳數(shù)可能會比較多。三是因為采用了動態(tài)路由算法,Torus網(wǎng)絡(luò)有很好的系統(tǒng)容錯性,盡管頻道之間都有極多的路徑,電路斷掉后對整個系統(tǒng)的網(wǎng)絡(luò)通信不會產(chǎn)生全局影響,這也是E級超大規(guī)模系統(tǒng)非常重要的要求。
液冷技術(shù):對于超大規(guī)模系統(tǒng),有效地控制能耗提高節(jié)能十分迫切。目前液體冷有浸沒式的直接接觸方式和間接接觸的方式,也可以根據(jù)液體冷媒發(fā)生相變分成單相的方式。從散熱效率和節(jié)能性來說,浸沒式直接蒸發(fā)相變的方式是效率最高的方式,在系統(tǒng)的可維護性和成本方面還需進一步優(yōu)化。而冷板式液冷的方式技術(shù)相對比較成熟,成本優(yōu)化比較好。
曙光致力于發(fā)展液冷技術(shù)。在液體冷卻技術(shù)分兩步,在主流的計算刀片平臺TC4600E-LP上已經(jīng)實現(xiàn)了冷板式液冷的產(chǎn)品化,正在做全浸式的蒸發(fā)相變冷卻的研發(fā)和產(chǎn)品化。
曙光E級高性能計算機系統(tǒng)項目的設(shè)計思路
曙光E級高性能計算機系統(tǒng)項目是國家“十三五”期間高性能計算的重點專項,其最顯著特點是突破了制約E級計算發(fā)展的各個關(guān)鍵技術(shù),通過這樣原型機的研制去驗證E級的技術(shù)路線,為未來真正實現(xiàn)國產(chǎn)E級系統(tǒng)做技術(shù)鋪墊。
除了沿用和發(fā)展諸如硅立方一類已有技術(shù),還將基于現(xiàn)有存儲、高性能計算機的管理和運維,針對更大規(guī)模、更復雜的環(huán)境進行優(yōu)化。
在體系結(jié)構(gòu)方面,未來E級系統(tǒng)的仍將采用層次化的設(shè)計,從基礎(chǔ)的節(jié)點對到超節(jié)點到硅元組成硅立方體系結(jié)構(gòu),其最低性能指標將達到每節(jié)點在5P FLOPS以上,能效比到10P FLOPS每瓦這樣的指標。
在計算部件方面,曙光仍將采用基于自主的處理器加眾核加速器這樣節(jié)點內(nèi)的異構(gòu)架構(gòu)。這種方式可以更加靈活地支撐傳統(tǒng)的高性能計算以及深度學習、大數(shù)據(jù)、云計算等不同的應(yīng)用場景。
網(wǎng)絡(luò)部分,將基于現(xiàn)有3D-Torus網(wǎng)絡(luò)結(jié)構(gòu)擴充到6D(采用兩層3D-Torus的結(jié)構(gòu)),6D-Torus的路由算法已經(jīng)實現(xiàn);內(nèi)層的3D-Torus采用硅元。為了大幅度降低系統(tǒng)線纜的使用數(shù)量,內(nèi)層的3D-Torus將做成一個模塊化的交換機,或采用光交換快速通路技術(shù)去優(yōu)化Torus網(wǎng)絡(luò)比較遠距離網(wǎng)絡(luò)通信的跳數(shù),提升網(wǎng)絡(luò)全局性能。
在制冷方面,將采用全浸式的蒸發(fā)相變冷卻,把整個計算單元浸泡在沸點比較低的特殊液體里,液體吸收熱量發(fā)生相變氣化,在室外冷卻后再循環(huán);室外部分仍采用全年自然冷卻技術(shù),預計其PUE值將接近1。
這樣的建設(shè)方式可以用于高性能計算機系統(tǒng)和傳統(tǒng)的數(shù)據(jù)中心。李斌表示,曙光正通過這些技術(shù)帶動相關(guān)的產(chǎn)業(yè)發(fā)展,并擴展到商業(yè)應(yīng)用領(lǐng)域。