在主論壇上,華為云文件存儲服務(wù)總經(jīng)理崔林威發(fā)表了“以技術(shù)創(chuàng)新,構(gòu)建綠色云上數(shù)據(jù)基礎(chǔ)設(shè)施”的主題演講。
全文如下:
大家好,我是華為云的崔林威,很高興在2021年中國數(shù)據(jù)與存儲峰會給大家?guī)矸窒恚裉煳規(guī)淼姆窒碇黝}是《以技術(shù)創(chuàng)新,構(gòu)建綠色云上數(shù)據(jù)基礎(chǔ)設(shè)施》。
當(dāng)前,節(jié)能減排、碳中和關(guān)乎著人類的生死存亡,已經(jīng)成為全球達成的共識。2019年12月11日,歐盟委員會發(fā)布了《歐洲綠色新政》,提出了2050年歐洲實現(xiàn)氣侯中和,近200個國家陸續(xù)向聯(lián)合國提交了溫室氣體減排的NDC,推進2050年全球碳中和目標(biāo),2020年9月22日,習(xí)近平總書記在第75屆聯(lián)合國大會上,也鄭重地向全球作出承諾,努力爭取在2060年實現(xiàn)碳中和,碳中和是一場能源革命,更需要科技革命和技術(shù)的轉(zhuǎn)型,需要經(jīng)濟發(fā)展模式進行根本性的轉(zhuǎn)變和科技創(chuàng)新的支撐。
華為以全方位技術(shù)創(chuàng)新打造綠色節(jié)能的華為云
華為以全方位的技術(shù)創(chuàng)新打造綠色節(jié)能的華為云,構(gòu)建綠色基礎(chǔ)設(shè)施,存儲作為最典型的基礎(chǔ)設(shè)施,四個方面不斷的進行技術(shù)創(chuàng)新,助力整個社會的節(jié)能減排,我今天就從這四個方面去講一下華為在這四方面的技術(shù)創(chuàng)新。
一,在數(shù)據(jù)中心的創(chuàng)新層面來說,我們通過AI能效調(diào)優(yōu),儲熱循環(huán)等技術(shù),使得風(fēng)冷數(shù)據(jù)中心的PUE達到了1.12,水冷數(shù)據(jù)中心達到了更低。
在存儲介質(zhì)方面,通過高密框降低了每個物理空間的能耗,同時我們現(xiàn)在采用SSD POOL技術(shù),降低了每GB的性能能耗,同時華為現(xiàn)在在做大比例EC,降低每TB存儲空間的能耗,總計降低能耗基本上在60%以上。
同時在方案創(chuàng)新層面不斷推動新方案的改革,例如我們的多協(xié)議融合的數(shù)據(jù)湖、存算分離、分布式緩存等技術(shù),在提升業(yè)務(wù)處理效率的同時,平均任務(wù)的耗時節(jié)能也差不多降低了30%以上。
在生態(tài)聯(lián)盟創(chuàng)新層面,華為致力于提供全球統(tǒng)一的分布式資源池,承擔(dān)上層100多個高階服務(wù),提供數(shù)據(jù)處理平臺服務(wù)的“數(shù)據(jù)工坊”,用戶可以使其在大量的通用能力進行數(shù)據(jù)處理,而不需要各自的重復(fù)建設(shè),實現(xiàn)數(shù)據(jù)處理的共享和彈性的擴容,節(jié)能能耗20%以上。
華為云存儲打造綠色數(shù)據(jù)中心
下面我從幾方面具體講一下華為云存儲的技術(shù)創(chuàng)新。第一個,我今天要講的是我們在數(shù)據(jù)中心建設(shè)方面的一些創(chuàng)新,華為云當(dāng)年在全球27個區(qū)域建立了61個可用區(qū)域,2500+的CDN節(jié)點,華為的數(shù)據(jù)中心全部采用AI能效調(diào)優(yōu)、功率半導(dǎo)體、儲熱循環(huán)的技術(shù)進行了最大的提升能效,全球數(shù)據(jù)中心實現(xiàn)了按需供冷,提升8—15%的制冷效率,同時借助于可視化的AI運維能力,使得數(shù)據(jù)中心運維成本降低了35%,時延利用率提升了20%以上。
同時,華為數(shù)據(jù)中心充分利用天然氣侯的優(yōu)勢,進一步降低能源的消耗,例如我們建設(shè)的南貴北烏兩大數(shù)據(jù)中心。貴安數(shù)據(jù)中心是華為目前最大的數(shù)據(jù)中心,占地總面積1500多畝,建設(shè)規(guī)模可容納100萬臺服務(wù)器,貴安當(dāng)天的平均氣溫只有15度,我們采用自然冷卻技術(shù),全年的PUE降低到了1.12,這樣就意味著我們在滿負(fù)荷運行情況下,預(yù)計每年可節(jié)省電力在10億度左右,碳排放量相當(dāng)于節(jié)省了81萬噸,相當(dāng)于每年植樹3567萬棵。
烏蘭察布數(shù)據(jù)中心定位為華為云全球最大的渲染基地和歸檔數(shù)據(jù)存儲基地,充分利用了當(dāng)?shù)氐淖匀粭l件,全年的平均PUE低至1.15,到冬季更是低于1.1,因為烏蘭察布風(fēng)特別大,所以在風(fēng)冷利用方面,充分的把我們的PUE降下去。另外,整個數(shù)據(jù)中心因為使用的是風(fēng)力發(fā)電的電力,所以都是綠色能源。
華為在存儲介質(zhì)方面的三大技術(shù)創(chuàng)新
我們再來看一下華為在存儲介質(zhì)方面的一些創(chuàng)新,主要有三大技術(shù)的創(chuàng)新。
第一我們是使用了超大容量的高密框;第二做了SSD POOL技術(shù);第三,我們在搞大比例的EC技術(shù)。
超大容量的高密框的容量,相比原來的普通數(shù)據(jù)框,容量提升了2倍以上,功耗卻提升了接近10%,每U物理空間能耗差不多節(jié)省了16%以上,現(xiàn)在我們使用的SSD POOL技術(shù),性能相比原來的HDD POOL性能提升了5倍以上,同時空間占比節(jié)省了50%,每GB的性能能耗降低了84%,華為當(dāng)前的EC技術(shù),已經(jīng)達到了20+3,相比原來的三副本技術(shù),容量的利用率顯著的得到提升,每TB的存儲空間能耗降低到原來的30%左右。
華為云分享最新案例助力節(jié)能減排
接下來,我講一下華為云技術(shù)發(fā)展的創(chuàng)新,今天我們重點講三個方案的技術(shù)創(chuàng)新。第一個,華為云首創(chuàng)了文件服務(wù)的兼容對象接口,不僅能夠簡化客戶上云的過程,數(shù)據(jù)處理的結(jié)果也可以直接通過對象接口進行下載和分發(fā),從而避免了傳統(tǒng)云上文件處理的時候,需要先上傳數(shù)據(jù)到對象存儲,然后再從對象存儲拷貝到文件存儲,文件存儲處理完以后,拷貝回對象存儲,然后再進行分發(fā)。
現(xiàn)在我們實現(xiàn)了多協(xié)議湖通道,大大節(jié)省了整個過程的時間,更減少了整個過程的數(shù)據(jù)冗余。
今年我們在芒果TV熱播的綜藝節(jié)目“乘風(fēng)破浪的姐姐第二季”,是業(yè)界首個基于華為云打造的4K綜藝節(jié)目。她們的視頻通過影視基地和外景的拍攝,直接通過我們的對象存儲,直接上傳到華為云上,在云上通過文件接口進行轉(zhuǎn)碼、合成、調(diào)色、渲染等一系列的處理以后,直接分發(fā)到對應(yīng)的播放平臺,就可以直接實現(xiàn)播放了,整個過程是免數(shù)據(jù)拷貝的,使得整個節(jié)目制作時長節(jié)省了50%以上的,其實云上的資源是按需付費,相比于原來芒果TV自建的IT系統(tǒng)節(jié)省了90%的初始投資。
更重要的,整個節(jié)目制作過程,因為都是在云上,數(shù)據(jù)資源都是隨時彈縮容的,整個節(jié)目制作過程能源消耗相比芒果自己自建的數(shù)據(jù)中心,大概減少了21.5萬噸的碳排放量。
今天介紹的第二個解決方案,就是華為最著名的Big Data Pro大數(shù)據(jù)解決方案。它以高效的多樣性算力為底座,支持彈性云服務(wù)器、裸金屬、云容器部署方式,圍繞以O(shè)BS為存儲的數(shù)據(jù)湖,計算和存儲實現(xiàn)分離,利用高速云網(wǎng)絡(luò)連接計算和存儲,打造全新的云上大數(shù)據(jù)解決方案。因為計算和存儲資源都是可以彈性的、靈活的擴收容的,存算分離的方案使計算資源和存儲資源利用率都得到很大提升,計算資源我們像在美圖,基本上計算資源的利用率提升了75%以上,存儲資源利用率提升了140%以上,美圖基于華為的存算分離大數(shù)據(jù)解決方案,相比于原來的大數(shù)據(jù)分析平臺,資源利用率提升了21%,運營成本也大大降低了30%以上。
今天我要講的第三個解決方案,是我們基于SFS Turbo緩存渲染解決方案,它實現(xiàn)了云上云下NAS存儲側(cè)聯(lián)動,云上自動緩存數(shù)據(jù)熱點,提供最大20GB,百萬IOPS極致性能,助力MOREVFX(墨境天合)制作,渲染任務(wù)無感知的彈性到了我們的公有云上。
同時SFS Turbo文件服務(wù)提供標(biāo)準(zhǔn)的NFS和CIFS協(xié)議,實現(xiàn)了開箱即用,數(shù)據(jù)隨計算自動流傳上云,客戶云上云下體驗完全一致,無需對其程序做任何改造。和傳統(tǒng)的渲染解決方式相比,云上的SFS Turbo文件存儲解決方案,它是按需使用的,隨時可以釋放,避免了企業(yè)針對高峰用電的時候,要自己多建基礎(chǔ)設(shè)施,這樣就可以大大節(jié)省成本,相比傳統(tǒng)的自建模式,整個TCO下降了50%以上,性能提升了30%以上,縮短了排隊和渲染的時間,從而極大的減少了能源的消耗。
像墨境天合預(yù)計碳排,今年我們算了一下,大概它的碳排放量預(yù)計減少了差不多53噸。
今天我最后要講一下華為在合作生態(tài)上的創(chuàng)新,我們一直致力于打造豐富的數(shù)據(jù)生態(tài),當(dāng)前,存儲服務(wù)作為華為云的基礎(chǔ)服務(wù),承載了一百多個高階服務(wù),如大數(shù)據(jù)、數(shù)據(jù)庫、AI等,存儲著海量的運維數(shù)據(jù),支撐了數(shù)萬家的企業(yè)業(yè)務(wù),同時我們還在與眾多伙伴一起打造數(shù)據(jù)處理生態(tài),基于華為云第三方的數(shù)據(jù)處理能力,構(gòu)建數(shù)據(jù)平臺服務(wù),我們現(xiàn)在數(shù)據(jù)平臺服務(wù)叫做“數(shù)據(jù)工坊”,未來五年我們的“數(shù)據(jù)工坊”預(yù)計會提供一千+的數(shù)據(jù)處理算子給用戶使用。
例如我們現(xiàn)在正在與“數(shù)美科技”等行業(yè)領(lǐng)先的伙伴,聯(lián)合打造我們的內(nèi)容合規(guī)審核、自動駕駛預(yù)標(biāo)注、視頻轉(zhuǎn)碼、圖片轉(zhuǎn)碼、災(zāi)害識別等算子,用戶可以使用數(shù)據(jù)工坊上大量通用的能力進行數(shù)據(jù)的處理,從而不需要重復(fù)建設(shè)。
數(shù)據(jù)處理是AI共享的彈性,快速滿足客戶需要,可進一步實現(xiàn)整個低碳節(jié)能的目標(biāo)。
今天我主要說的是,華為云存儲一直致力于持續(xù)創(chuàng)新,構(gòu)建一個綠色的數(shù)據(jù)管道,是大家可以值得信賴的合作伙伴,謝謝!我今天的演講就到這。