創(chuàng)新求變的華數(shù)
在互聯(lián)網(wǎng)強(qiáng)勢的沖擊下,華數(shù)也在思考自己作為管道運(yùn)營商角色的價(jià)值。于是,在“互聯(lián)網(wǎng)+”上升到國家戰(zhàn)略背景下,2016年,華數(shù)提出了新網(wǎng)絡(luò)+應(yīng)用、新媒體+內(nèi)容、大數(shù)據(jù)+開發(fā)三大戰(zhàn)略,以“產(chǎn)業(yè)+資本”雙輪驅(qū)動(dòng),正在構(gòu)建以新網(wǎng)絡(luò)、新媒體、云計(jì)算、大數(shù)據(jù)、原創(chuàng)內(nèi)容以及智慧化等產(chǎn)業(yè)板塊為重點(diǎn)發(fā)展方向的公司。
華數(shù)傳媒網(wǎng)絡(luò)有限公司(簡稱華數(shù))是一家大型國有文化傳媒產(chǎn)業(yè)集團(tuán)的控股子公司,位居中國新媒體產(chǎn)業(yè)發(fā)展第一方陣。如今的華數(shù)正走在技術(shù)創(chuàng)新的道路上,在IT基礎(chǔ)設(shè)施方面也有很大投入,是廣電行業(yè)中第一家落地SDN項(xiàng)目的公司,同時(shí)在OpenStack,Container,k8s等新技術(shù)上均有很多實(shí)踐,并在全新的英特爾Optane(傲騰)上進(jìn)行大膽嘗試,認(rèn)真評(píng)估,最終在成本、性能等方面取得了不錯(cuò)的收益。
華數(shù)傳媒平臺(tái)運(yùn)維總監(jiān)張琴介紹說,華數(shù)擁有齊全的廣電行業(yè)牌照,業(yè)務(wù)包括傳統(tǒng)有線電視,手機(jī)電視以及互聯(lián)網(wǎng)電視三屏業(yè)務(wù),另外還有寬帶網(wǎng)絡(luò)業(yè)務(wù),覆蓋海量傳統(tǒng)媒體和新媒體用戶,其中互聯(lián)網(wǎng)電視用戶有1億、手機(jī)端產(chǎn)品用戶有5600萬、數(shù)字電視用戶有3000萬。另外,華數(shù)有自己的內(nèi)容庫,許多朋友熟悉的天貓盒子,其實(shí)就是華數(shù)的內(nèi)容和技術(shù)服務(wù)輸出。
華數(shù)一直堅(jiān)持以技術(shù)創(chuàng)新來驅(qū)動(dòng)產(chǎn)品創(chuàng)新、服務(wù)創(chuàng)新。張琴介紹說,華數(shù)非常支持技術(shù)創(chuàng)新,比如華數(shù)的技術(shù)部門每年都有一些專項(xiàng)的預(yù)研的項(xiàng)目,去做一些新技術(shù)的預(yù)研,評(píng)估,如果可行就會(huì)很快付諸實(shí)踐。公司高層所秉承的技術(shù)創(chuàng)新才能驅(qū)動(dòng)產(chǎn)品創(chuàng)新和服務(wù)創(chuàng)新的理念從2001年成立以來一直沒變過。
廣電行業(yè)的大數(shù)據(jù)應(yīng)用場景與瓶頸
華數(shù)的平臺(tái)上有龐大的用戶群體,有海量的數(shù)據(jù),這為大數(shù)據(jù)戰(zhàn)略的發(fā)展奠定了堅(jiān)實(shí)基礎(chǔ),而張琴所在的團(tuán)隊(duì)負(fù)責(zé)技術(shù)設(shè)施建設(shè)和數(shù)據(jù)挖掘,數(shù)據(jù)在越來越多的多場景中展現(xiàn)出了價(jià)值,廣電行業(yè)的大數(shù)據(jù)有哪些應(yīng)用場景?又有哪些產(chǎn)品方案呢?
首先能想的到的智能推薦系統(tǒng)。張琴的團(tuán)隊(duì)對華數(shù)傳媒平臺(tái)的數(shù)據(jù)做了收集、整理、挖掘分析,分析用戶的喜好,向各種平臺(tái)用戶提供智能的內(nèi)容推薦服務(wù),提高用戶對內(nèi)容的點(diǎn)播率。另外,根據(jù)用戶在電視購物時(shí)的繳費(fèi)喜好作分析,也能促進(jìn)電視購物業(yè)務(wù)發(fā)展。
收視數(shù)據(jù)的實(shí)時(shí)分析。華數(shù)的收視羅盤能實(shí)時(shí)看到點(diǎn)播數(shù)據(jù),看到用戶的點(diǎn)播喜好,還能檢測到平臺(tái)上比如浙江衛(wèi)視一些節(jié)目的收視率,每當(dāng)有關(guān)注度較高的體育賽事時(shí),點(diǎn)播的情況在收視羅盤都看的一清二楚。
久而久之,結(jié)合重大賽事等關(guān)注度高的節(jié)目,對收視情況做出一些預(yù)測的準(zhǔn)確性會(huì)越來越高,系統(tǒng)維護(hù)保障部門也會(huì)做一些有針對性的維護(hù)操作,防止出現(xiàn)因資源準(zhǔn)備不足造成的直播故障。
華數(shù)傳媒平臺(tái)上的數(shù)據(jù)非常多,除了幾十PB的媒體資源外,還要存儲(chǔ)PB級(jí)的脫敏冷數(shù)據(jù),將其存放在對象存儲(chǔ)平臺(tái)上,還有許多熱數(shù)據(jù)用了SATA SSD,大容量數(shù)據(jù)用的是傳統(tǒng)磁盤,華數(shù)傳媒平臺(tái)上的數(shù)據(jù)架構(gòu)還是很復(fù)雜的。
隨著業(yè)務(wù)規(guī)模的擴(kuò)張,數(shù)據(jù)技術(shù)承載了越來越重要的任務(wù),數(shù)據(jù)處理的規(guī)模也越來越大,張琴的團(tuán)隊(duì)不得不尋找有競爭力的數(shù)據(jù)挖掘解決方案。
華數(shù)傳媒平臺(tái)運(yùn)維部基礎(chǔ)平臺(tái)部經(jīng)理胡川表示,在做大數(shù)據(jù)處理時(shí)內(nèi)存成了最大瓶頸,一些應(yīng)用比如數(shù)據(jù)庫操作對內(nèi)存I/O或者磁盤的I/O要求是很高,目前只有傲騰 (Optane)才能滿足我們的需求。
傲騰帶來了什么?
2017年,華數(shù)從實(shí)際測試中開始了解傲騰技術(shù),伴隨著英特爾CPU的Tick-tock節(jié)奏,新一代CPU正式供貨后,華數(shù)的傲騰也開始落地應(yīng)用,一次廣電行業(yè)的前沿實(shí)踐也開始了。
2018年8月開始,幾十片傲騰陸續(xù)部署在了位于杭州市濱江區(qū)白馬湖華數(shù)數(shù)字產(chǎn)業(yè)園的12臺(tái)服務(wù)器上,為400臺(tái)云主機(jī)提供總計(jì)10TB的內(nèi)存。
服務(wù)器的內(nèi)存由原來的DRAM加上Optane(傲騰) SSD構(gòu)成,在英特爾內(nèi)存驅(qū)動(dòng)技術(shù)(Intel Memory Drive Technology)的幫助下,Optane SSD與DRAM打通成為內(nèi)存子系統(tǒng),從操作系統(tǒng)的角度看起來,跟以往的DRAM沒什么區(qū)別,而且,這一方案突破了原有的系統(tǒng)所能承載內(nèi)存的上限,在華數(shù)的服務(wù)器中,一臺(tái)主機(jī)上最高能配上704G內(nèi)存,而以前使用DRAM內(nèi)存最多能裝配512GB內(nèi)存,可用內(nèi)存容量提升了37.5%。
華數(shù)傳媒平臺(tái)運(yùn)維部基礎(chǔ)平臺(tái)部經(jīng)理胡川補(bǔ)充說,英特爾默認(rèn)的方案中DRAM和Optane的容量比為1:8,而在實(shí)測中他發(fā)現(xiàn),性能非常好,于是試著將配比改成Optane容量最高的模式,結(jié)果性能表現(xiàn)還是超出了預(yù)期,于是就干脆就把內(nèi)存配比調(diào)成了容量最大的模式。
Before vs. After
如上圖可見,Skylake架構(gòu)的Gold 6148(20核)比Boradwell架構(gòu)的E5 V4(14核)的核心多了6個(gè),增加了43%,新的CPU性能必然會(huì)有所提升,能提升多少呢?
談到這次改造,華數(shù)傳媒平臺(tái)運(yùn)維部基礎(chǔ)平臺(tái)部經(jīng)理胡川激動(dòng)地表示,用了傲騰的方案后,明年就不需要大規(guī)模的擴(kuò)張了!經(jīng)過實(shí)際測試發(fā)現(xiàn),原來,傲騰(Optane)配合英特爾新一代Skylake CPU,整機(jī)性能提升了97%,單臺(tái)設(shè)備的服務(wù)能力幾乎翻了一倍,一臺(tái)服務(wù)器相當(dāng)于過去的兩臺(tái)服務(wù)器,更大內(nèi)存,更高性能意味著能支持更多的虛擬機(jī)資源,原定的擴(kuò)充計(jì)劃也就不需要了。
非常不可思議的是性能表現(xiàn)。胡川還表示,在新方案下,原以為云主機(jī)的性能會(huì)有所下降,結(jié)果內(nèi)存性能反而更高了。實(shí)際應(yīng)用中,內(nèi)存性能提升了百分之十幾,可能在用戶端就表現(xiàn)為,點(diǎn)播一個(gè)視頻的等待時(shí)間能降低10%。在phoronix-test-suite benchmark ramspeed測試中,平均性能表現(xiàn)為20872.63MB/s,而之前僅為13298.05MB/s。
最后,我們來看成本問題。新服務(wù)器在增加可用內(nèi)存、提升性能的同時(shí),還降低了成本,算下來,新服務(wù)器整體價(jià)格僅比舊服務(wù)器高10%左右,算下來因?yàn)樾阅芴嵘蛢?nèi)存的擴(kuò)增減少的硬件投入成本,整體方案成本降低了大約44%,算下來能節(jié)省幾十萬、上百萬的資金投入。
在華數(shù)采用傲騰方案的過程前后,得到了來自英特爾的技術(shù)支持,與許多有強(qiáng)大開發(fā)團(tuán)隊(duì)的互聯(lián)網(wǎng)公司不同,華數(shù)使用傲騰過程中對應(yīng)用本身沒有做什么改動(dòng),對華數(shù)來說,成本并不高,對華數(shù)的技術(shù)團(tuán)隊(duì)來說,壓力也不大。
傲騰,廣電行業(yè)降本增效的利器
在許多人看來,傲騰作為英特爾主打的存儲(chǔ)創(chuàng)新方案,感覺成本會(huì)比較高,而從華數(shù)的實(shí)踐來看,傲騰竟成了華數(shù)降本增效的利器。
胡川表示,最早用傲騰第一個(gè)出發(fā)點(diǎn)就是成本,在經(jīng)歷了內(nèi)存價(jià)格不可思議的瘋漲后,它找到了內(nèi)存的替代方案,在使用的過程中漸漸了解了傲騰的更多特性。
在與英特爾技術(shù)團(tuán)隊(duì)的溝通中,也看到了更多創(chuàng)新的存儲(chǔ)方案,比如高密度的Ruler大容量存儲(chǔ),比如持久內(nèi)存技術(shù)等等,在數(shù)據(jù)中心基礎(chǔ)設(shè)施的創(chuàng)新方面華數(shù)保持著非常開放的態(tài)度,而張琴的團(tuán)隊(duì)通過不斷探索,最終讓系統(tǒng)在提高效率的同時(shí)降低運(yùn)行成本,進(jìn)而提升競爭力。
在張琴看來,傲騰帶來的降本增效的能力,對于華數(shù)三大戰(zhàn)略的實(shí)施有重大意義。對于略顯保守的廣電行業(yè)來說,華數(shù)的創(chuàng)新實(shí)踐值得借鑒和參考。
參考資料:
http://www.sohu.com/a/242283656_505744
5分鐘看廣電行業(yè)現(xiàn)狀:2018傳媒產(chǎn)業(yè)發(fā)展報(bào)告要點(diǎn)。