孫冰：海量流數(shù)據(jù)處理的服務化
王雪楊 發(fā)表于：13年06月08日 14:55 [原創(chuàng)] DOIT.com.cn
第五屆云計算大會于2013年6月5日—6月7日在北京會議中心隆重召開，本次大會以“大數(shù)據(jù)大帶寬推動云計算應用與創(chuàng)新”為主題，以全新的國際視野，洞 悉全球云計算發(fā)展趨勢，并從應用出發(fā)，探討云計算與大數(shù)據(jù)、云計算與移動互聯(lián)網(wǎng)、云安全及云計算行業(yè)應用等焦點話題，分享云計算發(fā)展經(jīng)驗，促進云計算創(chuàng)新合作。
6月7日上午，阿里云飛天開放平臺總監(jiān)孫冰在大會分會場進行了主題為“海量流數(shù)據(jù)處理的服務化”的演講。他分享了飛天開放平臺在海量流數(shù)據(jù)處理的服務化取得的經(jīng)驗。
阿里云飛天開放平臺總監(jiān)孫冰
大會上孫冰首先說明了一下關于流數(shù)據(jù)處理不斷生長的需求。
流數(shù)據(jù)處理
孫冰認為，流數(shù)據(jù)處理服務設計的關鍵要素有三個：各向擴展，超強容錯和確保實時。所以他從這些方面對比了離線和流兩大規(guī)模數(shù)據(jù)處理。如圖：
大規(guī)模數(shù)據(jù)處理：離線VS 流
接下來，孫冰從擴展、容錯、實時等多個方面對垂直系統(tǒng)和平臺服務也進行了對比。如圖： 垂直系統(tǒng)VS平臺服務
垂直系統(tǒng)VS平臺服務
孫冰表示，對于OSPS這樣一個系統(tǒng)來說，它是基于飛天平臺的，這樣做的好處在于，容錯是用了非常直接的方法，如果沒有飛天平臺，沒有一個非常好的既可以記普通文件，又可以記log文件，又高效又分布在每臺機器上都能做的底層存儲系統(tǒng)，這件事情就變得很復雜。由于我們做OSPS的時候已經(jīng)有飛天平臺，省了非常多的力氣。接下來，我們在C++自主研發(fā)，寫類似于SQL的腳本，優(yōu)化在系統(tǒng)里做，保證數(shù)據(jù)不丟、不重，實現(xiàn)動態(tài)負載均衡。
孫冰表示，飛天平臺設計目標是五千臺物理機，每天處理PB級數(shù)據(jù)。
OSPS應用架構
