浪潮 發(fā)表于:14年12月16日 10:52 [來稿] DOIT.com.cn
2014中國大數據技術大會(BDTC 2014)于日前剛剛閉幕,近百位全球大數據產業(yè)界知名學者、企業(yè)領軍人物、行業(yè)資深專家和一線實踐技術代表,現場分享了Hadoop、YARN、Spark、HBase、Impala、Tez等開源軟件的最新進展,NoSQL/NewSQL、內存計算、流計算和圖計算技術的發(fā)展趨勢,以及大數據下的可視化、圖計算、機器學習/深度學習、商業(yè)智能、數據分析等的最新業(yè)界應用,吸引了數千觀眾到場。浪潮作為國內領先的云數據中心產品和解決方案供應商,在本屆大會上分享了獨特的行業(yè)大數據理解。
只有互聯網,才有大數據?No!
浪潮云計算產品研發(fā)部總經理張東認為,雖然互聯網是大數據技術應用最深入的行業(yè),但這并不意味著只有互聯網才適合大數據,金融、稅務、工商、交通等行業(yè)經過二十多年的信息化建設,積累了相當豐富的數據資產,其總體數據規(guī)模甚至要超過互聯網,大數據技術在這些行業(yè)中有更加廣闊的應用潛力。
浪潮云計算產品研發(fā)部總經理張東講述行業(yè)大數據
然而,張東也指出,行業(yè)大數據在數據采集階段、數據分析處理階段以及數據展現階段,與互聯網大數據存在相當大的區(qū)別,如在數據采集階段,行業(yè)數據的多模態(tài)、多來源、跨時空、大規(guī)模等特性使得采集更加困難,數據格式相對復雜,而數據的歸屬權限也造成了數據分享壁壘。同時,傳統行業(yè)缺少像互聯網的專職編程人員,缺少既懂得業(yè)務又懂模型算法的復合型大數據分析師,難以將業(yè)務經驗轉換為計算機語言和模型,更加依賴應用開發(fā)商進行業(yè)務開發(fā)。
做大數據的“調校工程師”
可以說,行業(yè)大數據的應用特點,賦予了提供大數據產品和服務的企業(yè)更大的發(fā)揮空間。張東認為,對于眾多的行業(yè)用戶而言,現階段大數據應用的關鍵不在于充分挖掘數據的價值,而是要先把大數據平臺建立起來。這些技術方面的限制可以交給企業(yè)來解決,如果把大數據平臺看作一部“發(fā)動機”,經過不同的工程師調校,發(fā)動機的性能表現會有很大的區(qū)別,用戶需要考慮的問題就是選擇一個合適的“調校工程師”。
目前,浪潮在基礎設施、大數據平臺以及應用創(chuàng)新三大環(huán)節(jié),提供全面的大數據產品、解決方案和服務。
在基礎設施上,浪潮以融合架構為核心,著重通過計算、內存、網絡解耦的硬件重構,充分發(fā)揮軟件定義的價值。在異構計算領域,浪潮正著手開發(fā)、設計面向不同大數據應用的通用、輕量和重載計算單元,如視頻處理、圖像渲染、在線交易密集型等重載應用,需要可重構加速器件或眾核處理器;模式計算、商業(yè)智能、數據挖掘等通用數據處理應用,更需要計算能力、I/O能力、存儲能力的均衡;企業(yè)搜索,流處理海量并發(fā)的輕量級應用則需要多核多線程低功耗處理器,并發(fā)線程優(yōu)化。
內存計算是未來大數據高速處理的關鍵性技術之一;诖,浪潮正在開發(fā)非易失存儲介質(NVM)和傳統內存(DRAM)的高可靠、大容量、低功耗構建異構混合內存,可實現寫延遲3~5ns,IOPS不低于150萬,帶寬不低于10GB/s。
而對于下一代高速互聯網絡的開發(fā),浪潮將基于硅光的低成本、高帶寬互連技術,開發(fā)動態(tài)可伸縮的分布式網絡拓撲架構,可實現400Gb/s互連,帶寬提升20倍,成本降低20%。
浪潮云海大數據一體機
浪潮大數據一體機是浪潮在大數據平臺上的代表產品,整合了軟硬件于一體,涵蓋了流程與技術一體化、軟件與硬件一體化、解決方案一體化三個層面,能夠解決用戶在數據挖掘、存儲、分析等環(huán)節(jié)找不同供應商面臨的服務整合難題。
對于行業(yè)大數據未來的發(fā)展,張東認為,行業(yè)大數據將從業(yè)務驅動階段,逐步過渡到數據融合階段,最終實現數據驅動。而隨著行業(yè)大數據應用的深入,大數據技術也將惠及更多的民生領域,為人們生活提供更多的便利。