周建丁 發(fā)表于:14年09月04日 15:30 [原創(chuàng)] DOIT.com.cn
為數(shù)據(jù)處理而重構(gòu)數(shù)據(jù)中心,英特爾公司已經(jīng)取得初步的進(jìn)展。
重構(gòu)數(shù)據(jù)中心是英特爾在2013年的主題,目的是打造一個軟件定義的基礎(chǔ)架構(gòu),以更好地應(yīng)對云計算、大數(shù)據(jù)、移動化和社交化應(yīng)用帶來的挑戰(zhàn)。但重構(gòu)不可能畢其功于一役,英特爾今年仍然走在這條路上。
在英特爾看來,端到端的大數(shù)據(jù)解決方案,既要有實時分析的能力,也要能夠支持海量歷史數(shù)據(jù)的挖掘。為此,不僅為產(chǎn)業(yè)鏈合作伙伴提供端到端的“芯”動力,還搭建了一個英特爾云創(chuàng)新中心,用來驗證、測試和優(yōu)化新的解決方案,使之穩(wěn)定、可靠、可行,加速用戶從創(chuàng)新技術(shù)中獲益。
涵蓋整個數(shù)據(jù)生命周期
時至今日,大數(shù)據(jù)的重要性已經(jīng)不言而喻。在英特爾看來,掘金大數(shù)據(jù)面臨的挑戰(zhàn)是傳統(tǒng)的架構(gòu)。英特爾(中國)有限公司數(shù)據(jù)中心及云計算業(yè)務(wù)產(chǎn)品市場總監(jiān)賀曉東認(rèn)為,小機(jī)+光纖存儲的架構(gòu),缺乏足夠的擴(kuò)展能力,阻礙了TB級歷史數(shù)據(jù)的價值的挖掘。英特爾認(rèn)為,支持?jǐn)?shù)據(jù)處理的數(shù)據(jù)中心需要重構(gòu),需要更快、支持更大的數(shù)據(jù)量和更高的性價比的解決方案。
英特爾(中國)有限公司數(shù)據(jù)中心及云計算業(yè)務(wù)產(chǎn)品市場總監(jiān)賀曉東
“我們希望和業(yè)界的合作伙伴一起,把傳統(tǒng)的RISC架構(gòu)挪到英特爾的更加廉價、開放、標(biāo)準(zhǔn)化的標(biāo)準(zhǔn)的服務(wù)器平臺上來降低成本。”賀曉東說。
通過至強(qiáng)E7、E5等產(chǎn)品,英特爾為數(shù)據(jù)分析提供了涵蓋整個數(shù)據(jù)生命周期的支撐,首先是核心業(yè)務(wù)系統(tǒng)、數(shù)據(jù)庫、業(yè)務(wù)數(shù)據(jù)的收集,比如傳統(tǒng)的CRM、ERP等,英特爾都可以提供至強(qiáng)E7這樣的高可用、穩(wěn)定性的平臺來給用戶提供數(shù)據(jù)分析。我們知道,最新的E7 v2,具備5個9的可用性,4路內(nèi)存可達(dá)6TB。
而在數(shù)據(jù)進(jìn)一步的抽取、梳理,然后把它存檔,再進(jìn)行深度挖掘分析時,需要可彈性擴(kuò)充的平臺,這是E5平臺的用武之地。(說句題外話,根據(jù)此前爆出的英特爾產(chǎn)品路線圖,基于Haswell-EP架構(gòu)的新一代至強(qiáng)E5 v3將會在近期發(fā)布,屆時DOIT也會有相關(guān)報道,敬請關(guān)注。)
此外,數(shù)據(jù)中心角度來講,如何降低數(shù)據(jù)的存儲、處理,整個流程數(shù)據(jù)中心的功耗等等,英特爾在可管理性方面也會做很多平臺化的工作。
“英特爾的產(chǎn)品線,我們認(rèn)為從性能、可擴(kuò)展性、能耗、成本方面是涵蓋整個數(shù)據(jù)的全生命周期的支撐的。”賀曉東說。
為SAP HANA優(yōu)化應(yīng)對實時分析
提到大數(shù)據(jù),通常我們會想到Hadoop,用它可以存儲PB級的數(shù)據(jù)量,可以應(yīng)對數(shù)據(jù)量不斷膨脹、數(shù)據(jù)的種類、樣式非常多的情況。
不過,SAP公司數(shù)據(jù)庫及技術(shù)平臺部售前總監(jiān)、數(shù)據(jù)管理技術(shù)首席架構(gòu)師宋一平指出,在整個數(shù)據(jù)的存儲量到PB級的時候,在Hadoop上做很多的查詢和計算時,效率會有很大的折扣。但如果利用內(nèi)存、利用芯片本身的一些最新的技術(shù),就可以很好地加速分析能力。
SAP公司數(shù)據(jù)庫及技術(shù)平臺部售前總監(jiān)、數(shù)據(jù)管理技術(shù)首席架構(gòu)師宋一平
SAP恰好有HANA的內(nèi)存的實時計算環(huán)境,可以加速在大數(shù)據(jù)上的一些計算事和實時處理能力。宋一平認(rèn)為,HANA與Hadoop兩方面的結(jié)合是非常好的開端。
SAP通過平臺、上面的應(yīng)用、數(shù)據(jù)科學(xué)(一種提供如何做模型的服務(wù))三個方面來切入大數(shù)據(jù),其中的平臺,也就是HANA+Hadoop,正是和英特爾聯(lián)手打造的。
我們知道英特爾曾經(jīng)自己開發(fā)Hadoop發(fā)行版,后來選擇與Cloudera強(qiáng)強(qiáng)聯(lián)合。而在HANA端,宋一平介紹,SAP每次推出HANA,它的版本研發(fā)一定是跟英特爾的具體工程師在做一些底層的優(yōu)化。這個優(yōu)化涉及到芯片上的態(tài)勢、具體的指令等等方面的能力,都作了很多拓展。
英特爾云創(chuàng)新中心加速創(chuàng)新應(yīng)用落地
好的技術(shù),也要有適合的場景才能產(chǎn)生效果,如果用戶想嘗試,又擔(dān)心測試環(huán)境的投資,怎么辦?英特爾說,我們還有云創(chuàng)新中心。
賀曉東表示,大數(shù)據(jù)、及時分析、SAPHANA等相對較新,同時解決方案的復(fù)雜度又比較高,硬件平臺集成度要求也比較復(fù)雜的項目,英特爾希望通過云創(chuàng)新中心這樣一個平臺把它落地,更重要的是把落地的速度給提起來,讓用戶更好、更提前地來享受到這些新的技術(shù)、新的創(chuàng)新,為生產(chǎn)運營做支撐的服務(wù)。
英特爾云創(chuàng)新中心解決方案架構(gòu)師程從超介紹,英特爾在云創(chuàng)新中心里面大概用了十臺機(jī)器做了一個整個的端對端的環(huán)境,計算平臺和存儲平臺統(tǒng)一用Cloudera來實現(xiàn)(當(dāng)然所有的Hadoop),用了9臺E5的2680來做Hadoop scale-out服務(wù)器,主要是兩路的。SAP HANA裝了一個4路的,E7的4890V2的平臺上用了450G內(nèi)存,6塊SSD的硬盤,模擬了電信的系統(tǒng)分析平臺,把詳單數(shù)據(jù)加載到ClouderaHadoop平臺之后,通過ClouderaMapReduce作了匯總,把這個詳單形成輕度匯總的數(shù)據(jù),加載到HANA里面去。通過BO和開源的spring來訪問HANA里面的數(shù)據(jù),是傳統(tǒng)的BI工具和spring的結(jié)合。
英特爾云創(chuàng)新中心解決方案架構(gòu)師程從超
模擬了某個省2011年兩天的移動數(shù)據(jù)(共40億條記錄,匯總大概3.8億條數(shù)據(jù)存在SAPHANA上)的結(jié)果顯示,任意的即席查詢,可以達(dá)到秒級響應(yīng)。這是HANA的傳統(tǒng)的內(nèi)存數(shù)據(jù)倉庫加上RDB架構(gòu),保證即席查詢。而HBase的Scale-out架構(gòu)和單鍵查詢的測試,也可以做到分鐘級響應(yīng)。
據(jù)英特爾透露,目前已經(jīng)有一些敏感客戶在使用這個平臺進(jìn)行測試項目。
公司簡介 | 媒體優(yōu)勢 | 廣告服務(wù) | 客戶寄語 | DOIT歷程 | 誠聘英才 | 聯(lián)系我們 | 會員注冊 | 訂閱中心
Copyright © 2013 DOIT Media, All rights Reserved. 北京楚科信息技術(shù)有限公司 版權(quán)所有.