周建丁 發(fā)表于:14年09月04日 15:30 [原創(chuàng)] DOIT.com.cn
為數(shù)據(jù)處理而重構(gòu)數(shù)據(jù)中心,英特爾公司已經(jīng)取得初步的進(jìn)展。
重構(gòu)數(shù)據(jù)中心是英特爾在2013年的主題,目的是打造一個(gè)軟件定義的基礎(chǔ)架構(gòu),以更好地應(yīng)對(duì)云計(jì)算、大數(shù)據(jù)、移動(dòng)化和社交化應(yīng)用帶來(lái)的挑戰(zhàn)。但重構(gòu)不可能畢其功于一役,英特爾今年仍然走在這條路上。
在英特爾看來(lái),端到端的大數(shù)據(jù)解決方案,既要有實(shí)時(shí)分析的能力,也要能夠支持海量歷史數(shù)據(jù)的挖掘。為此,不僅為產(chǎn)業(yè)鏈合作伙伴提供端到端的“芯”動(dòng)力,還搭建了一個(gè)英特爾云創(chuàng)新中心,用來(lái)驗(yàn)證、測(cè)試和優(yōu)化新的解決方案,使之穩(wěn)定、可靠、可行,加速用戶從創(chuàng)新技術(shù)中獲益。
涵蓋整個(gè)數(shù)據(jù)生命周期
時(shí)至今日,大數(shù)據(jù)的重要性已經(jīng)不言而喻。在英特爾看來(lái),掘金大數(shù)據(jù)面臨的挑戰(zhàn)是傳統(tǒng)的架構(gòu)。英特爾(中國(guó))有限公司數(shù)據(jù)中心及云計(jì)算業(yè)務(wù)產(chǎn)品市場(chǎng)總監(jiān)賀曉東認(rèn)為,小機(jī)+光纖存儲(chǔ)的架構(gòu),缺乏足夠的擴(kuò)展能力,阻礙了TB級(jí)歷史數(shù)據(jù)的價(jià)值的挖掘。英特爾認(rèn)為,支持?jǐn)?shù)據(jù)處理的數(shù)據(jù)中心需要重構(gòu),需要更快、支持更大的數(shù)據(jù)量和更高的性價(jià)比的解決方案。
英特爾(中國(guó))有限公司數(shù)據(jù)中心及云計(jì)算業(yè)務(wù)產(chǎn)品市場(chǎng)總監(jiān)賀曉東
“我們希望和業(yè)界的合作伙伴一起,把傳統(tǒng)的RISC架構(gòu)挪到英特爾的更加廉價(jià)、開放、標(biāo)準(zhǔn)化的標(biāo)準(zhǔn)的服務(wù)器平臺(tái)上來(lái)降低成本。”賀曉東說(shuō)。
通過(guò)至強(qiáng)E7、E5等產(chǎn)品,英特爾為數(shù)據(jù)分析提供了涵蓋整個(gè)數(shù)據(jù)生命周期的支撐,首先是核心業(yè)務(wù)系統(tǒng)、數(shù)據(jù)庫(kù)、業(yè)務(wù)數(shù)據(jù)的收集,比如傳統(tǒng)的CRM、ERP等,英特爾都可以提供至強(qiáng)E7這樣的高可用、穩(wěn)定性的平臺(tái)來(lái)給用戶提供數(shù)據(jù)分析。我們知道,最新的E7 v2,具備5個(gè)9的可用性,4路內(nèi)存可達(dá)6TB。
而在數(shù)據(jù)進(jìn)一步的抽取、梳理,然后把它存檔,再進(jìn)行深度挖掘分析時(shí),需要可彈性擴(kuò)充的平臺(tái),這是E5平臺(tái)的用武之地。(說(shuō)句題外話,根據(jù)此前爆出的英特爾產(chǎn)品路線圖,基于Haswell-EP架構(gòu)的新一代至強(qiáng)E5 v3將會(huì)在近期發(fā)布,屆時(shí)DOIT也會(huì)有相關(guān)報(bào)道,敬請(qǐng)關(guān)注。)
此外,數(shù)據(jù)中心角度來(lái)講,如何降低數(shù)據(jù)的存儲(chǔ)、處理,整個(gè)流程數(shù)據(jù)中心的功耗等等,英特爾在可管理性方面也會(huì)做很多平臺(tái)化的工作。
“英特爾的產(chǎn)品線,我們認(rèn)為從性能、可擴(kuò)展性、能耗、成本方面是涵蓋整個(gè)數(shù)據(jù)的全生命周期的支撐的。”賀曉東說(shuō)。
為SAP HANA優(yōu)化應(yīng)對(duì)實(shí)時(shí)分析
提到大數(shù)據(jù),通常我們會(huì)想到Hadoop,用它可以存儲(chǔ)PB級(jí)的數(shù)據(jù)量,可以應(yīng)對(duì)數(shù)據(jù)量不斷膨脹、數(shù)據(jù)的種類、樣式非常多的情況。
不過(guò),SAP公司數(shù)據(jù)庫(kù)及技術(shù)平臺(tái)部售前總監(jiān)、數(shù)據(jù)管理技術(shù)首席架構(gòu)師宋一平指出,在整個(gè)數(shù)據(jù)的存儲(chǔ)量到PB級(jí)的時(shí)候,在Hadoop上做很多的查詢和計(jì)算時(shí),效率會(huì)有很大的折扣。但如果利用內(nèi)存、利用芯片本身的一些最新的技術(shù),就可以很好地加速分析能力。
SAP公司數(shù)據(jù)庫(kù)及技術(shù)平臺(tái)部售前總監(jiān)、數(shù)據(jù)管理技術(shù)首席架構(gòu)師宋一平
SAP恰好有HANA的內(nèi)存的實(shí)時(shí)計(jì)算環(huán)境,可以加速在大數(shù)據(jù)上的一些計(jì)算事和實(shí)時(shí)處理能力。宋一平認(rèn)為,HANA與Hadoop兩方面的結(jié)合是非常好的開端。
SAP通過(guò)平臺(tái)、上面的應(yīng)用、數(shù)據(jù)科學(xué)(一種提供如何做模型的服務(wù))三個(gè)方面來(lái)切入大數(shù)據(jù),其中的平臺(tái),也就是HANA+Hadoop,正是和英特爾聯(lián)手打造的。
我們知道英特爾曾經(jīng)自己開發(fā)Hadoop發(fā)行版,后來(lái)選擇與Cloudera強(qiáng)強(qiáng)聯(lián)合。而在HANA端,宋一平介紹,SAP每次推出HANA,它的版本研發(fā)一定是跟英特爾的具體工程師在做一些底層的優(yōu)化。這個(gè)優(yōu)化涉及到芯片上的態(tài)勢(shì)、具體的指令等等方面的能力,都作了很多拓展。
英特爾云創(chuàng)新中心加速創(chuàng)新應(yīng)用落地
好的技術(shù),也要有適合的場(chǎng)景才能產(chǎn)生效果,如果用戶想嘗試,又擔(dān)心測(cè)試環(huán)境的投資,怎么辦?英特爾說(shuō),我們還有云創(chuàng)新中心。
賀曉東表示,大數(shù)據(jù)、及時(shí)分析、SAPHANA等相對(duì)較新,同時(shí)解決方案的復(fù)雜度又比較高,硬件平臺(tái)集成度要求也比較復(fù)雜的項(xiàng)目,英特爾希望通過(guò)云創(chuàng)新中心這樣一個(gè)平臺(tái)把它落地,更重要的是把落地的速度給提起來(lái),讓用戶更好、更提前地來(lái)享受到這些新的技術(shù)、新的創(chuàng)新,為生產(chǎn)運(yùn)營(yíng)做支撐的服務(wù)。
英特爾云創(chuàng)新中心解決方案架構(gòu)師程從超介紹,英特爾在云創(chuàng)新中心里面大概用了十臺(tái)機(jī)器做了一個(gè)整個(gè)的端對(duì)端的環(huán)境,計(jì)算平臺(tái)和存儲(chǔ)平臺(tái)統(tǒng)一用Cloudera來(lái)實(shí)現(xiàn)(當(dāng)然所有的Hadoop),用了9臺(tái)E5的2680來(lái)做Hadoop scale-out服務(wù)器,主要是兩路的。SAP HANA裝了一個(gè)4路的,E7的4890V2的平臺(tái)上用了450G內(nèi)存,6塊SSD的硬盤,模擬了電信的系統(tǒng)分析平臺(tái),把詳單數(shù)據(jù)加載到ClouderaHadoop平臺(tái)之后,通過(guò)ClouderaMapReduce作了匯總,把這個(gè)詳單形成輕度匯總的數(shù)據(jù),加載到HANA里面去。通過(guò)BO和開源的spring來(lái)訪問(wèn)HANA里面的數(shù)據(jù),是傳統(tǒng)的BI工具和spring的結(jié)合。
英特爾云創(chuàng)新中心解決方案架構(gòu)師程從超
模擬了某個(gè)省2011年兩天的移動(dòng)數(shù)據(jù)(共40億條記錄,匯總大概3.8億條數(shù)據(jù)存在SAPHANA上)的結(jié)果顯示,任意的即席查詢,可以達(dá)到秒級(jí)響應(yīng)。這是HANA的傳統(tǒng)的內(nèi)存數(shù)據(jù)倉(cāng)庫(kù)加上RDB架構(gòu),保證即席查詢。而HBase的Scale-out架構(gòu)和單鍵查詢的測(cè)試,也可以做到分鐘級(jí)響應(yīng)。
據(jù)英特爾透露,目前已經(jīng)有一些敏感客戶在使用這個(gè)平臺(tái)進(jìn)行測(cè)試項(xiàng)目。
公司簡(jiǎn)介 | 媒體優(yōu)勢(shì) | 廣告服務(wù) | 客戶寄語(yǔ) | DOIT歷程 | 誠(chéng)聘英才 | 聯(lián)系我們 | 會(huì)員注冊(cè) | 訂閱中心
Copyright © 2013 DOIT Media, All rights Reserved. 北京楚科信息技術(shù)有限公司 版權(quán)所有.