IDF2013:大數(shù)據(jù)戲碼不斷加重
比特網(wǎng) 發(fā)表于:13年04月21日 22:11 [轉(zhuǎn)載] DOIT.com.cn
“現(xiàn)在已經(jīng)有越來越多的企業(yè)會采用Hadoop來管理他們的數(shù)據(jù)。因此,我們將持續(xù)加強(qiáng)對Hadoop的投資,到目前為止我們希望進(jìn)一步的強(qiáng)化開源社區(qū),希望能夠有效的利用英特爾的處理器技術(shù)。”在今天的IDF2013上,英特爾公司高級副總裁、數(shù)據(jù)中心及互聯(lián)系統(tǒng)事業(yè)部總經(jīng)理柏安娜在主題演講中如是說道。對于“持續(xù)”二字,不難感覺到大數(shù)據(jù)的戲碼正在逐漸加重的味道。
柏安娜講到,預(yù)測到2016年,會有190億個不同的設(shè)備連接互聯(lián)網(wǎng)。跟2011年比起來,增長很大。而且這190億個設(shè)備中,大部分都是所謂的物聯(lián)網(wǎng),也就是機(jī)器到機(jī)器的連接。比如說監(jiān)視器、汽車或者是工廠自動化的設(shè)備,這些設(shè)備都能夠連接到互聯(lián)網(wǎng)。在這些數(shù)量龐大的設(shè)備背后,都需要強(qiáng)大的數(shù)據(jù)中心的支持,自然對數(shù)據(jù)中心的需求會越來越大。
從物聯(lián)網(wǎng)到數(shù)據(jù)中心是一個數(shù)據(jù)分析過程,這也就是所謂的大數(shù)據(jù)。但是現(xiàn)在面對的挑戰(zhàn)已遠(yuǎn)遠(yuǎn)大于過去,遠(yuǎn)非一個公司內(nèi)的IT部門就能負(fù)責(zé)的工作。要達(dá)到全年不打烊的快速響應(yīng)時間,還要處理更多復(fù)雜的結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)類型,都是大數(shù)據(jù)時代的挑戰(zhàn)。
英特爾的客戶——中國移動就面臨了巨大的挑戰(zhàn)。因?yàn)槊恳惶焖麄兌急仨氁占芏嗪艚杏涗。一年的客戶就增加?200萬,呼叫的數(shù)量也大幅度增長,過去的計(jì)費(fèi)系統(tǒng)已不能使用,因?yàn)闆]有辦法為客戶提供實(shí)時準(zhǔn)確的計(jì)費(fèi)資料,所以中國移動要處理的工作可以說是非常的復(fù)雜。
英特爾針對中國移動的困惑就采用了Hadoop機(jī)架,同時結(jié)合應(yīng)用固態(tài)硬盤。因?yàn)楣虘B(tài)硬盤的特點(diǎn)是讀寫速度快,比起傳統(tǒng)硬盤,每秒I/O次數(shù)更高。在Hadoop應(yīng)用中,如果內(nèi)存配置不足,會有大量的中間結(jié)果寫入到硬盤,這樣相對較小而且密集的硬盤操作更適合放到SSD中,通過讓SSD保存中間數(shù)據(jù)和臨時文件的方式來加速Hadoop應(yīng)用。在中移動的基礎(chǔ)架構(gòu)獲得如此優(yōu)化之后,不用40秒就可以完成大數(shù)據(jù)的分析工作,性能足足提升了30倍以上。
在主題演講中,柏安娜也也介紹了未來幾個月將會推出的新品:英特爾即將生產(chǎn)全新的英特爾凌動處理器產(chǎn)品家族和英特爾至強(qiáng)處理器E3、E5和E7產(chǎn)品家族,這些更新的產(chǎn)品將具備更高的性能功耗比以及更多的功能。
至強(qiáng)E7家族產(chǎn)品在內(nèi)存方面增加了3倍,計(jì)算分析方面也更加卓越,而且是針對數(shù)據(jù)中心的內(nèi)存分析;核心數(shù)據(jù)中心至強(qiáng)E5將采用英特爾尖端的22 納米技術(shù),提高能源效率;至強(qiáng)E3家族,會采用下一代架構(gòu)Haswell,提高效能的同時降低功耗。新的至強(qiáng)E3將把耗電降到13瓦,降低25%。
最后再剖張展板區(qū)英特爾的大數(shù)據(jù)應(yīng)用:
高性能計(jì)算中的大數(shù)據(jù)處理
(采用HDFS分布式文件系統(tǒng)作為數(shù)據(jù)存儲,比起傳統(tǒng)的RAID5解決方案,HDFS有更好的擴(kuò)展性,最終實(shí)現(xiàn)的優(yōu)化加速比為6.25x。采用MapReduce做數(shù)據(jù)處理,)
公司簡介 | 媒體優(yōu)勢 | 廣告服務(wù) | 客戶寄語 | DOIT歷程 | 誠聘英才 | 聯(lián)系我們 | 會員注冊 | 訂閱中心
Copyright © 2013 DOIT Media, All rights Reserved. 北京楚科信息技術(shù)有限公司 版權(quán)所有.