天下武功，唯快不破。武俠世界的金科玉律，同樣適用于當(dāng)前日趨激烈的商業(yè)競(jìng)爭(zhēng)，不敗的秘訣，就在于洞悉并快速響應(yīng)市場(chǎng)需求的變化，小米董事長(zhǎng)雷軍的互聯(lián)網(wǎng)思維，就是“專注、極致、口碑、快”。

要快，又要做到極致，大數(shù)據(jù)的力量被寄予厚望。如何高效地從每分每秒產(chǎn)生海量的、多樣的、紛繁復(fù)雜的數(shù)據(jù)中挖掘出蘊(yùn)藏的巨大價(jià)值，轉(zhuǎn)化為先進(jìn)的信息服務(wù)成就敏捷企業(yè)，這是擺在企業(yè)管理者面前的一個(gè)重大難題，也是英特爾、SAP、IBM、Teradata等跨國(guó)IT巨頭努力重構(gòu)系統(tǒng)的一個(gè)目標(biāo)。

構(gòu)建一個(gè)實(shí)時(shí)的大數(shù)據(jù)分析平臺(tái)，是巨頭給出的破題關(guān)鍵。唯有實(shí)時(shí)，才能又快又好。巨頭的實(shí)踐告訴我們，這一個(gè)實(shí)時(shí)分析平臺(tái)，需要多方面的融合，譬如業(yè)務(wù)與技術(shù)的融合，OLTP與OLAP的融合，存儲(chǔ)與計(jì)算的融合，硬件與軟件的融合，開源平臺(tái)與商業(yè)套件的融合等。當(dāng)然，這種融合不是說(shuō)簡(jiǎn)單地把軟硬件捆綁到一個(gè)盒子里，而是要處處體現(xiàn)了分工與協(xié)作相統(tǒng)一的經(jīng)濟(jì)學(xué)理論。

業(yè)務(wù)與技術(shù)的融合

業(yè)務(wù)與技術(shù)的融合其實(shí)沒(méi)有什么可以爭(zhēng)議的。IBM全球企業(yè)咨詢服務(wù)部也曾在一份報(bào)告中指出：實(shí)現(xiàn)業(yè)務(wù)和IT融合成為一個(gè)統(tǒng)一的、互相交織的整體，能夠創(chuàng)造更高的用戶價(jià)值和盈利能力，并可使IT支出為企業(yè)帶來(lái)成倍的回報(bào)。

大數(shù)據(jù)處理平臺(tái)的構(gòu)建，就是為了解決某些業(yè)務(wù)問(wèn)題，帶來(lái)更強(qiáng)的盈利能力，同時(shí)降低運(yùn)營(yíng)成本。務(wù)實(shí)的企業(yè)CIO們不會(huì)為了大數(shù)據(jù)而大數(shù)據(jù)，通常是希望通過(guò)數(shù)據(jù)處理平頭來(lái)促進(jìn)客戶消費(fèi)，越快越好。

為了實(shí)現(xiàn)實(shí)時(shí)分析，快速響應(yīng)業(yè)務(wù)的需求，在內(nèi)存能夠低成本大規(guī)模部署的情況下，用更接近CPU的內(nèi)存計(jì)算平臺(tái)替代硬盤是一個(gè)不錯(cuò)的主意，能夠打破磁盤的瓶頸。IBM、SAP、Oracle、微軟、SAS、Teradata等都已經(jīng)在干這樣的事情。SAP HANA更是已經(jīng)獲得了3600多個(gè)HANA客戶，包括超過(guò)1200個(gè)SAP Suite powered by SAP HANA客戶。華為公司IT產(chǎn)品線總裁鄭葉來(lái)表示，部署SAP HANA平臺(tái)之后，華為全球供應(yīng)鏈系統(tǒng)的平均查詢時(shí)間從一個(gè)半小時(shí)，縮短到了5秒鐘左右，這對(duì)華為的業(yè)務(wù)可視化和迅速?zèng)Q策帶來(lái)很大幫助。

OLTP和OLAP平臺(tái)的融合

OLTP(聯(lián)機(jī)事務(wù)處理)的發(fā)展得益于傳統(tǒng)的關(guān)系型數(shù)據(jù)庫(kù)，基于能夠查詢一個(gè)記錄的所有列的行式數(shù)據(jù)庫(kù)，處理如插入、修改或查詢一條銷售訂單這樣的作業(yè)得心應(yīng)手，但OLAP(聯(lián)機(jī)分析處理)就非行式數(shù)據(jù)庫(kù)所長(zhǎng)，數(shù)據(jù)倉(cāng)庫(kù)領(lǐng)域的數(shù)據(jù)分析、海量存儲(chǔ)和商業(yè)智能更適合采用列式數(shù)據(jù)庫(kù)，這就需要用ETL工具把數(shù)據(jù)放到另一套系統(tǒng)來(lái)做。

數(shù)據(jù)量小、時(shí)效性要求不高的時(shí)候，這種模式也能夠應(yīng)對(duì)用戶的需求，但在大數(shù)據(jù)時(shí)代，這個(gè)流程就無(wú)法滿足實(shí)時(shí)分析的需求了。但SAP HANA加上了內(nèi)存計(jì)算和列式存儲(chǔ)的技術(shù)，既可以為 OLAP 應(yīng)用提供列存儲(chǔ)，又能為 OLTP 應(yīng)用提供行存儲(chǔ)，同時(shí)提供基于自然語(yǔ)言的文本分析、內(nèi)置的預(yù)測(cè)性算法等，就能夠避開這種尷尬。

目前，SAP已經(jīng)著手把它的商業(yè)套件都遷移到HANA平臺(tái)上，同時(shí)支持云和本地部署的模式，為客戶的OLTP和OLAP平臺(tái)的融合提供了基礎(chǔ)。

SAP的老對(duì)手、關(guān)系型數(shù)據(jù)庫(kù)的老大Oracle也已經(jīng)支持這種融合，其最新推出的Oracle Database In-Memory，通過(guò)在同一張表在內(nèi)存中同時(shí)支持行和列兩種格式，同時(shí)激活并保持事務(wù)一致性，對(duì)分析和報(bào)表采用列格式，OLTP則采用久經(jīng)考驗(yàn)的行格式運(yùn)行，這就允許客戶突破Oracle自己的傳統(tǒng)數(shù)據(jù)庫(kù)圍墻，可以在OLTP數(shù)據(jù)庫(kù)中直接做實(shí)時(shí)分析。

存儲(chǔ)與計(jì)算的融合

我們知道，存儲(chǔ)系統(tǒng)的功能主要集中在提供對(duì)數(shù)據(jù)存放空間的管理，它與計(jì)算并不是割裂的，只是在計(jì)算機(jī)發(fā)展的當(dāng)前階段，存儲(chǔ)與計(jì)算采用了相互獨(dú)立的方式發(fā)展，但它們的融合順理成章。

當(dāng)TB級(jí)數(shù)據(jù)出現(xiàn)之后，傳統(tǒng)的架構(gòu)，即RISC小型機(jī)加上集中式存儲(chǔ)，外接光纖存儲(chǔ)，局限性非常大，可擴(kuò)展的存儲(chǔ)方案呼之欲出。在英特爾(中國(guó))有限公司數(shù)據(jù)中心及云計(jì)算業(yè)務(wù)產(chǎn)品市場(chǎng)總監(jiān)賀曉東看來(lái)，支持?jǐn)?shù)據(jù)處理的數(shù)據(jù)中心需要重構(gòu)，需要更快、支持更大的數(shù)據(jù)量和更高的性價(jià)比的解決方案。

Hadoop、Spark等架構(gòu)能夠滿足這樣的需求。它們提供節(jié)點(diǎn)通信，實(shí)現(xiàn)計(jì)算任務(wù)的分配，以及容錯(cuò)擴(kuò)展等等問(wèn)題，最終實(shí)現(xiàn)對(duì)分布式系統(tǒng)中各個(gè)節(jié)點(diǎn)計(jì)算能力的聚合。尤其是Hadoop，在節(jié)點(diǎn)間傳遞計(jì)算過(guò)程，而不是傳遞數(shù)據(jù)，能夠用更少的帶寬更快地推進(jìn)大數(shù)據(jù)的處理。這其實(shí)是保存算法的存儲(chǔ)，是計(jì)算與存儲(chǔ)的一種融合。

賀曉東表示，英特爾通過(guò)至強(qiáng)E5的平臺(tái)、開源社區(qū)Hadoop與合作伙伴一起更好地支持Hadoop。而采用x86硬件，也會(huì)使得大數(shù)據(jù)處理的成本變得更加低廉。在此之前，英特爾已經(jīng)和Cloudera達(dá)成戰(zhàn)略合作關(guān)系，為用戶提供更易于部署和使用、比開源版本更完善的Hadoop技術(shù)。

硬件與軟件的融合

從英特爾與SAP的合作，很容易理解軟件與硬件的融合。賀曉東指出，在業(yè)界有這樣的趨勢(shì)，就是做一體機(jī)，把硬件、軟件(包括分析軟件)全集成在一起來(lái)作為一攬子的方案交付給用戶。當(dāng)然，英特爾也會(huì)提供相應(yīng)的計(jì)算、存儲(chǔ)的解決方案，例如，英特爾已經(jīng)和OEM廠商合作推出了面向醫(yī)療行業(yè)的英特爾大數(shù)據(jù)一體機(jī)。當(dāng)然國(guó)內(nèi)的浪潮、曙光等也推出了大數(shù)據(jù)一體機(jī)，而華為、惠普、戴爾、IBM等也和SAP合作打造HANA一體機(jī)以支持海量數(shù)據(jù)的處理。

軟件應(yīng)用和硬件畢竟是術(shù)業(yè)有專攻，這就需要軟硬件廠商的合作才能實(shí)現(xiàn)這樣的融合。對(duì)于內(nèi)存分析的理念，英特爾在最新發(fā)布的E7 v2中也做出了回應(yīng)，允許單臺(tái)四路服務(wù)器最多支持6TB內(nèi)存，能夠直接把很多數(shù)據(jù)加載到內(nèi)存中進(jìn)行實(shí)時(shí)分析。

“英特爾和SAP在總部已經(jīng)合作了20多年，HANA作為一個(gè)內(nèi)存計(jì)算環(huán)境每次推出的時(shí)候，它的版本研發(fā)一定是跟英特爾的工程師在做一些底層的優(yōu)化。芯片上的態(tài)勢(shì)、具體的指令等，都作了很多拓展。”SAP公司數(shù)據(jù)庫(kù)及技術(shù)平臺(tái)部售前總監(jiān)、數(shù)據(jù)管理技術(shù)首席架構(gòu)師宋一平說(shuō)。他認(rèn)為，共同搭建一個(gè)大數(shù)據(jù)處理平臺(tái)很重要。

開源平臺(tái)與商業(yè)套件的融合

因?yàn)閿?shù)據(jù)的復(fù)雜性、分析的復(fù)雜性和業(yè)務(wù)的復(fù)雜性，我們還無(wú)法打造一個(gè)萬(wàn)能的系統(tǒng)，譬如Hadoop能夠輕易實(shí)現(xiàn)PB級(jí)數(shù)據(jù)存儲(chǔ)，卻短于實(shí)時(shí)分析，SAP HANA擅長(zhǎng)于做實(shí)時(shí)分析，但內(nèi)存還達(dá)不到PB級(jí)，而且這個(gè)對(duì)硬件要求相對(duì)苛刻的系統(tǒng)用于對(duì)實(shí)時(shí)性要求不高的歷史數(shù)據(jù)的挖掘來(lái)說(shuō)，有大炮打蚊子的感覺(jué)，太過(guò)浪費(fèi)。

然而，開源平臺(tái)與商業(yè)軟件的融合能夠?yàn)槲覀儙��?lái)更簡(jiǎn)單、更高效、更智能、更敏捷的解決方案。事實(shí)上，SAP正在研究?jī)?nèi)存數(shù)據(jù)管理與Hadoop的結(jié)合。宋一平表示，HANA+Hadoop，也是一種平臺(tái)和存儲(chǔ)的模式，再借助具體的芯片和具體的服務(wù)器，就能夠打造一個(gè)更強(qiáng)的大數(shù)據(jù)處理平臺(tái)。

怎么從Hadoop中提煉一些屬性數(shù)據(jù)，以同時(shí)實(shí)現(xiàn)海量存儲(chǔ)和秒級(jí)甚至毫秒級(jí)分析性能，是SAP的目標(biāo)。宋一平介紹，Hadoop和HANA的結(jié)合，和SAP的數(shù)據(jù)管理、數(shù)據(jù)庫(kù)結(jié)合有很多種方式，有在線、離線方式、聯(lián)邦方式，就是透過(guò)前端應(yīng)用直接訪問(wèn)Hadoop和HANA里面的數(shù)據(jù)，或者先透過(guò)HANA后面再去訪問(wèn)Hadoop的方式，都可以去實(shí)現(xiàn)這樣一個(gè)目標(biāo)。

其實(shí)，除了SAP，IBM、微軟、Teradata、Oracle等公司無(wú)不在研究如何打通Hadoop與自家解決方案，以形成大數(shù)據(jù)處理技術(shù)的閉環(huán)。

而從英特爾的角度來(lái)看，通過(guò)相同的x86架構(gòu)，以全面的產(chǎn)品線滿足傳統(tǒng)的核心業(yè)務(wù)系統(tǒng)、實(shí)時(shí)分析系統(tǒng)、可擴(kuò)展存儲(chǔ)系統(tǒng)、甚至可視化展現(xiàn)系統(tǒng)的不同需求，提供了整個(gè)數(shù)據(jù)生命周期的支撐。這其實(shí)能夠?yàn)檫@種融合掃清了硬件架構(gòu)差異的障礙。

小結(jié)

總體來(lái)看，在大數(shù)據(jù)時(shí)代，我們需要一個(gè)融合架構(gòu)的解決方案。融合是老生常談，但這里更注重分工與協(xié)作的統(tǒng)一。具體而言，融合的核心是數(shù)據(jù)，融合的本質(zhì)是讓不同特征不同價(jià)值的數(shù)據(jù)得到最經(jīng)濟(jì)、最高效的方式存儲(chǔ)、處理和分析，我們要盡可能地用一個(gè)系統(tǒng)完成這些數(shù)據(jù)任務(wù)，當(dāng)采用同一平臺(tái)的ROI不能接受的時(shí)候，需要靈活地考慮綜合的解決方案，但應(yīng)當(dāng)兼具實(shí)時(shí)子系統(tǒng)和存儲(chǔ)子系統(tǒng)，而且要保證數(shù)據(jù)或者計(jì)算力能夠便捷地在不同的子系統(tǒng)中自由流動(dòng)，以便靈活地滿足業(yè)務(wù)需求的不斷變化。只有這樣，我們才能做到快+極致。英特爾和SAP的合作，為我們展示了一個(gè)新融合的很好的樣板。