SGI中國區(qū)總經理梁巖

那么，SGI將如何切入到大數據的市場?又如何借助自身在高性能計算領域的優(yōu)勢在競爭激烈的大數據市場中爭奪一席之地? 近日，筆者采訪了SGI中國區(qū)總經理梁巖。采訪中，梁巖分享了他對于高性能計算市場趨勢的理解，以及SGI如何將高性能計算領域的優(yōu)勢和積累切入到大數據領域。

高性能計算市場和技術走向

談到高性能計算，這位高性能計算領域的老兵顯得頗為激動，他談到，隨著人們生活、國家安全、自然環(huán)境的探索等方面對于計算能力的需求不斷增大，高性能計算未來的市場需求是非常大的。

從技術角度而言，梁巖認為，高性能計算未來幾年的發(fā)展趨勢也將表現出一些特點，SGI公司未來也會針對這些方向不斷推出自己的產品和方案。梁巖主要介紹了四個方面的技術方向：

首先，單個處理器的核數將會不斷增加，最近幾年CPU的核數已經從2核、4核到6核到8核，現在也有12核16核的產品，在未來2年左右的時間里，單個處理器的核數可能會超過20核。

第二點，由于核數的增加，每個核分配到的I/O能力以及系統(tǒng)其他的資源，包括網絡能力、內存等等，都會受到非常大的制約。因為核數發(fā)展太快，I/O能力和其他相關資源的發(fā)展沒有那么快的時候，就會對機器均衡的能力的產生影響。

第三點，由于系統(tǒng)核數、計算能力的增加，引發(fā)的功耗問題，對于一個規(guī)模非常大的高性能計算系統(tǒng)，每個機器的功耗上升一點點，整個大的系統(tǒng)功耗就會增加非常多。

還有一點，混合編程的模式，也就是GPGPU的編程方式逐漸會進入到高性能計算領域。今年開始，我們看到Intel公司也推出了一個類似于GPGPU的一個模式加入到混合計算的領域，這樣的話，通過NVIDIA、AMD和Intel這三家大的公司積極地推動的混合編程模式肯定是未來比較熱的一個方向。

不同類型的應用需要不同的系統(tǒng)架構

SGI在高性能計算領域最牛的一點是它的NUMA架構，基于NUMA架構SGI可以在一個系統(tǒng)中將512個連在CPU連接在一起，相比集群架構而言，這種架構能夠大大提升I/O密集型應用的運行效率，這也是許多其他的高性能計算解決方案提供商難以企及的。

梁巖介紹到，大部分高性能計算應用可以分為兩類，一類是計算密集型的應用，另一類是I/O密集型應用，也就是通訊密集型的應用。

他舉例介紹道，假如要在一堆稻草里面找兩根針，這個算法就是要拿起一根稻草看如果不是針就放一邊去，直到找到針。我們可以用一個更簡單的方法，把稻草分成兩堆，讓兩個人來數，這樣可以節(jié)省一半的時間，進一步，還有更簡單的方法，可以把這兩堆稻草中的每一堆再分成兩堆，性能就可以提升四倍。當然，這一切的前提都是在數稻草的時候不用和其他數稻草的人說話，每個人只要埋頭數好自己的稻草，最后把所有人的加在一起就可以了。這種就是純粹計算密集型的，這種并行計算非常好，適合今天的集群應用架構，每臺機器的處理性能不是很強，但可以用很多機器一起計算。

但還有另外一種可能，做一件事情的時候需要和另外一個人說一句話。例如SGI曾經承接過美國國防的一個項目，要找全世界各個地方10年以內大城市出現的一些恐怖分子的蹤跡。如果要搜尋10年的情況，首先會想到按照城市來分和計算，但這里會遇到一個問題，每次算這個城市的時候，他可能在這個城市給另一個城市打電話，這時就要算另一個城市，所以如果劃分的越細，所產生的交差通訊就會越多，這就屬于I/O密集型的應用。I/O密集型應用在超大集群上實現是一個非常難的事情，而恰恰今天大量的應用都是I/O密集型的計算，機器之間的通訊太多會大幅度降低效率。

梁巖強調，針對IO密集型的應用，采用集群是非常不適合的，SGI的方案是UV系列的產品。UV是一個基于SGI獨有的NUMA架構，可以把很多的CPU通過NUMA架構連接到一起，在一個操作系統(tǒng)下去運行，也就是說你可以看到一臺超大的機器，一個操作系統(tǒng)，所有的通訊都在內部完成，而不需要通過外面的網絡完成，這樣整個性能大幅提高，目前，可以做到一臺機器中將512個CPU在一起，如果使用Intel的8核CPU的話，一個機器中就可以有4096個核，并且可以放64TB的內存，在一個操縱系統(tǒng)下去跑這個機器，這樣的話遍歷所有的數據就會非?？?。

當然，針對計算密集型的應用，SGI也提供了相應的解決方案——基于SGI的刀片服務器集群。例如全球排名第11位的美國政府的NASA合作的系統(tǒng)，以及今年2月份SGI為法國道達爾石油提供的系統(tǒng)都是基于SGI刀片集群的。

尋求高性能計算與大數據的結合點

梁巖表示，大數據將會帶來文件系統(tǒng)的基礎架構的改變，以及數據處理方式的改變。SGI相信，未來高性能計算與大數據領域會有一定的融合，SGI將把高性能計算領域的積累和沉淀轉化到大數據領域來。

回到稻草里找針這個例子，如果把這個稻草分成分成非常細的小堆的話，那么可能就不需要那么高性能的存儲了，因為每臺機器的性能都很差的話就沒有必要配一個高性能的存儲了，在機器里塞幾個硬盤就可以了。并且，如果這個機器壞了也不影響，因為它是一個非常小的一堆稻草，我們還可以在其他機器上做一個容錯的處理。

這種思想的出現就帶來了我們經常談論的，關于文件系統(tǒng)的基礎架構的改變，也就是現在的基于Lustre的高性能文件系統(tǒng)慢慢變成了hadoop的文件系統(tǒng)。

還有一點就是處理數據方面，需要一種處理非結構化和結構化數據在一起的一種方式。比如在做風險分析的時候，像證券行業(yè)、金融行業(yè)、保險行業(yè)等，傳統(tǒng)的是看這個人的家庭收入、學歷背景、現在有多少貸款等，但是未來會考慮到其他的因素，例如這個人所處的行業(yè)、國家的政策、這個行業(yè)薪金的發(fā)展趨勢等，所有這些信息都來自外界的新聞、國家政策、網絡消息、微博等，這些信息全是非結構化的，如何把這些數據進行處理并作為判斷依據，就需要一種能夠處理非結構化和結構化數據在一起的方式。

國內這方面的需求是非常大的，例如電信行業(yè)，現在只是一些漫游費、手機費，但未來3G業(yè)務、基于微博等對客戶行為進行分析等，遠遠不是一個關系型數據庫能處理的，需要一個大數據的方案。

梁巖表示，SGI做的很多高性能計算的應用其實就是一種大數據，只是涉及到的領域都太專業(yè)了，例如石油圖像勘探方面的應用中大量的地圖和油層數據、氣象方面的數據、工廠CAD的數據等等。

SGI正在把傳統(tǒng)高性能領域的積累轉化到大數據領域來。SGI今年基于Hadoop推出了一個StartKit，如果客戶想在hadoop上面做一些轉變，SGI會給客戶提供一整套的軟件、硬件安裝方案，并且所有的系統(tǒng)安裝都在SGI的工廠里完成。與此同時，SGI還提供6個基于hadoop上開發(fā)的應用，客戶可以利用這些應用做一些開發(fā)、測試、評估等工作。

事實上，SGI在全球已經提供了超過2萬臺hadoop系統(tǒng)，為美國的政府、軍方、ebay、amazon等很多客戶提供了基于hadoop的系統(tǒng)。

“SGI相信，在高性能計算方面的積累會慢慢進入到大數據領域，從今年到未來的一段時間里大家會看到，SGI公司在大數據方面的方案出現，我們也相信，未來的某個時間高性能計算和大數據會有一定的融合。”

tangrong