上海天璣數(shù)據(jù)公司總經(jīng)理 董唯元 主題演講《融合基礎(chǔ)架構(gòu)的思考》

我這里要跟大家匯報(bào)的是融合基礎(chǔ)架構(gòu)，其實(shí)不光是存儲(chǔ)，這個(gè)概念是最近非?；鸬囊粋€(gè)概念，其實(shí)它的來(lái)源或者內(nèi)生的原因也很簡(jiǎn)單，今天IT系統(tǒng)數(shù)據(jù)中心已經(jīng)復(fù)雜到非常麻煩的程度，任何一個(gè)運(yùn)營(yíng)商的機(jī)房，任何一個(gè)銀行的數(shù)據(jù)中心要想成功的維護(hù)它，你可以算算你的維護(hù)團(tuán)隊(duì)有多少人，如果要成功維護(hù)一個(gè)數(shù)據(jù)中心需要多少種認(rèn)證，事實(shí)上我們?cè)谡憬苿?dòng)、江蘇電信幾個(gè)單位那兒統(tǒng)計(jì)過(guò)這件事，絕對(duì)是一百家，需要有一百多種認(rèn)證，這個(gè)細(xì)分拆開(kāi)來(lái)看其實(shí)一百多種認(rèn)證還不夠，還需要更多的。

今天很多大型數(shù)據(jù)中心維護(hù)已經(jīng)分成兩波，一波管維護(hù)一波管架構(gòu)。事實(shí)上今天一上午各位介紹很多新潮前沿的技術(shù)，包括前幾年出現(xiàn)虛擬化分布式軟件定義等等，增加靈活性擴(kuò)展性等等，但是它同時(shí)讓你基礎(chǔ)架構(gòu)層次會(huì)更多，讓你基礎(chǔ)架構(gòu)系統(tǒng)里邊的關(guān)系會(huì)更復(fù)雜，維護(hù)一個(gè)今天的數(shù)據(jù)中心基礎(chǔ)架構(gòu)變得更難以把控，所以有人開(kāi)玩笑像亞馬遜的數(shù)據(jù)中心需要8000多名博士后才能成功運(yùn)營(yíng)，這個(gè)也不算過(guò)分。

那么我今天要介紹的融合基礎(chǔ)架構(gòu)，實(shí)際上就是說(shuō)把整個(gè)基礎(chǔ)架構(gòu)層面就是說(shuō)應(yīng)用邏輯除外，你的基礎(chǔ)支撐系統(tǒng)包括數(shù)據(jù)庫(kù)包括操作系統(tǒng)等等，這些基礎(chǔ)架構(gòu)層面的東西盡可能做縱向壓縮，同時(shí)做橫向拓展，達(dá)到一個(gè)效果把下邊復(fù)雜部分壓縮下去，給上邊業(yè)務(wù)邏輯騰出更多空間。事實(shí)上在我們這種一體機(jī)上面它所有硬件都是通用的硬件，同時(shí)它又運(yùn)作預(yù)先整合預(yù)先優(yōu)化，使得整個(gè)性能可以充分發(fā)揮，匹配度能夠發(fā)揮更多，我舉一個(gè)例子，我們像雙層架構(gòu)有計(jì)算節(jié)點(diǎn)，存儲(chǔ)節(jié)點(diǎn)的融合系統(tǒng)。但是這里邊有些小細(xì)節(jié)東西當(dāng)存儲(chǔ)節(jié)點(diǎn)多了，計(jì)算節(jié)點(diǎn)通道數(shù)量會(huì)相應(yīng)增加。

我們知道一些個(gè)友商也提供預(yù)整合系統(tǒng)，但是它不去提供太多的靈活性只提供固定幾個(gè)規(guī)格，2+3的規(guī)格，4+7的規(guī)格等等，這樣規(guī)格背后的原因其實(shí)不光是它一個(gè)廠商比較靈活的調(diào)配，我們通過(guò)自己技術(shù)的積累，我們提供足夠靈活性同時(shí)能夠做到部件級(jí)整合和全系統(tǒng)的資源匹配，我們具體這種產(chǎn)品基本分成三種系列，我們對(duì)基礎(chǔ)架構(gòu)的理解就是說(shuō)從用戶應(yīng)有來(lái)講，它有三個(gè)基本應(yīng)用場(chǎng)景，這是我們一些應(yīng)用案例，大家可以看到左邊這塊是我們跟惠普(英文)加上XP24000，灰色是時(shí)間，紅色是我們數(shù)據(jù)庫(kù)一體機(jī)最小規(guī)格在同樣節(jié)點(diǎn)上面，惠普(英文)和我們跑的都是(英文)數(shù)據(jù)庫(kù)，下邊一個(gè)右邊這個(gè)是IBM的一個(gè)，大家會(huì)看到整個(gè)性能的差別還是非常非常明顯的，幾乎在每一個(gè)業(yè)務(wù)領(lǐng)域所有場(chǎng)景都有加速。

今天的內(nèi)容我的硬件部分就是我的一體機(jī)，作為一個(gè)融合系統(tǒng)，我們今天也有幸請(qǐng)到非常深入的合作伙伴南大通用(音譯)下面部分請(qǐng)黃東旭黃總給大家繼續(xù)介紹。下面是黃總演講內(nèi)容：

黃總抽取幸運(yùn)兒

非常感謝董總，我是來(lái)自于南大通用的，今天非常榮幸有這樣機(jī)會(huì)談一下我們對(duì)融合架構(gòu)的看法，我們南大通用主要從事數(shù)據(jù)庫(kù)產(chǎn)品研發(fā)和銷售。我們一款主打產(chǎn)品就是GBASE8A列寸MPP數(shù)據(jù)庫(kù)，首先來(lái)調(diào)整一下我們的產(chǎn)品，我們產(chǎn)品叫做GBASE8A MPP Cluster，為超大規(guī)模數(shù)據(jù)提供高性價(jià)比通用平臺(tái)，下面是幾個(gè)特點(diǎn)和特性，集群的扁平架構(gòu)沒(méi)有主節(jié)點(diǎn)，基于列存儲(chǔ)面向分析場(chǎng)景，高動(dòng)態(tài)的擴(kuò)展能力可以橫向擴(kuò)展到幾百個(gè)節(jié)點(diǎn)，管理的數(shù)據(jù)量達(dá)到TB到PB級(jí)。高可靠性我們有自己的高可用機(jī)制，采用安全組機(jī)制來(lái)保證系統(tǒng)的高可用。并且面向文本數(shù)據(jù)我們推出自己檢索的功能。

接下來(lái)給大家看一下GBASE8A的應(yīng)用場(chǎng)景，這是我們GBASE8A面向不同行業(yè)目標(biāo)的一些典型的場(chǎng)景我基本上給它歸為四大類，第一個(gè)是海量數(shù)據(jù)查詢分析，面向互聯(lián)網(wǎng)金融電信等等作為分析庫(kù)PB級(jí)數(shù)據(jù)支撐能力，一般來(lái)講實(shí)現(xiàn)這種數(shù)據(jù)的經(jīng)營(yíng)分析類的應(yīng)用或者報(bào)表的應(yīng)用。第二類是對(duì)數(shù)據(jù)倉(cāng)庫(kù)的支撐，這種百PB級(jí)的支撐能力，我對(duì)于數(shù)據(jù)按層級(jí)進(jìn)行匯總，所以說(shuō)我們可以很好支撐這種百億或者達(dá)到萬(wàn)億級(jí)多表操作。

第三個(gè)場(chǎng)景是查詢對(duì)寬表分析的場(chǎng)景，對(duì)上千列寬表進(jìn)行任意查詢，由用戶指定查詢條件。最后一個(gè)是基于心型和雪花模型多維分析，這是我們GBASE8A幾大應(yīng)用場(chǎng)景。典型案例，像電信、金融等我們有一些合作伙伴。目標(biāo)客戶除了我們四大行業(yè)，除了電信、安全、政企、金融，我們把它總結(jié)為經(jīng)營(yíng)類、管理類、監(jiān)督類、專業(yè)類。這就是我們四大行業(yè)以及四類應(yīng)用。在我前面提到那幾大應(yīng)用場(chǎng)景中我在做過(guò)的項(xiàng)目中，經(jīng)常遇到IO性能的瓶頸，我們有自己性能分析的工具，我們可以準(zhǔn)確定位到性能瓶頸具體在哪里。

我們發(fā)現(xiàn)基本上在四大場(chǎng)景中，絕大多數(shù)面臨的性能瓶頸主要是IO的瓶頸，包括網(wǎng)絡(luò)與磁盤的IO，比如說(shuō)最典型數(shù)據(jù)倉(cāng)庫(kù)的場(chǎng)景，心型的數(shù)據(jù)模型對(duì)于多表關(guān)聯(lián)操作，分組操作都面向不同程度磁盤IO的瓶頸，比如說(shuō)面向多表關(guān)聯(lián)的時(shí)候我需要對(duì)大表或者小表做全表的掃描，如果是數(shù)據(jù)庫(kù)集群涉及到數(shù)據(jù)在集群的流動(dòng)，比如說(shuō)匯總的時(shí)候做這種分組的時(shí)候我們需要將臨時(shí)數(shù)據(jù)不斷的寫(xiě)入磁盤，匯總需要從磁盤當(dāng)中讀取臨時(shí)文件。這種硬件IO瓶頸作為軟件是無(wú)法去跨越的，但是幸運(yùn)的是現(xiàn)在已經(jīng)有一些新的硬件技術(shù)來(lái)極大的拓寬IO的吞吐，現(xiàn)在有業(yè)界最快的互聯(lián)網(wǎng)絡(luò)，極大拓寬在集群節(jié)點(diǎn)間的IO通道，分布式存儲(chǔ)的技術(shù)，去除傳統(tǒng)固有IO瓶頸。并且SSD作為主存的使用也提高了數(shù)據(jù)吞吐一個(gè)效率。我們?nèi)绻鲆惑w化存儲(chǔ)的話，可以實(shí)現(xiàn)IO在不同盤自動(dòng)的附載，我們軟件不需要考慮這方面內(nèi)容，避免過(guò)熱的磁盤，并且同時(shí)可以完成在平臺(tái)層面磁盤間故障的切換。

新的這種硬件技術(shù)當(dāng)然也促發(fā)架構(gòu)演進(jìn)，傳統(tǒng)數(shù)據(jù)庫(kù)加小型機(jī)加磁盤陣列在架構(gòu)上很難去延續(xù)，并且基于SMP架構(gòu)它的擴(kuò)展能力已經(jīng)接近上線無(wú)法滿足大環(huán)境下一些應(yīng)用特點(diǎn)的需求的，因此這種數(shù)據(jù)庫(kù)一體機(jī)融合架構(gòu)它的優(yōu)勢(shì)就顯示出來(lái)了，包括這種MPP硬性數(shù)據(jù)庫(kù)，這些新的硬件技術(shù)都非常有利于我們?cè)趹?yīng)用當(dāng)中對(duì)于數(shù)據(jù)庫(kù)優(yōu)化的時(shí)候來(lái)消除性能的一個(gè)瓶頸。從市場(chǎng)角度傳統(tǒng)的這種軟件和硬件分離的方式參與市場(chǎng)競(jìng)爭(zhēng)，它有一些弊端，比如說(shuō)我們面對(duì)不同產(chǎn)品廠家是非常多的，面向市場(chǎng)競(jìng)爭(zhēng)的時(shí)候缺乏這種競(jìng)爭(zhēng)力，并且最重要是軟件和硬件它的兼容性這是很大一個(gè)問(wèn)題，并且對(duì)于資源的優(yōu)化利用程度是非常低的。因此作為我們數(shù)據(jù)庫(kù)廠商非常愿意去推出數(shù)據(jù)庫(kù)一體機(jī)的這種概念，這種概念它相對(duì)于細(xì)分市場(chǎng)我們會(huì)專門做軟硬件專門的優(yōu)化，應(yīng)對(duì)一些細(xì)分的是藏，這種差異化的戰(zhàn)略提高整個(gè)市場(chǎng)的競(jìng)爭(zhēng)水平，并且對(duì)于系統(tǒng)級(jí)整體調(diào)優(yōu)，對(duì)于系統(tǒng)資源優(yōu)化利用率提高系統(tǒng)優(yōu)化也是有幫助的。我們GBASE8A希望提出的這種數(shù)據(jù)庫(kù)一體機(jī)是一體服務(wù)器加上MPP(英文)數(shù)據(jù)庫(kù)這種融合的架構(gòu)，當(dāng)然整個(gè)架構(gòu)當(dāng)中預(yù)集成預(yù)安裝GBASE8A數(shù)據(jù)庫(kù)提供統(tǒng)一的管理，并且進(jìn)行這種軟件和硬件深度優(yōu)化一個(gè)基礎(chǔ)，這樣的話就可以使我們的客戶在繁重的IT維護(hù)當(dāng)中解脫出來(lái)，把精力集中在核心業(yè)務(wù)，他們自己的核心業(yè)務(wù)上。現(xiàn)在我們已經(jīng)跟董總天璣數(shù)據(jù)這邊正在進(jìn)行一體機(jī)的一個(gè)探討，我們希望使用一體機(jī)軟硬結(jié)合的一種方式最大性能發(fā)揮我們數(shù)據(jù)庫(kù)本身一個(gè)作用，我們的目標(biāo)是推出簡(jiǎn)單靈活高性能，并且高性價(jià)比軟硬整體的解決方案。以上就是我今天匯報(bào)的內(nèi)容，如果大家對(duì)我們產(chǎn)品感興趣可以會(huì)后找我一起交流，謝謝大家。

sunyingying