曙光助力河南移動(dòng)Hadoop平臺(tái)案例
任新勃 發(fā)表于:13年05月22日 13:50 [來(lái)稿] DOIT.com.cn
項(xiàng)目背景
為推進(jìn)全網(wǎng)數(shù)據(jù)流量的精細(xì)化經(jīng)營(yíng),提升數(shù)據(jù)流量經(jīng)營(yíng)效益,河南移動(dòng)與曙光公司合作進(jìn)行經(jīng)分系統(tǒng)流量經(jīng)營(yíng)分析工程的建設(shè)。河南移動(dòng)的資源池項(xiàng)目是構(gòu)建內(nèi)部共享的業(yè)務(wù)支撐云,本項(xiàng)目建設(shè)是著眼于未來(lái)業(yè)務(wù)計(jì)算需要,實(shí)現(xiàn)根據(jù)競(jìng)爭(zhēng)情況和客戶(hù)需求,加快實(shí)現(xiàn)流量的實(shí)時(shí)計(jì)費(fèi)和提醒,優(yōu)化數(shù)據(jù)流量資費(fèi)體系,降低套餐內(nèi)外的資費(fèi)水平差距,提高精細(xì)化營(yíng)銷(xiāo)能力,不斷提高客戶(hù)的滿(mǎn)意度和大幅度降低流量投訴。
該平臺(tái)首先用于經(jīng)分業(yè)務(wù),基于平臺(tái)來(lái)提高數(shù)據(jù)處理速度,為公司業(yè)務(wù)開(kāi)展提供數(shù)據(jù)支撐。
其次,采用該平臺(tái)處理每月賬單,以現(xiàn)有傳統(tǒng)Oracle數(shù)據(jù)庫(kù)集群 + 小型機(jī) + 高端FC磁盤(pán)陣列的模式,暫時(shí)能夠保證每月1日按時(shí)提供用戶(hù)賬單,但以每年15%的數(shù)據(jù)增長(zhǎng)量,用戶(hù)估計(jì)一年后就難以滿(mǎn)足需要,因此需要搭建一個(gè)處理能力更強(qiáng),擴(kuò)展性更高的平臺(tái)來(lái)替代現(xiàn)有系統(tǒng)。
方案介紹
曙光公司依據(jù)在分布式計(jì)算領(lǐng)域多年的積累和研究提出了基于IB網(wǎng)的Hadoop分布式計(jì)算平臺(tái)的方案。
本項(xiàng)目采用150臺(tái)A620r-G雙路服務(wù)器構(gòu)建Hadoop平臺(tái),100臺(tái)A840r-G四路服務(wù)器構(gòu)建數(shù)據(jù)庫(kù)處理平臺(tái),全系統(tǒng)以Infiniband網(wǎng)絡(luò)互聯(lián),系統(tǒng)平臺(tái)的IB網(wǎng)絡(luò)設(shè)計(jì)中,所有的網(wǎng)絡(luò)設(shè)備的連接均采用冗余設(shè)計(jì)。首先,每臺(tái)服務(wù)器配置兩個(gè)IB端口,IB端口通過(guò)冗余綁定方式分別與兩臺(tái)不同的匯聚交換機(jī)相連;此外通過(guò)高度冗余的三臺(tái)二層交換機(jī)將所有匯聚交換機(jī)連接為統(tǒng)一的子網(wǎng),最大限度的提高系統(tǒng)的冗余度和節(jié)點(diǎn)間通信帶寬限制;兩個(gè)IB網(wǎng)關(guān)設(shè)備底層各自與兩臺(tái)二層交換機(jī)相連,上層分別與一臺(tái)路由器連接,上層的兩臺(tái)路由器通過(guò)VRRP技術(shù)實(shí)現(xiàn)IB網(wǎng)關(guān)的冗余連接,保證當(dāng)任意一臺(tái)網(wǎng)關(guān)或路由設(shè)備出現(xiàn)故障時(shí),底層服務(wù)器均有鏈路連接到上層網(wǎng)絡(luò)。
方案價(jià)值
采用上述方案,該系統(tǒng)實(shí)現(xiàn)了Ethernet、Fibre channel、Infiniband三網(wǎng)融合,最大可能的滿(mǎn)足Hadoop集群和數(shù)據(jù)庫(kù)處理平臺(tái)的高速通訊的需要。
公司簡(jiǎn)介 | 媒體優(yōu)勢(shì) | 廣告服務(wù) | 客戶(hù)寄語(yǔ) | DOIT歷程 | 誠(chéng)聘英才 | 聯(lián)系我們 | 會(huì)員注冊(cè) | 訂閱中心
Copyright © 2013 DOIT Media, All rights Reserved. 北京楚科信息技術(shù)有限公司 版權(quán)所有.