浪潮云數(shù)融合方案部署架構(gòu)圖

  生產(chǎn)環(huán)境注重業(yè)務(wù)連續(xù)、平臺穩(wěn)定及數(shù)據(jù)安全性,考慮到大數(shù)據(jù)處理效率、HDFS多副本導(dǎo)致的冗余消耗及大數(shù)據(jù)應(yīng)用的快速開發(fā)部署等諸多因素,浪潮采用大數(shù)據(jù)平臺物理機部署、大數(shù)據(jù)應(yīng)用云上部署、“云上”應(yīng)用調(diào)用“云下”大數(shù)據(jù)平臺能力,并通過統(tǒng)一云管平臺實現(xiàn)虛擬集群及大數(shù)據(jù)集群的統(tǒng)一管理(智能監(jiān)控,運維自動化、計量計費)、用戶統(tǒng)一認(rèn)證并提供統(tǒng)一的對外服務(wù)目錄,實現(xiàn)了高效大數(shù)據(jù)處理、合理數(shù)據(jù)冗余、快速的應(yīng)用部署、以及基于RBAC權(quán)限訪問和以VDC維度的資源管理,最大限度發(fā)揮云計算與大數(shù)據(jù)融合的優(yōu)勢。

在IaaS層,使用浪潮云海平臺InCloud OpenStack及大數(shù)據(jù)平臺InCloud Insight實現(xiàn)物理設(shè)備(服務(wù)器、存儲、網(wǎng)絡(luò)等)云化,并形成虛擬化資源池、裸金屬資源池及大數(shù)據(jù)資源池,向上層提供計算虛擬化、存儲虛擬化(塊存儲服務(wù)、對象存儲服務(wù)、文件存儲服務(wù))、網(wǎng)絡(luò)虛擬化及大數(shù)據(jù)服務(wù)。

在PaaS層,通過基礎(chǔ)環(huán)境適配器(Cloud Provider Interface),浪潮彈性分布式操作系統(tǒng)(IOP)能夠直接調(diào)用IaaS能力,并向上提供基礎(chǔ)資源服務(wù)、計算服務(wù)、數(shù)據(jù)/大數(shù)據(jù)服務(wù)、應(yīng)用中間件服務(wù)、開發(fā)支撐服務(wù)及多媒體處理服務(wù)等六大類功能。其中基礎(chǔ)資源服務(wù)包含彈性云主機服務(wù)、對象存儲服務(wù)、負(fù)載均衡服務(wù)、網(wǎng)絡(luò)服務(wù)及VDC服務(wù)。計算服務(wù)則利用大數(shù)據(jù)能力提供離線計算服務(wù)(用于批量計算、指標(biāo)匯總計算、數(shù)據(jù)挖掘等場景)、實時計算服務(wù)(用于TB級以上數(shù)據(jù)實時讀寫和數(shù)據(jù)實時分析等場景)、流式計算服務(wù)(用于實時布控、實時監(jiān)控預(yù)警、實時統(tǒng)計等實時性要求非常高的場景)、內(nèi)存計算服務(wù)(用于批處理,SQL查詢,流式處理以及機器學(xué)習(xí)等),全方位支撐上層的數(shù)據(jù)治理和應(yīng)用。

浪潮云數(shù)融合方案IaaS&PaaS架構(gòu)圖

在DaaS層,由數(shù)據(jù)集成、數(shù)據(jù)治理、數(shù)據(jù)處理、數(shù)據(jù)服務(wù)組成,覆蓋數(shù)據(jù)從產(chǎn)生、傳輸、存儲、初加工、細(xì)加工到應(yīng)用及銷毀的全生命周期。以數(shù)據(jù)資源為核心的理念,充分利用云平臺基礎(chǔ)設(shè)施與云平臺提供的各類計算服務(wù),對業(yè)務(wù)各種來源的各種類別數(shù)據(jù)進行整合匯集、存儲組織、分析處理以及標(biāo)準(zhǔn)化管理,并以服務(wù)、接口等形式提供給上層各類應(yīng)用。在數(shù)據(jù)集成階段,能夠接受不同數(shù)據(jù)源(如內(nèi)網(wǎng)數(shù)據(jù)庫、行業(yè)文件庫、應(yīng)用系統(tǒng)日志等)和不同數(shù)據(jù)類型(結(jié)構(gòu)化數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)等),并提供集成工具及數(shù)據(jù)格式轉(zhuǎn)換工具實現(xiàn)數(shù)據(jù)標(biāo)準(zhǔn)化,上層應(yīng)用可無差別地調(diào)用各類數(shù)據(jù)。數(shù)據(jù)集成之后會進入數(shù)據(jù)治理環(huán)節(jié),實現(xiàn)數(shù)據(jù)類別規(guī)劃(定義不同安全要求等級數(shù)據(jù)不同的訪問權(quán)限及方式)、數(shù)據(jù)質(zhì)量管理(劃分?jǐn)?shù)據(jù)質(zhì)量等級及存儲方式)、數(shù)據(jù)倉庫(可根據(jù)業(yè)務(wù)維度劃分)及數(shù)據(jù)服務(wù)總線(提供數(shù)據(jù)訪問控制)。而數(shù)據(jù)處理層則負(fù)責(zé)提供面向業(yè)務(wù)的各類功能引擎(檔案引擎、索引引擎、對比引擎、分析引擎及計算引擎等)及相應(yīng)的調(diào)度服務(wù),上層應(yīng)用可通過提交任務(wù)形式調(diào)用以上引擎服務(wù),輕松實現(xiàn)數(shù)據(jù)的并發(fā)異步調(diào)用。數(shù)據(jù)是企業(yè)的重要資產(chǎn),為最大化提高數(shù)據(jù)的價值,平臺對外提供數(shù)據(jù)資產(chǎn)運營中心,實現(xiàn)數(shù)據(jù)資產(chǎn)超市、數(shù)據(jù)資產(chǎn)管理、數(shù)據(jù)共享交換機數(shù)據(jù)價值評估。上述所有數(shù)據(jù)加工環(huán)節(jié),均以RPC或API接口方式對應(yīng)用開放服務(wù),以專業(yè)的數(shù)據(jù)服務(wù)使得應(yīng)用層能更加聚焦業(yè)務(wù)的孵化和加速。

浪潮云數(shù)融合方案DaaS架構(gòu)圖

在SaaS層,分為兩方面應(yīng)用:基礎(chǔ)應(yīng)用(郵件、辦公應(yīng)用、日志系統(tǒng)等)和業(yè)務(wù)自定義應(yīng)用。通過調(diào)用IaaS、PaaS、DaaS層服務(wù)接口,應(yīng)用開發(fā)商可快速完成高可用、高并發(fā)的業(yè)務(wù)應(yīng)用的開發(fā)和部署。

通過這四層,浪潮云數(shù)融合方案能夠提供全方位的IaaS-PaaS-Daas-SaaS云化能力,亦提供了計算能力強大,覆蓋離線計算、在線計算、內(nèi)存計算、流計算等典型大數(shù)據(jù)應(yīng)用場景的大數(shù)據(jù)平臺,同時特有的云數(shù)融合方案,實現(xiàn)數(shù)據(jù)不同層、不同應(yīng)用、不同租戶從數(shù)據(jù)采集-數(shù)據(jù)集成-數(shù)據(jù)治理-數(shù)據(jù)處理全數(shù)據(jù)生命周期的管理,讓客戶在云數(shù)時代乘風(fēng)破浪,永立潮頭。

分享到

zhangnn

相關(guān)推薦