該項目采用“1+1+1+N”的架構,也就是一個云資源中心、一個城市大腦、一個運營中心和N個智慧應用體系架構,涉及了城市全景、城市治理、生態(tài)環(huán)境等6個主題庫,通過多維度可視化的數據,為城市運行科學決策提供數據依據。
智慧大腦的項目很多,但是“霍山縣智慧大腦”項目緊緊抓住數據這個核心主體,通過數據的匯聚、治理,用全面可視化的方式,實現了城市數字化運行、管理和監(jiān)管體系。
鑒于該項目的優(yōu)異表現,今年霍山縣智慧城市項目被成功推廣并復制到了安徽葉集縣智慧城市的項目。
第三個是海南數據產品超市項目。
作為國務院頒布的全國公共數據資源開發(fā)利用試點省市,海南省大數據管理局充分利用海南省已建成的“七個一”大數據能力支撐底座,并基于天翼云技術能力,搭建全省統(tǒng)一,功能強大的數據產品開發(fā)利用平臺,推出了海南數據產品超市,有序開放公共數據資源和電子政務平臺能力資源。中國電信獲得特許期內項目的獨家運營權。
這是全國首例,也是一個探索性的實施工程。天翼云結合自身多年的數據治理和運營經驗,與海南省大數據管理局聯合打造了數據業(yè)務運營服務平臺建設方案。在保障數據安全的前提下,引進多方安全計算、聯邦學習等多種前沿技術,實現多路徑多元化融合技術創(chuàng)新,提升數據應用價值。
該項目以“前店后廠”架構新模式,實現數據交易全流程閉環(huán)。其中,“后廠”由大數據平臺、數據中臺構成,搭載隱私計算、機器學習等技術,實現數據的匯聚、治理,以及數據產品開發(fā)全流程?!扒暗辍敝浮皵祿灰追掌脚_”,通過用戶、產品、需求、交易、計費等管理模塊,拉通數據供需匹配、交易撮合、風險防控、交易結算等環(huán)節(jié)。
先行者的這些案例,代表著當今行業(yè)大數據應用水平。
他們或重視基礎平臺的搭建,或者重視基于大數據的應用實踐,從數據開放的高度,對于數字創(chuàng)新和應用進行部署,是行業(yè)大數據應用現狀的真實寫照,也是天翼云大數據能力的真實展示。
探班基礎設施架構
先行者的案例固然精彩,但是未必可以照搬,所謂臨淵羨魚不如退而結網,打好大數據應用的基礎仍然至關重要,對此,天翼云大數據做了什么?又是如何做的呢?
如今,天翼云被稱為國家隊云服務商,作為國家隊大數據需要具備業(yè)界領先的技術水平和實力,用一個詞形容就是“頂天立地”。
“頂天”意味著要圍繞國家重大戰(zhàn)略需求,實現技術上持續(xù)創(chuàng)新突破,要充分考慮到芯片基礎設施自主可控等因素;“立地”則是圍繞行業(yè)應用場景,實現大數據產品的應用落地。
侯圣文表示:“我們經歷了起步、創(chuàng)新、突破三個階段,我們大數據綜合解決方案核心優(yōu)勢,總結起來有三個關鍵詞:強底座、建生態(tài)、重場景?!?/p>
什么樣的大數據底座可以稱為強呢?對此,天翼云將其概括為下幾個方面:
(1)一云多芯:核心引擎滿足國內外主流CPU、操作系統(tǒng)、數據庫應用適配,實現信息技術應用創(chuàng)新;
(2)智能運維:依托專家經驗沉淀智能運維平臺,滿足大數據集群80%的運維需求,助力集群管理效率至少提升5倍以上;
(3)高安全高穩(wěn)定:采用Kerberos+Ranger高安全方案,實現數據底座全域身份認證以及庫、表、字段級數據細粒度的權限管控;提供完備的數據安全治理方案,包括數據脫敏、分級分類、數據操作審計等數據安全防護能力;提供高性能高穩(wěn)定的大數據核心組件,滿足實時及離線存算需求。
(4)跨地域多中心架構容災能力:設計跨地域多中心架構,研發(fā)遷移工具實現數據安全穩(wěn)定遷移,保證數據安全高效流轉與容災。
這個起點非常高。僅國內外主流CPU適配并且保障高性能就不是一件簡單的事情,這就是所謂國家隊需要有的底蘊和實力。
“建生態(tài)“就是要把底座的基礎能力轉化為大數據的生產力,天翼云大數據為此攜手生態(tài)合作伙伴,構建了大數據平臺、實時計算平臺、數據管理中臺、數據資產、BI等全棧的產品體系,為行業(yè)綜合性大數據應用項目奠定了堅實的軟硬件平臺基礎。
有了這個生態(tài)平臺的基礎,行業(yè)用戶、開發(fā)者就可以利用他們所熟悉的硬件、開源軟件和工具,為上層的應用場景提供支持。
“重場景”,天翼云的思路是逐步建立從行業(yè)“通用”技術方案到行業(yè)“專用”解決方案,如今已經沉淀了眾多的行業(yè)解決方案,隨時為行業(yè)企業(yè)用戶提供選擇和服務。
數據治理實現升華
技術平臺也僅僅是萬里長征的第一步,用好數據、發(fā)揮數據創(chuàng)新價值,還需要從行業(yè)大數據實際應用情況出發(fā),解決一些具體卡脖子的難題。
分析了行業(yè)大數據應用現狀,天翼云大數據總結了大數據行業(yè)應用面臨的主要問題:大數據行業(yè)新工具、新算法、新引擎不斷涌現,需要用戶跟上技術發(fā)展步伐,不斷創(chuàng)新數據處理、分析的方法,為業(yè)務創(chuàng)新提供思路和支撐。
侯圣文指出:如果用戶自研大數據平臺、數據中臺等產品,去解決數據開發(fā)、治理、分析、處理等方面的問題,成本高、難度大;尤其涉及多源異構數據的準確性、完整性、一致性等問題,數據治理難度很大,需要數據清洗、去重、糾錯等方面的經驗積累。
此外,數據增長快也給存儲與計算技術帶來很大的挑戰(zhàn)。隨著數據規(guī)模增長、開放程度擴大、共享需求的凸顯,數據安全和隱私保護要求越來越高,需要數據加解密、訪問控制、審計跟蹤、隱私計算等技術應用的支持,對數據使用政策、隱私保護法規(guī)、監(jiān)管也提出了更高要求。
為了讓行業(yè)用戶更加專注業(yè)務,通過屏蔽底層復雜技術,天翼云推出了大數據平臺、數據中臺等產品。其中,天翼云大數據平臺可提供快速部署、便捷維護的HDFS、YARN、Hudi、Hive和Flink等高性能的大數據組件以及智能運維管理平臺,并完成鯤鵬、海光、麒麟、CTyunOS、統(tǒng)信等國產化適配,具備湖倉一體、一云多芯、智能化運維等功能特點,解決使用者在數據存儲、計算、集群運維等方面難題。
相比,天翼云大數據管理平臺以全托管方式,為行業(yè)用戶提供一站式、開箱即用的大數據開發(fā)與數據資產管理工具,解決了數據集成、數據建模、數據處理、數據治理、數據服務等關鍵技術問題,解決企業(yè)轉型時面臨的數據采集、開發(fā)、管理、安全等需求。目前,天翼云結合公安行業(yè)場景,成功打造了公安行業(yè)數據中臺,并通過公安三所測評認證,成為全國4家通過該認證企業(yè)之一。
“對企業(yè)用戶來說,我們建議,積極擁抱變化,破除傳統(tǒng)思路,一方面需進一步思考如何利用好、管理好數據,實現數據提升企業(yè)內部管理;另一方面,結合自身優(yōu)勢,引入大數據等先進技術與產品,拓展更多創(chuàng)新應用場景,促進企業(yè)業(yè)務高質量發(fā)展?!焙钍ノ恼f。
小結
從基礎支撐平臺,到數據開發(fā)和應用平臺,再到先行者的應用實踐,天翼云大數據用自己能力描繪了行業(yè)大數據應用的畫像。都說這個世界并不缺乏美,缺乏的是發(fā)現美的眼睛。如今行業(yè)大數據應用也是如此,隱藏在數據背后的價值有待行業(yè)用戶的發(fā)現,天翼云大數據國家隊實力將經受哪些其他行業(yè)用戶的考驗,讓我們拭目以待!