華為云數據中臺總架構師龍江發(fā)表演講
龍江介紹,大數據時代,企業(yè)積累的數據資源越來越多,企業(yè)數字化運營需要由傳統(tǒng)的煙囪式IT系統(tǒng)向數據中臺轉型,在轉型過程中面臨四大挑戰(zhàn):
挑戰(zhàn)1:獨
當前企業(yè)各個部門都建立了自己的煙囪式IT系統(tǒng)或者獨立的數據分析平臺和數據倉庫,導致存在大量數據孤島和孤立的應用,導致數據不共享不流通,無法實現跨領域的數據分析和創(chuàng)新。由于缺乏高效運營工具平臺,數據開發(fā)周期長,既有數據的重復開發(fā),也有數據平臺的重復開發(fā),同時也帶來數據的重復存儲,造成企業(yè)成本浪費。
挑戰(zhàn)2:缺
企業(yè)普遍缺乏數據治理的標準或者數據標準不統(tǒng)一,數據缺乏治理,數據找不到,讀不懂及不可信等。
挑戰(zhàn)3:斷
數據理解與數據價值鏈條的斷層。數據的生產者和數據的消費者對數據的理解有斷層,例如生產者不知道消費者為什么消費這些數據,對于數據指標背后的商業(yè)邏輯不理解,所以給業(yè)務決策者開發(fā)的數據運營報表就會存在數據是否可信和指標邏輯是否正確的問題。
挑戰(zhàn)4:難
企業(yè)會遇到知數據難、要數據難和懂數據難的情況,例如企業(yè)不同部門間相互要數據難,對于獲取過來的數據,又不知道數據字段的含義,數據理解非常難。
華為云智能數據湖運營平臺DAYU :一站式高效易用的數據治理運營平臺
針對企業(yè)數字化運營轉型面臨的挑戰(zhàn),華為云打造了“智能數據湖運營平臺DAYU”——面向企業(yè)數字化運營訴求,提供一站式、端到端的數據中臺解決方案, 在全域數據目錄的基礎上,統(tǒng)一數據規(guī)范,協(xié)同數據開發(fā),優(yōu)化數據質量,提供數據可視化,實現多數據源數據接入,多類型數據遷移,私有云&公有云數據湖統(tǒng)一調度,數據開放用于豐富數據消費的智能數據管理能力,幫助企業(yè)快速構建從數據接入到數據分析的端到端智能數據系統(tǒng),消除數據孤島,統(tǒng)一數據標準,加快數據變現,促進數字化轉型。
應對一:行業(yè)模板+運營,一站式構建企業(yè)數據中臺,數據孤島不再
DAYU平臺通過內置行業(yè)數據模板及全流程可視化的數據開發(fā)治理工具,使能企業(yè)聚焦業(yè)務領域數據變現。針對政府、園區(qū)、電力、工業(yè)、零售、汽車等行業(yè),DAYU平臺提供的行業(yè)模板,包含行業(yè)主題數據模型、指標庫、數據開發(fā)Pipeline、行業(yè)數據算子、計算資源智能規(guī)劃等,用戶可一鍵式完成數據中臺建設,幫助用戶管好和用好數據。
DAYU以可復用的行業(yè)模板,加速數據價值發(fā)現流程,提供垂直行業(yè)可復用的領域知識庫,涵蓋行業(yè)數據標準、行業(yè)領域模型、行業(yè)數據主題庫、行業(yè)算法庫和行業(yè)指標庫,支持智慧政務、智慧稅務、智慧園區(qū)等行業(yè)企業(yè)快速定制數據運營端到端解決方案。
在某園區(qū)行業(yè)數據中臺場景中,DAYU平臺幫助某地產集團建設智慧園區(qū)數據中臺,實現全國百余園區(qū)的人員、車輛、設備、資產、安防綜合態(tài)勢可視化管理、統(tǒng)一調度指揮、智能決策。
應對二:數據規(guī)范設計,基于華為數據體系建設方法論沉淀而成,統(tǒng)一數據標準
數據中臺的核心是要進行數據治理,而數據治理的核心是統(tǒng)一的數據標準。很多企業(yè)的數據標準當前只是停留在紙面上,無法真正應用到產品中,無法實現數據的規(guī)范。DAYU提供了數據規(guī)范設計模塊,該模塊是基于華為十多年的數據體系建設方法論沉淀而成,可以指導企業(yè)如何根據所在行業(yè)的業(yè)務和數據特點,結合企業(yè)自身訴求,輸出標準化的數據中臺涉及,幫助企業(yè)實現數據標準系統(tǒng)化、流程化,打通數據需求全鏈路,使數據研發(fā)自動化、無碼化。
應對三:一站式敏捷大數據開發(fā)治理,全流程可視
DAYU提供一站式數據開發(fā)治理能力,通過數據開發(fā)模塊對數據進行敏捷開發(fā)和調度;通過數據治理模塊對數據質量進行管控,實時發(fā)現數據質量問題,并實時告警;通過標準的數據服務模塊提供一站式數據服務開發(fā)、測試部署能力,實現數據服務敏捷響應,降低數據獲取難度,提升數據消費體驗和效率,最終實現數據資產的變現,幫助企業(yè)快速開發(fā)數據大屏;通過數據資產模塊統(tǒng)一管理數據資產,可以提供全局資產視圖、快速查看、智能管理、數據溯源和數據開放共享,從業(yè)務視角管理和查看數據,定義業(yè)務架構、業(yè)務分類和業(yè)務術語,統(tǒng)一管理資產訪問權限。
應對四:AI能力與SQL融合,懂SQL就可以開發(fā)AI業(yè)務
DAYU具有SQL和AI相結合的能力,可以使用SQL進行圖片識別,快速完成非結構化數據處理。同時DAYU通過與機器學習、深度學習算法深入結合,增強實時數據分析能力,SQL中調用各種機器學習算法和深度學習框架,降低AI能力使用門檻。
為了讓數據最大化發(fā)揮價值,企業(yè)急需構建數據中臺來提供數據運營能力。面向數據中臺場景,華為云與普華、希嘉、中軟、德勤、興海物聯(lián)、傲亞等諸多行業(yè)伙伴合作共建生態(tài),開放DAYU平臺能力,賦能行業(yè)合作伙伴,結合DAYU智能數據湖運營平臺和行業(yè)伙伴的行業(yè)經驗知識,共同打造面向不同行業(yè)的數據中臺解決方案,幫助客戶打破數據孤島,快速完成業(yè)務創(chuàng)新和數據變現。
截止目前,集成了DAYU的華為云智能數據湖解決方案已廣泛應用于金融、醫(yī)學、物流、互聯(lián)網、汽車、政府、零售等行業(yè)。在近日舉行的2019第六界中國國際大數據大會上,華為一舉攬獲2項大獎,華為云智能數據湖榮獲“2019年度大數據行業(yè)最佳服務平臺獎”,華為云“存算分離+鯤鵬”大數據云服務榮獲“2019年度大數據行業(yè)創(chuàng)新產品獎”,再一次證明了華為云在大數據領域的不凡實力。
