△DataPipeline合伙人&CPO陳雷主題演講

主論壇中,DataPipeline合伙人&CPO陳雷應邀以《企業(yè)實時數(shù)據(jù)管理問題與實踐》為題發(fā)表主旨演講,全面展示了DataPipeline實時數(shù)據(jù)管理在金融領(lǐng)域的布局以及深刻觀點,獲得廣泛關(guān)注。

數(shù)據(jù)時效性變化催生新業(yè)態(tài),實時數(shù)據(jù)平臺建設是破局關(guān)鍵

隨著大數(shù)據(jù)、物聯(lián)網(wǎng)、人工智能、區(qū)塊鏈等技術(shù)的出現(xiàn)和深入應用,傳統(tǒng)技術(shù)被顛覆、新產(chǎn)品涌現(xiàn),新一代技術(shù)的爆發(fā)式增長已改變各個行業(yè)的商業(yè)模式并重構(gòu)產(chǎn)業(yè)生態(tài)。

這是一個數(shù)據(jù)多元、海量、高速產(chǎn)生的時代。在金融數(shù)據(jù)管理領(lǐng)域,數(shù)據(jù)時效性要求越來越高,在業(yè)務方面具體體現(xiàn)在“提升集中度高且多樣性的風險管理能力”、“注意力經(jīng)濟形勢下提高互聯(lián)網(wǎng)業(yè)務競爭力”、“從經(jīng)營模式到提升業(yè)務運營管理能力的轉(zhuǎn)變”等,以上究其核心都是對數(shù)據(jù)更快、更準、更全的需求。傳統(tǒng)數(shù)據(jù)集市、數(shù)據(jù)倉庫、大數(shù)據(jù)平臺等產(chǎn)品T+1的數(shù)據(jù)處理分析及應用,已無法滿足面向未來的業(yè)務發(fā)展訴求,實時數(shù)據(jù)管理體系建設任重道遠。其中,實時數(shù)據(jù)平臺建設成為破局第一步也是關(guān)鍵。

△DataPipeline:實時數(shù)據(jù)管理體系建設路線圖

陳雷談到:“金融企業(yè)在信息系統(tǒng)規(guī)劃中,實時的數(shù)據(jù)管理體系路線規(guī)劃必要性不言而喻,一般分為前期、中期和遠期三大階段。但是,今天大部分金融機構(gòu)還基本處在較前期的階段,或剛剛構(gòu)建起實時數(shù)據(jù)管理平臺,還未真正融合企業(yè)級的實時數(shù)據(jù)處理。更不用談真正把實時數(shù)據(jù)用到生產(chǎn)經(jīng)營過程中去,比如通過實時數(shù)據(jù)優(yōu)化前后臺精細分工、打通信息系統(tǒng)主線與數(shù)字孿生。返回到路線圖第一個階段,我們怎么把第一步邁好即‘建好一個實時數(shù)據(jù)管理平臺,速贏項目、支持實時經(jīng)營決策’是當下我們大部分金融用戶的首要課題?！?/p>

DataPipeline三大核心要素,為實時數(shù)據(jù)管理落地注入強勁動力

當下,各金融機都在積極擁抱實時數(shù)據(jù)管理平臺建設工作,但從整體看仍不盡人意,這集中體現(xiàn)在自研難、效率低、成本高。拋除因引入管理機制帶來的流程變革等問題,單實際建設中以下技術(shù)難題就尤為凸顯:各類數(shù)據(jù)管理技術(shù)差異越來越大,全面、準確的實時數(shù)據(jù)獲取困難;難以快速響應實時數(shù)據(jù)需求,把握機會快速建立競爭優(yōu)勢;實時數(shù)據(jù)鏈路受數(shù)據(jù)源影響巨大,穩(wěn)定性與容錯性問題重重。

同時,國外相關(guān)產(chǎn)品技術(shù)體系較封閉,國內(nèi)產(chǎn)品在技術(shù)先進性和架構(gòu)前瞻性上又普遍不足。在此背景下,DataPipeline企業(yè)級實時數(shù)據(jù)融合平臺,如何打通企業(yè)內(nèi)外部各類系統(tǒng),為客戶服務、風險管控等各個業(yè)務運營平臺提供實時數(shù)據(jù),在眾產(chǎn)品中脫穎而出?

△DataPipeline企業(yè)級實時數(shù)據(jù)融合平臺架構(gòu)

在陳雷看來,可以概括為以下產(chǎn)品三大關(guān)鍵要素,為實時數(shù)據(jù)管理落地注入強勁動力。

●  基于日志的實時增量數(shù)據(jù)獲取技術(shù)保證實時數(shù)據(jù)全面、準確

DataPipeline實時數(shù)據(jù)融合平臺支持數(shù)十種主流數(shù)據(jù)庫作為數(shù)據(jù)節(jié)點,打破企業(yè)域內(nèi)各類異構(gòu)數(shù)據(jù)技術(shù)構(gòu)成的樊籬,讓存儲在不同類型數(shù)據(jù)節(jié)點中的數(shù)據(jù)隨需可得;采用基于日志的增量數(shù)據(jù)獲取技術(shù)(Log-basedchange datacapture),為主數(shù)據(jù)管理、數(shù)據(jù)倉庫、大數(shù)據(jù)平臺提供實時、準確的數(shù)據(jù)變化,從而使得用戶可以根據(jù)最新數(shù)據(jù)進行運營管理與決策制定。

●  配置式鏈路定義,無代碼任務構(gòu)建提升實時數(shù)據(jù)敏捷性

使用分層管理、按需服務的配置型平臺來提升 IT 敏捷開發(fā)效率。一方面保證數(shù)據(jù)節(jié)點的安全性、穩(wěn)定性、業(yè)務連續(xù)性,一方面為數(shù)據(jù)應用提供更多的自主性,使用戶可以將數(shù)據(jù)獲取的范圍、數(shù)據(jù)任務的生命周期、系統(tǒng)資源投入的多寡等權(quán)限更多的交給實際使用數(shù)據(jù)的業(yè)務部門及應用開發(fā)人員,從而在業(yè)務需求變化時從容應對,加速達成數(shù)字化轉(zhuǎn)型目標。

●  分布式引擎、組件級高可用保障實時鏈路穩(wěn)定高容錯

融合引擎采用分布式架構(gòu),容器化部署。可以保證系統(tǒng)業(yè)務連續(xù)性要求。在分布式集群的基礎上,采用系統(tǒng)資源組的形式隔離不同任務的運行環(huán)境,保障重要任務的穩(wěn)定有序運行。

通過多年在各個行業(yè)的數(shù)據(jù)融合領(lǐng)域經(jīng)驗積累,DataPipeline將各類專業(yè)數(shù)據(jù)融合技術(shù)以專業(yè)化產(chǎn)品的方式提供給用戶,大大降低了企業(yè)搭建基礎平臺的研發(fā)成本與運維成本,做到“易建,好用,性優(yōu)”,讓用戶能夠?qū)r間精力與優(yōu)質(zhì)資源投入到數(shù)據(jù)價值釋放與商業(yè)價值實現(xiàn)中去。

立足行業(yè)擁抱生態(tài),在實踐中詮釋價值

近年來,DataPipeline 數(shù)據(jù)融合產(chǎn)品不斷深耕技術(shù)與應用場景。憑借優(yōu)質(zhì)的產(chǎn)品質(zhì)量及服務能力,DataPipeline已覆蓋金融、零售、能源、制造、地產(chǎn)、交通、醫(yī)療、互聯(lián)網(wǎng)等重點領(lǐng)域,服務了中國人壽、民生銀行、山東城商行聯(lián)盟、財通證券、中國石油、吉利集團、星巴克、順豐等在各自行業(yè)信息化水平領(lǐng)先的客戶,產(chǎn)品被應用在客戶服務、生產(chǎn)調(diào)度、運營管理、業(yè)務分析等重要場景中。DataPipeline 企業(yè)級數(shù)據(jù)融合平臺在系統(tǒng)穩(wěn)定性、可管理性、擴展性、靈活性方面經(jīng)過了反復驗證,在系統(tǒng)性能指標、架構(gòu)設計的專業(yè)性與技術(shù)先進性上均得到了客戶的認可。為了給客戶提供更加優(yōu)質(zhì)全面的服務,DataPipeline已與數(shù)十家產(chǎn)業(yè)上下游合作伙伴建立了戰(zhàn)略合作關(guān)系。

廣東省粵港澳合作促進會金融專業(yè)委員會常務副主任周永群致辭中指出,金融作為國家重要核心競爭力以及國家安全的重要組成部分,在信息技術(shù)應用創(chuàng)新體系中的地位舉足輕重。DataPipeline產(chǎn)品完全自主研發(fā),公司將以「成為中國的世界級數(shù)據(jù)中間件廠商」為愿景,踐行2021政府工作報告中的“提升科技創(chuàng)新能力,十年磨一劍”精神,以先進的技術(shù)體系、完善的生態(tài)系統(tǒng)為支撐,為數(shù)字金融等領(lǐng)域的用戶在實時數(shù)據(jù)管理方面創(chuàng)造更大價值。

zhangnn