Aloudata正在推動中國企業(yè)落地數(shù)據(jù)編織

日前，Aloudata發(fā)布了《數(shù)據(jù)編織價值評估指南》的白皮書，介紹了數(shù)據(jù)編織的價值主張、實(shí)現(xiàn)機(jī)制，以及如何進(jìn)行實(shí)踐落地并進(jìn)行價值評估，用來幫助企業(yè)更好地理解并應(yīng)用數(shù)據(jù)編織。

劉靚表示，在與大量客戶交流中發(fā)現(xiàn)，企業(yè)普遍對數(shù)據(jù)編織這一理念關(guān)注度高，但苦于落地實(shí)踐時經(jīng)常面臨諸多困惑，包括場景如何適配、價值如何評估等關(guān)鍵問題，而白皮書針對這些問題提供了更具針對性、實(shí)踐性也更強(qiáng)的指南。

白皮書中提到，如今的數(shù)據(jù)管理領(lǐng)域面臨諸多挑戰(zhàn)，包括數(shù)據(jù)需求與鏈路復(fù)雜性的增長、合規(guī)與跨域以及云環(huán)境的多樣性三大方面挑戰(zhàn)。而數(shù)據(jù)編織被視為未來數(shù)據(jù)管理的核心解決方案，能夠應(yīng)對復(fù)雜的數(shù)據(jù)環(huán)境，更高效地管理和釋放數(shù)據(jù)價值。

西卡中國BI和數(shù)據(jù)負(fù)責(zé)人袁鶯作為特邀嘉賓出席了發(fā)布會，“我們擁有云上和云下的數(shù)據(jù)資源，這些數(shù)據(jù)跨越不同區(qū)域，并涉及數(shù)據(jù)安全與合規(guī)等問題。如果采用傳統(tǒng)數(shù)據(jù)架構(gòu)整合數(shù)據(jù)，將耗費(fèi)大量成本和精力，也無法保證數(shù)據(jù)的時效性和可用性，難以有效支持業(yè)務(wù)的數(shù)據(jù)消費(fèi)需求。”她強(qiáng)調(diào)，“采用數(shù)據(jù)編織能夠?qū)⒄麄€數(shù)據(jù)整合周期縮短 40%，并能適應(yīng)快速變化的業(yè)務(wù)需求，實(shí)現(xiàn)數(shù)據(jù)整合與不斷調(diào)整的并行處理。”

作為國內(nèi)首個邏輯數(shù)據(jù)編織平臺，Aloudata AIR 有三大核心價值

業(yè)界普遍將數(shù)據(jù)編織定義為一種數(shù)據(jù)架構(gòu)理念，對其能力邊界尚無明確標(biāo)準(zhǔn)。而Aloudata自研的國內(nèi)首個邏輯數(shù)據(jù)編織平臺Aloudata AIR則清晰定義了“零搬運(yùn)、免運(yùn)維、自治理”的價值主張，它可以解決數(shù)據(jù)開發(fā)過程中的效率、成本和復(fù)雜性問題。

與業(yè)界許多數(shù)據(jù)虛擬化方案多側(cè)重在數(shù)據(jù)的集成與查詢場景不同，Aloudata AIR將NoETL作為數(shù)據(jù)虛擬化技術(shù)的核心能力，強(qiáng)調(diào)其在數(shù)據(jù)集成、加工與服務(wù)全流程中的價值，也就是：無需事前搬運(yùn)數(shù)據(jù)、無需事中運(yùn)維ETL任務(wù)、無需事后計存治理。

“零搬運(yùn)”是指Aloudata AIR通過數(shù)據(jù)虛擬化技術(shù)實(shí)現(xiàn)邏輯集成，秒級完成數(shù)據(jù)集成后，將跨源、跨引擎的數(shù)據(jù)用一種SQL語言實(shí)現(xiàn)統(tǒng)一查詢訪問。這使得數(shù)據(jù)在整個開發(fā)和使用過程中無需進(jìn)行物理搬運(yùn)，這種做法不僅避免了數(shù)據(jù)多次復(fù)制造成的存儲和計算資源浪費(fèi)，而且能更好地保證數(shù)據(jù)實(shí)時性。

“免運(yùn)維”指的是無需事中運(yùn)維ETL任務(wù)。ETL是數(shù)據(jù)開發(fā)的核心環(huán)節(jié)，但它的操作復(fù)雜，給開發(fā)者帶來了沉重的負(fù)擔(dān)。Aloudata通過查詢加速與任務(wù)下推技術(shù)，在實(shí)現(xiàn)性能加速的同時自動化封裝了復(fù)雜的ETL的任務(wù)開發(fā)和作業(yè)執(zhí)行。邏輯數(shù)據(jù)集變更后，系統(tǒng)自動更新下游數(shù)據(jù)，無需繁瑣的手動回刷數(shù)據(jù)。這一做法顯著減少了人工干預(yù)和出錯風(fēng)險，使數(shù)據(jù)開發(fā)更敏捷。

“自治理”的核心就是平臺自動感知和優(yōu)化數(shù)據(jù)資源的使用。它不僅會根據(jù)需求生成物化表來提升查詢速度，降低存儲與計算成本。它還會實(shí)時監(jiān)控數(shù)據(jù)消費(fèi)狀態(tài)，如果物化表一段時間沒人用，系統(tǒng)會通過自動回收來避免資源浪費(fèi)。這樣不僅可以提升資源利用率和查詢性能，還可以減少人力管理的成本。

邏輯數(shù)據(jù)編織平臺 Aloudata AIR通過“零搬運(yùn)、免運(yùn)維、自治理”消除了傳統(tǒng)數(shù)據(jù)開發(fā)中的瓶頸，讓數(shù)據(jù)管理變得更加高效、敏捷，同時降低了運(yùn)維成本和復(fù)雜性。這三大特點(diǎn)就是Aloudata落地數(shù)據(jù)編織架構(gòu)的核心價值。

Aloudata提出了一套關(guān)于數(shù)據(jù)編織的價值評估框架

在經(jīng)濟(jì)下行、IT預(yù)算緊縮的背景下，很多企業(yè)都非?？粗貙ν顿Y回報率（ROI）的量化分析，希望能做出更明智的技術(shù)選型決策。為此，Aloudata在《數(shù)據(jù)編織價值實(shí)現(xiàn)評估指南》白皮書中，提出了業(yè)界首個針對數(shù)據(jù)編織技術(shù)的價值評估框架，從三個評估維度和兩個關(guān)鍵指標(biāo)入手，幫助企業(yè)衡量投入產(chǎn)出比。

Aloudata認(rèn)為，要從提升數(shù)據(jù)交付效率、降低數(shù)據(jù)膨脹系數(shù)和減少數(shù)據(jù)管理成本三方面下手評估數(shù)據(jù)編織架構(gòu)的價值。

所謂“數(shù)據(jù)交付效率”關(guān)注的是業(yè)務(wù)提出數(shù)據(jù)需求后，能多快得到結(jié)果，能否端到端地提升數(shù)據(jù)集成、整合到服務(wù)的交付效率，把數(shù)據(jù)需求的響應(yīng)周期從周提升到天，實(shí)現(xiàn)數(shù)據(jù)交付10倍提效。

“數(shù)據(jù)膨脹系數(shù)”衡量了數(shù)據(jù)被多次重復(fù)拷貝的情況，關(guān)注那些能導(dǎo)致數(shù)據(jù)倉庫資源迅速膨脹的問題，能否從機(jī)制設(shè)計上系統(tǒng)化地減少數(shù)據(jù)拷貝，節(jié)省存算資源，提升存算的有效性和經(jīng)濟(jì)性，至少節(jié)省30%的存算成本。

“數(shù)據(jù)管理成本”包括數(shù)據(jù)開發(fā)、運(yùn)維和治理中的人力投入與資源消耗。減少這些成本在于通過簡化系統(tǒng)技術(shù)概念，降低數(shù)據(jù)平臺上手門檻和減少運(yùn)維成本，并提升數(shù)據(jù)管理的自動化水平和逐步增強(qiáng)數(shù)據(jù)平臺的“智駕”能力，至少節(jié)省70%的數(shù)據(jù)管理成本。

此外，白皮書指出，可以通過“當(dāng)天需求滿足率”和“當(dāng)天數(shù)據(jù)動銷率”兩個關(guān)鍵指標(biāo)進(jìn)行量化評估，分別從業(yè)務(wù)需求響應(yīng)和數(shù)據(jù)資源利用的視角評估數(shù)據(jù)編織的實(shí)際價值。

“當(dāng)天需求滿足率”指的是，業(yè)務(wù)團(tuán)隊(duì)提出的數(shù)據(jù)需求，能在當(dāng)天得到滿足的比例。這是站在業(yè)務(wù)方視角評估和感受數(shù)據(jù)平臺能力和價值的唯一核心指標(biāo)，也是數(shù)據(jù)產(chǎn)生業(yè)務(wù)價值的重要體現(xiàn)之一

“當(dāng)天數(shù)據(jù)動銷率”是指當(dāng)天有更新的數(shù)據(jù)在當(dāng)天或未來一段時間內(nèi)的使用率。它體現(xiàn)了數(shù)據(jù)的利用效率和價值產(chǎn)出。如果數(shù)據(jù)長期未被使用，企業(yè)可以通過優(yōu)化數(shù)據(jù)資產(chǎn)管理回收這些資源，降低存儲和運(yùn)維成本。

依托Aloudata AIR，首創(chuàng)證券落地數(shù)據(jù)編織架構(gòu)

首創(chuàng)證券是一家知名券商，數(shù)據(jù)團(tuán)隊(duì)規(guī)模并不大，在構(gòu)建數(shù)據(jù)倉庫時面臨著人員短缺和Hadoop技術(shù)棧不熟悉的挑戰(zhàn)。傳統(tǒng)Hadoop數(shù)倉體系需要龐大的ETL開發(fā)團(tuán)隊(duì)和深厚的技術(shù)積累，而首創(chuàng)證券的數(shù)據(jù)團(tuán)隊(duì)希望能找到一種更加精益的架構(gòu)方案。

經(jīng)過認(rèn)真評估，首創(chuàng)證券選擇了Aloudata AIR邏輯數(shù)據(jù)編織平臺。通過這一平臺，他們構(gòu)建了邏輯數(shù)倉，將多個業(yè)務(wù)系統(tǒng)的數(shù)據(jù)進(jìn)行無縫連接。

具體而言，在ODS（數(shù)倉的操作數(shù)據(jù)存儲）層，數(shù)據(jù)通過邏輯連接直接快速集成，無需物理搬運(yùn)。在DWD（數(shù)倉的明細(xì)數(shù)據(jù)層）層，數(shù)倉沉淀了歷史數(shù)據(jù)。這種分層架構(gòu)不僅簡化了數(shù)倉的結(jié)構(gòu)，還實(shí)現(xiàn)了數(shù)據(jù)的按需加速與物化，提高了數(shù)據(jù)處理的靈活性和經(jīng)濟(jì)性。

此外，首創(chuàng)證券還使用了Aloudata CAN自動化指標(biāo)平臺，形成了從數(shù)倉數(shù)據(jù)沉淀到業(yè)務(wù)指標(biāo)開發(fā)的完整自動化鏈路。Aloudata AIR負(fù)責(zé)邏輯編織和數(shù)據(jù)沉淀，而Aloudata CAN基于這些明細(xì)數(shù)據(jù)構(gòu)建了業(yè)務(wù)語義模型與指標(biāo)。這一組合讓業(yè)務(wù)指標(biāo)開發(fā)和分析需求變得更高效。

在實(shí)際應(yīng)用中，首創(chuàng)證券的源頭數(shù)據(jù)庫多達(dá)100多個，包含數(shù)萬張表。在傳統(tǒng)架構(gòu)下，這些數(shù)據(jù)的集成可能需要耗費(fèi)大量時間和資源，需要處理成千上萬的任務(wù)。而通過 Aloudata AIR，這些表在短短一天內(nèi)便完成了集成。

更重要的是，真正沉淀到DWD層的物理表不到100張，極大降低了數(shù)據(jù)管理的復(fù)雜性。首創(chuàng)證券的報表查詢效率也有了顯著提升，一秒內(nèi)響應(yīng)率達(dá)到95%。這得益于DWD層的加速策略以及應(yīng)用層的查詢自動路由機(jī)制，確保了高效的查詢執(zhí)行。

綜上，Aloudata AIR邏輯數(shù)據(jù)編織平臺與 Aloudata CAN自動化指標(biāo)平臺的結(jié)合，為首創(chuàng)證券帶來了全面的效率提升。無論是數(shù)據(jù)運(yùn)營效率、查詢性能，還是管理成本，首創(chuàng)證券的數(shù)據(jù)編織實(shí)踐實(shí)現(xiàn)了質(zhì)的飛躍，為中小型團(tuán)隊(duì)?wèi)?yīng)對數(shù)據(jù)復(fù)雜性提供了優(yōu)秀的參考案例。

zhupb