騰訊云大數(shù)據(jù)首席架構師 宋企皋
精彩觀點
AI與數(shù)據(jù)治理的深度融合將成為未來數(shù)據(jù)多模態(tài)管理、深度洞察與統(tǒng)計分析的重要發(fā)展方向。騰訊提出”AI for Data”技術方案,通過部署數(shù)據(jù)分析智能體與數(shù)據(jù)工程Agent,實現(xiàn)多模態(tài)數(shù)據(jù)的高效處理,降低業(yè)務人員數(shù)據(jù)開發(fā)門檻并提升質量效率。
在 AI 技術飛速發(fā)展的今天,大模型應用的效果越來越多地被歸因于數(shù)據(jù)質量 —— 當算力瓶頸逐步緩解、通用大模型日益普及,數(shù)據(jù)資產(chǎn)的質量與管理能力正成為決定 AI 落地成效的核心變量。從 “Data + AI” 到 “DataXAI”,數(shù)據(jù)與人工智能的融合已進入深度協(xié)同階段,這不僅帶來了業(yè)務價值的重構,更對傳統(tǒng)數(shù)據(jù)治理模式提出了顛覆性挑戰(zhàn)。
技術架構升級:
支撐人機協(xié)同的數(shù)據(jù)底座
AI 與數(shù)據(jù)的深度融合,對基礎設施提出了更高要求。傳統(tǒng)私有化大數(shù)據(jù)平臺以結構化數(shù)據(jù)存儲為主,難以應對多模態(tài)數(shù)據(jù)的爆發(fā)式增長與算力需求的彈性波動。因此,數(shù)據(jù)平臺向云原生架構演進成為必然:通過存算分離實現(xiàn)資源彈性調度,依托統(tǒng)一元數(shù)據(jù)管理打通數(shù)據(jù)孤島,最終構建能支撐多樣化 AI 場景的技術底座。
組織架構的協(xié)同同樣關鍵。過去,企業(yè)的數(shù)據(jù)團隊與 AI 團隊往往獨立運作,形成 “兩套工具、兩份數(shù)據(jù)” 的割裂狀態(tài)。而從去年下半年開始,越來越多的企業(yè)將兩支團隊整合,實現(xiàn) “一個團隊、一個工具、一份數(shù)據(jù)” 的協(xié)同模式,這一調整不僅大幅提升了 AI 應用開發(fā)效率,更保障了數(shù)據(jù)資產(chǎn)的一致性與安全性。
2022 年起,騰訊啟動數(shù)據(jù)智能升級項目,核心解決三大問題:讓 AI 精準理解業(yè)務需求、讓 AI 高效識別與調用數(shù)據(jù)、讓 AI 生成高質量代碼以快速響應需求。具體措施包括:
一、構建 “人機共懂” 的數(shù)據(jù)資產(chǎn)體系。通過大模型識別通用業(yè)務特征,沉淀核心數(shù)據(jù)的標準化代碼片段,讓 AI 可直接調用成熟模塊;同時搭建數(shù)據(jù)資產(chǎn)語義層,將業(yè)務含義、指標與代碼有機關聯(lián),提升自然語言到機器語言的轉化精度。
二、建立 “人機協(xié)同” 的工程體系。在傳統(tǒng) “人 – 流程” 協(xié)作模式中引入多 Agent 協(xié)同機制,讓業(yè)務人員可實時參與 AI 生成過程并基于經(jīng)驗修正,形成 “越用越好” 的正向迭代循環(huán)。
智能數(shù)據(jù)湖:
面向未來的數(shù)據(jù)治理方案
基于上述實踐,騰訊云將大數(shù)據(jù)平臺升級為 “智能數(shù)據(jù)湖” 方案,核心包含四大能力:
數(shù)據(jù)分析智能體:以類 ChatBI 能力為核心,支持自然語言轉 SQL 或代碼,目前在國際數(shù)據(jù)集測試中排名全球第三、國內(nèi)第一。通過多軌并行解析(基礎需求、Excel 需求、路徑分析等),進一步提升代碼生成的準確性與效率。
數(shù)據(jù)工程 Agent:聚焦數(shù)據(jù)開發(fā)質量提升,可快速定位代碼問題,同時將 AI 能力融入數(shù)據(jù)分類分級環(huán)節(jié),強化數(shù)據(jù)安全識別與風險監(jiān)測。
Data 與 AI 一體化平臺:彌補傳統(tǒng) AI 平臺在數(shù)據(jù)安全管控、資產(chǎn)管理上的短板,通過原有數(shù)據(jù)開發(fā)平臺的能力復用,實現(xiàn)大模型訓練與應用開發(fā)的全流程高效支撐。
多模態(tài)數(shù)據(jù)管理與智能運維:提前布局多模態(tài)數(shù)據(jù)存儲與治理能力,通過統(tǒng)一元數(shù)據(jù)管理(涵蓋技術元數(shù)據(jù)、業(yè)務元數(shù)據(jù)、模型及自定義函數(shù))實現(xiàn)跨應用數(shù)據(jù)服務;引入大模型輔助平臺運維,提升大規(guī)模任務的穩(wěn)定性保障效率。
寫在最后
盡管AI 與數(shù)據(jù)治理的融合仍處于探索階段,但在未來,隨著多模態(tài)數(shù)據(jù)的持續(xù)涌入,數(shù)據(jù)治理將迎來新一輪升級,AI 在深度洞察與統(tǒng)計分析中的作用將更加凸顯。騰訊云期待與更多企業(yè)攜手,共同完善數(shù)據(jù)智能體系,讓數(shù)據(jù)更好地支撐 AI 時代的業(yè)務創(chuàng)新與發(fā)展。