01

在時效性和智能化兼?zhèn)涞膱鼍跋?，“熱?shù)據(jù)”價值得以體現(xiàn)

愛分析：您認(rèn)為應(yīng)該怎樣理解“熱數(shù)據(jù)”？

王新宇博士：數(shù)據(jù)從產(chǎn)生開始，它的應(yīng)用價值就在隨著時間流逝呈指數(shù)式下降。數(shù)據(jù)的價值，就像是一座有無數(shù)寶藏的礦山，對數(shù)據(jù)的洞察力、提取力和分析力決定了能挖出的是鉆石還是煤炭。數(shù)據(jù)剛剛產(chǎn)生時熱度最強，也就是“熱數(shù)據(jù)”，通過對數(shù)據(jù)的及時處理、分析，最能夠體現(xiàn)數(shù)據(jù)在應(yīng)用上的價值。

剛剛在線上產(chǎn)生的數(shù)據(jù)，需要結(jié)合歷史數(shù)據(jù)，才能對它進行實時的價值判斷，要讓數(shù)據(jù)分析兼具準(zhǔn)確度和速度，這就好比魚和熊掌兼得，難度非常大。實時智能處理是實現(xiàn)“熱數(shù)據(jù)”價值最大化的唯一途徑，可以將實時采集到的“熱數(shù)據(jù)”和歷史數(shù)據(jù)相結(jié)合，進行實時處理和實時分析，并基于處理和分析結(jié)果給出智能化決策。

許多業(yè)務(wù)場景需要基于單個行為對整體意圖做出判斷，并快速做出處置。這些業(yè)務(wù)場景往往對時效性要求很高，比如互聯(lián)網(wǎng)/移動互聯(lián)網(wǎng)、物聯(lián)網(wǎng)等應(yīng)用場景中，用戶體驗提升、個性化服務(wù)、智能分析、事中決策等，由于業(yè)務(wù)復(fù)雜度較高，如何能快速計算出支撐業(yè)務(wù)中的復(fù)雜指標(biāo)成為實時業(yè)務(wù)場景中的關(guān)鍵因素。

愛分析：具體到應(yīng)用中，實時智能決策技術(shù)是如何釋放“熱數(shù)據(jù)”價值的？

王新宇博士：和時間賽跑，邦盛科技的技術(shù)思路，繞不開對時間和速度的要求。邦盛的流立方在其中扮演的角色是一個實時大數(shù)據(jù)處理引擎，兼具數(shù)據(jù)的時間跨度和新鮮度，還有計算速度，解決數(shù)據(jù)倍增、數(shù)據(jù)處理時效性差和數(shù)據(jù)處理毫秒級需求的問題。

比如，在物聯(lián)網(wǎng)環(huán)境中，各個傳感器產(chǎn)生大量數(shù)據(jù)，這些數(shù)據(jù)通常包含時間、位置、環(huán)境和行為等內(nèi)容。由于傳感器的多元化、差異化及環(huán)境的多樣化，這些數(shù)據(jù)呈現(xiàn)出鮮明的異構(gòu)性、多樣化、非結(jié)構(gòu)化、有噪聲、高增長率等特征，所產(chǎn)生的數(shù)據(jù)量之密度、實時性之強、價值密度之低是前所未有的，這對計算系統(tǒng)的實時性、吞吐量、可靠性等方面的要求非常高，既要有智能化的判斷和分析，又疊加了時效性特征。

在金融領(lǐng)域的業(yè)務(wù)中，往往會產(chǎn)生大量數(shù)據(jù)，這些數(shù)據(jù)的時效性很短，每時每刻都有大量的數(shù)據(jù)在各個系統(tǒng)間流動，并需要實時計算。同時金融系統(tǒng)與其他系統(tǒng)也有大量的數(shù)據(jù)流動，這些數(shù)據(jù)不僅有結(jié)構(gòu)化的數(shù)據(jù)，也有半結(jié)構(gòu)化和非結(jié)構(gòu)化的數(shù)據(jù)。通過對這些大數(shù)據(jù)的實時分析計算，發(fā)現(xiàn)隱含于其中的內(nèi)在特征，可以幫助金融機構(gòu)進行實時的智能化決策。

以全國最大的收單機構(gòu)為例，每年有1300多億刷卡流水，45億張銀行卡，峰值5萬TPS，近千個規(guī)則模型的超大數(shù)據(jù)量，同時要求在銀行卡刷卡請求時，50毫秒內(nèi)分析完成該卡過去1年交易行為的超高實時性。邦盛科技的這套基于“流立方”的實時智能決策技術(shù)，可以做到每一筆刷卡瞬間在10個毫秒內(nèi)完成近千個規(guī)則模型的全年刷卡行為分析計算，事中智能識別風(fēng)險并做出相應(yīng)的風(fēng)險處置決策。

批流結(jié)合的實時智能決策技術(shù)，橫向來看，可以應(yīng)用在金融、交通、通訊、政務(wù)、公安等各個行業(yè)?？v向來看，每個行業(yè)的報表數(shù)據(jù)實時處理、可視化分析、精準(zhǔn)營銷、合規(guī)檢查等也都需要這項技術(shù)。

02

邦盛科技實時智能決策與分析技術(shù)釋放“熱數(shù)據(jù)”價值

愛分析：邦盛科技的實時智能決策與分析技術(shù)體系是怎樣的？解決的主要問題是什么？

王新宇博士：流批一體的概念提出最早是在2015年，但那時真正應(yīng)用流批一體的落地案例極少。這是因為流批一體的大前提是需要統(tǒng)一的計算引擎，流計算和批計算從計算方式、支撐模塊、資源調(diào)度策略到流程規(guī)劃等都存在差異。因此，流批一體融合存在不少技術(shù)問題需要解決。

相較于流計算和批處理分離的系統(tǒng)架構(gòu)來說，流批一體重點關(guān)注數(shù)據(jù)源的統(tǒng)一、開發(fā)的統(tǒng)一、計算的統(tǒng)一、存儲的統(tǒng)一，實現(xiàn)技術(shù)棧的收斂，減少開發(fā)和運維成本，消除重復(fù)的計算框架帶來的邏輯不一致性。

從整體架構(gòu)來看，我們的流批一體實時智能決策與分析技術(shù)體系將常見的數(shù)據(jù)資產(chǎn)分為四層，并提出了對應(yīng)的三層數(shù)據(jù)處理架構(gòu)，以知識為媒介，揉合流處理、批處理、決策等多種技術(shù)體系，是一種面向業(yè)務(wù)的流批一體的數(shù)據(jù)處理體系架構(gòu)。

這項技術(shù)降低了流批結(jié)合模式的開發(fā)和運維成本，也進一步拓寬了實時計算的應(yīng)用范圍，為事件驅(qū)動型應(yīng)用及高實時性的數(shù)據(jù)統(tǒng)計分析型應(yīng)用提供了高效的計算模式，尤其是在對時效性非常關(guān)注的智能化判斷和分析場景下，這套技術(shù)體系具備獨一無二的競爭優(yōu)勢。

愛分析：市場上已經(jīng)有一些開源框架能解決實時數(shù)據(jù)處理的問題，邦盛科技為什么要選擇自主研發(fā)流立方？

王新宇博士：一般公司都是基于開源架構(gòu)進行增強，然后產(chǎn)出產(chǎn)品實現(xiàn)商業(yè)化。而市場上的開源框架大部分是國外的技術(shù)產(chǎn)品，如果我們都基于國外的開源框架基礎(chǔ)上搭建實時數(shù)據(jù)產(chǎn)品體系，實時數(shù)據(jù)處理將成為國內(nèi)卡脖子的技術(shù)難題，所以我們開始自主研發(fā)構(gòu)建基礎(chǔ)平臺，徹底實現(xiàn)實時數(shù)據(jù)處理基礎(chǔ)平臺國產(chǎn)化，讓我國能夠擁有自主研發(fā)的實時數(shù)據(jù)處理技術(shù)底座。

第二個原因是，傳統(tǒng)開源框架無法適配企業(yè)既快又靈活的實時決策需求。當(dāng)前實時計算的框架分成兩個流派，一個是“原始態(tài)”，比如Oracle的數(shù)據(jù)庫，擁有靈活的特性但是處理速度較慢；一個是“最終態(tài)”，比如Spark、Storm，處理速度快但是不夠靈活，無法滿足在實時決策中進行實時智能調(diào)整和適配要求。

為了滿足這些要求，我們提出了“時序中間態(tài)”理念，在技術(shù)研發(fā)上投入五年時間和上億資金，最終形成流立方核心技術(shù)。流立方結(jié)合了“原始態(tài)”和“最終態(tài)”兩派的優(yōu)勢，每次計算都能夠進行實時數(shù)據(jù)的靈活重組，性能上提升了幾十倍，任何時間、復(fù)雜事件的中間段都可以在毫秒內(nèi)吐出結(jié)果，既迅速又靈活，遇到復(fù)雜因子及時間序列，流立方依舊可以做到毫秒級產(chǎn)出結(jié)果。

愛分析：流立方在技術(shù)上是如何實現(xiàn)性能提升的？

王新宇博士：流立方是大數(shù)據(jù)實時智能處理平臺，是基于“時序中間態(tài)”理念進行研發(fā)的，也就是在數(shù)據(jù)流轉(zhuǎn)過程中嵌入流處理引擎，對所有流過的數(shù)據(jù)進行實時處理，處理的結(jié)果是個中間結(jié)果。

比如同樣計算三個月交易平均額，F(xiàn)link是直接計算最終三個月交易結(jié)果，如果要求得到兩個月交易數(shù)據(jù)就需要重新計算。而流立方把時間切成了細(xì)碎的“切片”，可以計算出1小時內(nèi)、1分鐘或者500毫秒“切片”的交易平均額，這就是中間結(jié)果。目前流立方數(shù)據(jù)集群吞吐量可達(dá)到200萬筆每秒，當(dāng)要求計算出任何一個時間段內(nèi)交易數(shù)據(jù)時，流立方都可以在微秒時間內(nèi)對“切片”進行動態(tài)重組，所以計算1年內(nèi)和計算3年內(nèi)平均交易額都可以在同樣時間內(nèi)得到結(jié)果。

流立方高性能的數(shù)據(jù)集群可以滿足數(shù)據(jù)量大、數(shù)據(jù)新鮮度高、事件/指標(biāo)復(fù)雜、決策智能化等特征，通過我們的大數(shù)據(jù)實時處理平臺可以快速地、實時地采集、加工、處理多源數(shù)據(jù)，解決開源流數(shù)據(jù)處理技術(shù)無法解決的問題，為各領(lǐng)域大數(shù)據(jù)實時計算處理提供底層的技術(shù)支撐。

愛分析：您介紹了很多邦盛科技實時智能決策與分析體系的特點，邦盛科技是否有考慮通過自身優(yōu)勢進行更多的生態(tài)合作？

王新宇博士：在生態(tài)合作方面，目前我們以流立方和三核智能作為底層基礎(chǔ)決策軟件和決策引擎，進一步來構(gòu)建上層的業(yè)務(wù)應(yīng)用產(chǎn)品生態(tài)和服務(wù)生態(tài)。根據(jù)不同的行業(yè)設(shè)置了不同的事業(yè)部，對業(yè)務(wù)占比較大的行業(yè)需求，生態(tài)合作情況較少，主要由事業(yè)部來實現(xiàn)軟件的實施落地；而業(yè)務(wù)占比較小的行業(yè)事業(yè)部，會尋找有行業(yè)know how的合作伙伴，通過提供技術(shù)底座支持行業(yè)應(yīng)用的方式，賦能合作伙伴，我們實現(xiàn)作為實時處理技術(shù)底座的價值，合作伙伴實現(xiàn)行業(yè)自動化的價值。

在未來，我們也會考慮和優(yōu)質(zhì)的合作伙伴進行投資并購，結(jié)合公司的整體運作和業(yè)務(wù)布局實現(xiàn)更加深入的合作，為企業(yè)提供更符合需求的定制化解決方案。

03

國產(chǎn)化和產(chǎn)品化是實時智能決策技術(shù)的發(fā)展重點

愛分析：結(jié)合邦盛科技過往的案例實踐經(jīng)驗，您認(rèn)為實時智能決策技術(shù)要服務(wù)好客戶，有哪些關(guān)鍵能力要求？

王新宇博士: 實時智能決策技術(shù)的應(yīng)用對于平臺的性能、模型的準(zhǔn)確度、功能的完善性、平臺的易用性等幾個方面都有要求。

平臺的性能體現(xiàn)在吞吐量上。2015年我們完成了流立方的產(chǎn)品研發(fā)，之后憑借流立方為核心的實時處理解決方案拿下了全國最大收單機構(gòu)的招標(biāo)項目。該項目要求在50毫秒內(nèi)實現(xiàn)近一年的重大行為回溯，與其他國外老牌廠商提出的解決方案相比，我們的解決方案性能大大提升。

平臺的決策效率還受到?jīng)Q策模型準(zhǔn)確度的影響，通過平臺輸出結(jié)果的誤報率和漏報率就能看出模型的準(zhǔn)確程度，那么模型設(shè)計階段就極為關(guān)鍵。如果能將圖決策納入決策模型考慮范圍，可以大幅提升實時決策引擎的性能，也是提升平臺決策效率的方式。

功能的完善性是建立在廠商的服務(wù)經(jīng)驗基礎(chǔ)上的。當(dāng)下企業(yè)要求實時智能引擎能夠匹配復(fù)雜的業(yè)務(wù)線，那么廠商對于復(fù)雜業(yè)務(wù)的理解程度和實時智能技術(shù)對多條業(yè)務(wù)線的支持能力決定了平臺功能的完善性。

平臺的易用性是要降低業(yè)務(wù)人員的平臺使用成本。以往業(yè)務(wù)人員想要調(diào)整模型時需要找到IT部門，運用歷史數(shù)據(jù)對模型進行反復(fù)訓(xùn)練，后續(xù)還要上線和確認(rèn)模型，整個周期需要2周到一個月時間。而平臺的易用性就體現(xiàn)在決策引擎是不是面向業(yè)務(wù)人員的，盡量讓業(yè)務(wù)人員使用拖拉拽的方式就能管理和調(diào)整模型，訓(xùn)練好的模型在少量技術(shù)人員的幫助下就能上線知識應(yīng)用平臺，大幅縮減業(yè)務(wù)人員的平臺使用時間，從而提升決策效率。

愛分析：您認(rèn)為實時智能技術(shù)未來的發(fā)展方向是什么？

王新宇博士：大數(shù)據(jù)時代，數(shù)據(jù)是寶貴的資源，數(shù)字基礎(chǔ)設(shè)施建設(shè)是支持國家數(shù)字經(jīng)濟高速高質(zhì)發(fā)展的必要前提條件，隨著新基建的規(guī)劃部署在各行各業(yè)深入開展，企業(yè)內(nèi)沉淀的數(shù)據(jù)量、業(yè)務(wù)系統(tǒng)的終端用戶量都在呈現(xiàn)爆發(fā)式增長的趨勢，很多大型企業(yè)尤其是國家的支柱性行業(yè)，對有效應(yīng)對大規(guī)模、高時效、智能化等一系列的數(shù)字化技術(shù)需求將越來越旺盛。

從應(yīng)用趨勢來看，想要大規(guī)模應(yīng)用實時智能決策技術(shù)，要保證技術(shù)已經(jīng)實現(xiàn)高度的產(chǎn)品化。舉例來說，特征處理、模型訓(xùn)練等底層技術(shù)產(chǎn)品化率較高，中大型客戶對數(shù)據(jù)采集、處理、計算等基礎(chǔ)功能需求最廣，產(chǎn)品化率也因此不斷提升，而面向應(yīng)用價值的實時智能決策技術(shù)不容易實現(xiàn)高產(chǎn)品化率。隨著技術(shù)不斷積累和沉淀，決策模型的產(chǎn)品化率會逐漸提高。產(chǎn)品化是廠商期待實現(xiàn)的共同目標(biāo)，但在實現(xiàn)產(chǎn)品化的同時也要保證對業(yè)務(wù)支持的靈活性，才能夠應(yīng)對當(dāng)下日益精細(xì)化的市場需求。

未來數(shù)字經(jīng)濟建設(shè)中，很多企業(yè)需要通過場景感知，實時捕捉、識別和判斷客戶需求，實時從決策引擎中獲取業(yè)務(wù)價值平衡決策，并通過集中的后臺服務(wù)實時響應(yīng)客戶需求。實時智能決策與分析領(lǐng)域的提前布局，是很多行業(yè)、企業(yè)在數(shù)字化轉(zhuǎn)型中實現(xiàn)高質(zhì)量發(fā)展的關(guān)鍵舉措。

【來源： 愛分析 ， 調(diào)研：黃勇 武宇，撰寫：蘭壹凡 】

xiesc