大數(shù)據(jù)分析市場(chǎng)的發(fā)展“觀”

網(wǎng)絡(luò)中可供分析的數(shù)據(jù)有兩類(lèi)，一部分是用戶自身上傳的數(shù)據(jù)，涉及用戶隱私。另一部分是機(jī)器自身產(chǎn)生的數(shù)據(jù)，包括網(wǎng)絡(luò)流量、系統(tǒng)運(yùn)行參數(shù)、配置文件、設(shè)備日志、操作系統(tǒng)日志、數(shù)據(jù)庫(kù)審計(jì)日志、應(yīng)用日志等，它無(wú)處不在，具備跨平臺(tái)、流動(dòng)性、移動(dòng)迅速、數(shù)量極大且變化快等特性，對(duì)整個(gè)IT系統(tǒng)的維護(hù)起到了關(guān)鍵作用。

如果能提前識(shí)別整體網(wǎng)絡(luò)流量的異常，分析預(yù)測(cè)流量變化，及時(shí)封堵相應(yīng)的流量端口，就可以及早避免病毒侵襲，因此，如何提升網(wǎng)絡(luò)智能成為業(yè)界亟待解決的問(wèn)題。

以此為契機(jī)，新華三輸出數(shù)據(jù)分析決策系統(tǒng)

新華三機(jī)器數(shù)據(jù)分析決策系統(tǒng)通過(guò)對(duì)機(jī)器設(shè)備產(chǎn)生的流量、日志、配置文件等機(jī)器數(shù)據(jù)進(jìn)行分析，實(shí)現(xiàn)對(duì)網(wǎng)絡(luò)服務(wù)質(zhì)量的評(píng)估、應(yīng)用的智能化保障。通過(guò)對(duì)流量趨勢(shì)的分析實(shí)現(xiàn)全網(wǎng)流量的智能調(diào)度和對(duì)機(jī)器設(shè)備的可預(yù)測(cè)性維護(hù)。

只要開(kāi)放日志，機(jī)器數(shù)據(jù)分析決策系統(tǒng)可以適配主流廠商的大部分硬件環(huán)境，包括小型機(jī)、服務(wù)器、中間件等，甚至可以適配大量的安全設(shè)備。通過(guò)最初對(duì)公安、教育、政府等行業(yè)的經(jīng)驗(yàn)積累，新華三機(jī)器數(shù)據(jù)分析系統(tǒng)如今已經(jīng)在2018年5月正式發(fā)布。

我們知道，企業(yè)如果只是一味保存日志，空間內(nèi)存總會(huì)處于不夠用的狀態(tài)，磁盤(pán)利用率下滑，再加上若坐擁PB級(jí)容量的日志數(shù)據(jù)，在需要時(shí)根本無(wú)法進(jìn)行查詢和檢索，如同雞肋，存也不是，扔也不是。

因此，首要解決的問(wèn)題是利用大數(shù)據(jù)設(shè)備進(jìn)行日志存儲(chǔ)。然后通過(guò)系統(tǒng)進(jìn)行快速檢索、關(guān)聯(lián)和分析。機(jī)器數(shù)據(jù)分析決策系統(tǒng)是基于持續(xù)歷史運(yùn)維大數(shù)據(jù)的訓(xùn)練與學(xué)習(xí)，既能讓用戶通過(guò)機(jī)器數(shù)據(jù)來(lái)判定從前IT設(shè)備中出現(xiàn)的扯不清到底誰(shuí)該“背鍋”的存儲(chǔ)、應(yīng)用、中間件或是前端網(wǎng)絡(luò)設(shè)備問(wèn)題，又能對(duì)未來(lái)新業(yè)務(wù)部署進(jìn)行推演，準(zhǔn)確提供新業(yè)務(wù)疊加后的業(yè)務(wù)狀態(tài)，作出提前預(yù)警。

例如系統(tǒng)幫助公安部門(mén)在其上千個(gè)應(yīng)用中查詢出從未有人訪問(wèn)，更無(wú)人維護(hù)的僵尸應(yīng)用，防止黑客利用這些僵尸應(yīng)用作為跳板對(duì)IT系統(tǒng)發(fā)起突然攻擊。

我們還可以發(fā)現(xiàn)一些機(jī)器數(shù)據(jù)分析決策系統(tǒng)很好玩的應(yīng)用，比如在抖音，今日頭條上，你可以通過(guò)系統(tǒng)了解用戶在頁(yè)面的停留時(shí)間，你喜歡點(diǎn)擊的這些頁(yè)面，實(shí)際上就形成了整體的用戶畫(huà)像，未來(lái)在抖音或頭條不斷向你推送視頻或新聞時(shí)，會(huì)根據(jù)你的選擇去推送你想看的。因?yàn)槭菫槟懔可矶ㄖ?，所以才?huì)有如今的“抖音中毒”。

開(kāi)啟數(shù)據(jù)安全視角：大浪淘金or沿途賣(mài)水？

大數(shù)據(jù)分析的商業(yè)模式一般是拿所有的數(shù)據(jù)進(jìn)行分析預(yù)測(cè)或是通過(guò)不觸及用戶隱私的機(jī)器數(shù)據(jù)進(jìn)行數(shù)據(jù)分析，前者就像是淘金，后者則可視為沿途賣(mài)水。

新華三機(jī)器數(shù)據(jù)分析決策系統(tǒng)屬于后者。新華三大數(shù)據(jù)產(chǎn)品部部長(zhǎng)，曹言指出，別的廠商可能是到舊金山去淘金，而我們可能是在旁邊賣(mài)水的。新華三的商業(yè)模式?jīng)Q定了我們不會(huì)去觸碰太多相關(guān)隱私的數(shù)據(jù)。

系統(tǒng)分析的日志數(shù)據(jù)包含結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)，比如機(jī)器日志一般稱(chēng)為之半結(jié)構(gòu)化數(shù)據(jù)的文本形態(tài)。新華三專(zhuān)門(mén)針對(duì)這些機(jī)器數(shù)據(jù)有一個(gè)網(wǎng)絡(luò)數(shù)據(jù)分析處理設(shè)備，經(jīng)網(wǎng)絡(luò)數(shù)據(jù)分析處理設(shè)備處理后能夠輸出一些標(biāo)準(zhǔn)格式（如源IP、目的IP、端口等）的數(shù)據(jù)，壓縮過(guò)后成為結(jié)構(gòu)化數(shù)據(jù)再進(jìn)行分析處理。

在大型企業(yè)中，決策系統(tǒng)能夠?qū)τ脩粜袨檫M(jìn)行分析，規(guī)模越大，日志量越多，我們?cè)叫枰獩Q策輔助和分析，這是毋庸置疑的。同時(shí)，決策系統(tǒng)也適用于中小企業(yè)，它能對(duì)高速發(fā)展的中小企業(yè)進(jìn)行流量分析，用戶上網(wǎng)行為分析包括關(guān)聯(lián)分析，還能預(yù)測(cè)擴(kuò)容時(shí)間，讓企業(yè)及時(shí)做準(zhǔn)備。

新華三大數(shù)據(jù)產(chǎn)品部副部長(zhǎng)鞠達(dá)勇表示，我們?cè)谙到y(tǒng)還內(nèi)置了一些通過(guò)實(shí)踐的模型算法，如果企業(yè)的數(shù)據(jù)量不多，可以先使用這些既有的模型算法，再利用企業(yè)現(xiàn)有的數(shù)據(jù)和歷史數(shù)據(jù)通過(guò)機(jī)器學(xué)習(xí)不斷修正模型算法，來(lái)使得分析更為準(zhǔn)確。

不過(guò)，新華三的這套分析系統(tǒng)主要還是專(zhuān)注2B業(yè)務(wù)，它是在現(xiàn)階段非常重要的產(chǎn)品，也是提升自身與其他硬件設(shè)備廠商之間差異化服務(wù)的產(chǎn)品。

因此，是時(shí)候給擁堵的網(wǎng)絡(luò)“交通”加一下buff了。

崔歡歡