1.開(kāi)源數(shù)據(jù)湖框架 StarLake

作為一種中心數(shù)據(jù)儲(chǔ)存的容器，數(shù)據(jù)湖具有高效、快速的特性，但伴隨著的是相當(dāng)高的復(fù)雜度和高昂的計(jì)算成本。

為了讓客戶更好地用上這種數(shù)據(jù)儲(chǔ)存分析方式，Mobvista 自研并開(kāi)源了數(shù)據(jù)湖框架 StarLake，實(shí)現(xiàn)了大規(guī)模數(shù)據(jù)的實(shí)時(shí)攝入和更新。

通過(guò)行列 upsert 功能、高并發(fā)入湖、元數(shù)據(jù)管理強(qiáng)拓展性、對(duì)象儲(chǔ)存 IO 性能深度優(yōu)化等特性，StarLake 數(shù)據(jù)湖框架能夠高效構(gòu)建湖倉(cāng)一體化分析平臺(tái)，相比開(kāi)源同類(lèi)數(shù)據(jù)湖框架具有顯著優(yōu)勢(shì)。

（圖片：StarLake vs. Iceberg 對(duì)比測(cè)試）

同時(shí)，整合了云原生計(jì)算平臺(tái) Spark on K8s 的 EnginePlus 2.0 能提供極速資源伸縮，實(shí)現(xiàn)資源高效利用，滿足企業(yè)超大規(guī)模數(shù)據(jù)請(qǐng)求與高效彈性的需求。

2.開(kāi)源機(jī)器學(xué)習(xí)框架 MindAlpha

除了數(shù)據(jù)湖，對(duì)數(shù)據(jù)進(jìn)行人工智能建模是挖掘數(shù)據(jù)背后價(jià)值的重要途徑，通過(guò)對(duì)數(shù)據(jù)進(jìn)行算法建模，賦能業(yè)務(wù)，產(chǎn)生價(jià)值。

Mobvista 自研開(kāi)源機(jī)器學(xué)習(xí)框架 MindAlpha，輕松處理大規(guī)模離散特征，與 EnginePlus 2.0 之上的 Spark、StarLake 無(wú)縫結(jié)合，提供從數(shù)據(jù)到智能的一體化、一站式的高效體驗(yàn)。

MindAlpha 的開(kāi)源 Parameter Server SDK 支持千億級(jí)大規(guī)模稀疏離散特征，與PyTorch、Spark MLLib 無(wú)縫銜接，特征處理與模型推理邏輯和參數(shù)能全自動(dòng)導(dǎo)出至線上 Serving 服務(wù)。其實(shí)時(shí)特征達(dá)到毫秒級(jí)延遲水平，真正做到實(shí)時(shí)反饋，快速捕捉用戶行為。同時(shí)，其高性能在線 Serving 能進(jìn)行模型橫向切分，支持萬(wàn)億參數(shù)，具有低延遲、自動(dòng)彈性伸縮的特性，能進(jìn)行CPU、GPU 異構(gòu)混布調(diào)度和負(fù)載均衡。

（圖片：MindAlpha 架構(gòu)）

3.基于 SpotMax 的云原生架構(gòu)

便捷地利用網(wǎng)絡(luò)資源，實(shí)現(xiàn)管理、業(yè)務(wù)等方面的數(shù)據(jù)化轉(zhuǎn)型，企業(yè)上云需求正在爆發(fā)。云原生架構(gòu)也因具備高性能、高可擴(kuò)展、一致性、符合標(biāo)準(zhǔn)、容錯(cuò)、易于管理和多云支持等特性，受到企業(yè)的青睞。

EnginePlus 2.0 基于 SpotMax 實(shí)現(xiàn)云原生架構(gòu)。SpotMax 云原生體系包括云資源調(diào)度優(yōu)化、容器+服務(wù)網(wǎng)格融合、多云及混合云統(tǒng)一管理、無(wú)服務(wù)平臺(tái)等特性。通過(guò) SpotMax 構(gòu)建的云原生基礎(chǔ)設(shè)施，EnginePlus 2.0 支持一鍵快速部署，大幅度降低運(yùn)維成本。在計(jì)算存儲(chǔ)分離下，EnginePlus 2.0 能針對(duì)對(duì)象存儲(chǔ)系統(tǒng)專門(mén)優(yōu)化。同時(shí)，其所有組件均可彈性伸縮，有效加速企業(yè)效率，降低構(gòu)建系統(tǒng)成本。

源于 Mobvista技術(shù)中臺(tái)戰(zhàn)略

在 EnginePlus 2.0 一站式云原生大數(shù)據(jù)AI平臺(tái)的背后，是整個(gè) Mobvista 技術(shù)中臺(tái)。打破業(yè)務(wù)邊界，Mobvista 技術(shù)中臺(tái)通過(guò)聚合協(xié)同作用對(duì)外賦能。

2017年，Mobvista 啟動(dòng)中臺(tái)戰(zhàn)略，自主研發(fā)以 AI+Big Data 為核心的技術(shù)中臺(tái)架構(gòu)。此時(shí)正值 Mobvista 旗下移動(dòng)程序化廣告平臺(tái) Mintegral、數(shù)據(jù)分析平臺(tái) GameAnalytics 的快速發(fā)展，以及集團(tuán)提出國(guó)際化戰(zhàn)略，進(jìn)一步拓展全球業(yè)務(wù)。

2018年，多個(gè)技術(shù)中臺(tái)產(chǎn)品成功研發(fā)并成功賦能業(yè)務(wù)，包括數(shù)據(jù)中臺(tái) Datatory、大數(shù)據(jù)計(jì)算平臺(tái) EnginePlus、大規(guī)模機(jī)器學(xué)習(xí)中臺(tái) MindAlpha 以及基于云原生架構(gòu)開(kāi)發(fā)出的彈性集群管理平臺(tái) SpotMax。Mobvista 將技術(shù)中臺(tái)產(chǎn)品化，對(duì)外發(fā)布，旨在以智能技術(shù)驅(qū)動(dòng)增長(zhǎng)。

從自研走向商業(yè)化，Mobvista 技術(shù)中臺(tái)——這個(gè)為全公司各業(yè)務(wù)提供解決方案的團(tuán)隊(duì)，正在邁出對(duì)外賦能的更多步。無(wú)論是 Datatory、EnginePlus、MindAlpha 還是已經(jīng)成為集團(tuán)二級(jí)品牌的 SpotMax，這些產(chǎn)品均來(lái)自于 Mobvista 的大規(guī)模業(yè)務(wù)實(shí)踐。在深度融合業(yè)務(wù)需求場(chǎng)景的同時(shí)，Mobvista 技術(shù)中臺(tái)從中沉淀出平臺(tái)能力，不斷復(fù)用，使之產(chǎn)品化、商業(yè)化，對(duì)外創(chuàng)造價(jià)值。

而這與 Mobvista 所提出的「SaaS 工具生態(tài)」戰(zhàn)略相一致?；ヂ?lián)網(wǎng)的「技術(shù)溢出效應(yīng)」正在加速數(shù)字化轉(zhuǎn)型，Mobvista 正在由技術(shù)創(chuàng)新者變?yōu)榧夹g(shù)輸出者。

市場(chǎng)需求在爆發(fā)，數(shù)據(jù)技術(shù)在更迭。對(duì)于任何想要加速數(shù)字化轉(zhuǎn)型的企業(yè)來(lái)說(shuō)，EnginePlus 2.0 都能通過(guò)一體化的產(chǎn)品解決方案，助力企業(yè)的數(shù)字化進(jìn)程并實(shí)際有效地推動(dòng)企業(yè)的業(yè)務(wù)發(fā)展。

從互聯(lián)網(wǎng)廣告、電商行業(yè)到金融風(fēng)控，EnginePlus 2.0 已成功賦能數(shù)家國(guó)內(nèi)企業(yè)、海外企業(yè)的業(yè)務(wù)發(fā)展。

以 Mobvista 旗下程序化互動(dòng)式廣告平臺(tái) Mintegral 為例，其日均數(shù)據(jù)量已達(dá) PB 級(jí)，需調(diào)度數(shù)萬(wàn) CPU 核心。在使用 EnginePlus 2.0 后，Mintegral 能實(shí)時(shí)處理用戶行為特征，進(jìn)行毫秒級(jí)反饋。在每天千億次 DNN 模型預(yù)測(cè)請(qǐng)求下，滿足萬(wàn)億級(jí)排序量的排序業(yè)務(wù)服務(wù)，有效奠定了 Mintegral 在全球的領(lǐng)先地位。此外，在 EnginePlus 2.0 賦能下，某互聯(lián)網(wǎng)出海金融公司的業(yè)務(wù)表現(xiàn)指標(biāo)迅速提升20%+。

“EnginePlus 2.0 融合了豐富行業(yè)套件、開(kāi)源代碼、數(shù)據(jù)算法模型，能幫助開(kāi)發(fā)者在數(shù)據(jù)分析、技術(shù)開(kāi)發(fā)、業(yè)務(wù)發(fā)展提供可靠精準(zhǔn)的分析應(yīng)用能力。讓客戶能站在眾人肩膀上，快速建立起從數(shù)據(jù)攝入、分析到 AI 模型離線訓(xùn)練、在線預(yù)測(cè)的一體化能力?！盡obvista 集團(tuán)副總裁朱亞?wèn)|博士表示。

“當(dāng)然，在經(jīng)歷業(yè)務(wù)的大規(guī)模實(shí)踐和可行性驗(yàn)證下，我們積累了更多經(jīng)驗(yàn)和專業(yè)知識(shí)，為客戶提供部署服務(wù)，幫助他們用最低的技術(shù)門(mén)檻、最低的成本、更小的風(fēng)險(xiǎn)實(shí)現(xiàn)數(shù)字化轉(zhuǎn)型、智能化升級(jí)。我們希望成為中國(guó)版AI加持的Databricks，跨越數(shù)據(jù)爆發(fā)式增長(zhǎng)到智能處理之間的鴻溝，構(gòu)建新一代的基建體系?！?/p>

數(shù)字化轉(zhuǎn)型發(fā)展前景廣闊。結(jié)合多年技術(shù)經(jīng)驗(yàn)與行業(yè)積累，Mobvista 正在為更多企業(yè)組織打造 SaaS工具生態(tài)，以技術(shù)產(chǎn)品、實(shí)踐經(jīng)驗(yàn)賦能行業(yè)的智能化升級(jí)。

zhangnn