伴隨新零售、新金融、新娛樂(lè)等新業(yè)務(wù)類型的崛起，大數(shù)據(jù)的巨大能量滲透到互聯(lián)網(wǎng)生活的方方面面，以大數(shù)據(jù)為基石的移動(dòng)應(yīng)用正在改變世界。如何在技術(shù)層面實(shí)現(xiàn)“漏斗”升級(jí)，并充分釋放大數(shù)據(jù)的豐沛能量，是當(dāng)前數(shù)據(jù)應(yīng)用領(lǐng)域的重要議題。

進(jìn)入互聯(lián)網(wǎng)下半場(chǎng)，移動(dòng)應(yīng)用的主戰(zhàn)場(chǎng)從增量用戶搶奪轉(zhuǎn)向存量用戶運(yùn)營(yíng)。提高用戶留存率和活躍度成為產(chǎn)品運(yùn)營(yíng)的核心。用戶使用某一移動(dòng)應(yīng)用時(shí)，通過(guò)路徑去實(shí)現(xiàn)目的。如用戶網(wǎng)購(gòu)行為，可視為“瀏覽商品→加入購(gòu)物車→生成訂單→支付訂單→完成支付”路徑。路徑中每一個(gè)節(jié)點(diǎn)都存在不同程度的用戶流失，層層遞減后整體形成漏斗形的模型。目前公認(rèn)的計(jì)算關(guān)鍵路徑方法有兩種：無(wú)序漏斗和有序漏斗。

在無(wú)序漏斗中，前后事件的發(fā)生可任意排序，比如用戶在頁(yè)面間隨意切換和返回主頁(yè)操作，不受步驟間的邏輯順序約束。而有序漏斗的每個(gè)步驟之間有嚴(yán)格的順序限制，第二步的事件必須發(fā)生在第一步之后。如支付過(guò)程中，需要先選擇購(gòu)買之物，才能進(jìn)入相應(yīng)的付款操作。有序漏斗廣泛存在于購(gòu)物支付、信息注冊(cè)等邏輯層級(jí)要求嚴(yán)格的路徑行為中。相較用戶路徑重合率極低的無(wú)序漏斗，有序漏斗的數(shù)據(jù)研究更有價(jià)值。

“漏斗”模型的計(jì)算核心是分解和量化。面對(duì)海量龐雜的用戶數(shù)據(jù)，?“有序漏斗”由于有邏輯上的約束條件，在計(jì)算過(guò)程中面臨的挑戰(zhàn)更為艱巨。批量處理海量數(shù)據(jù)的同時(shí)，難以保證實(shí)時(shí)處理復(fù)雜數(shù)據(jù)的效率?！奥┒贰鄙?jí)的技術(shù)難點(diǎn)落在計(jì)算速度上。

一些互聯(lián)網(wǎng)公司投身到大數(shù)據(jù)分析工具的研發(fā)當(dāng)中，希望從技術(shù)層面實(shí)現(xiàn)“有序漏斗”計(jì)算效率的突破，然而鮮有關(guān)鍵性成果面世。究其原因，一是難以找到具有相當(dāng)量級(jí)的數(shù)據(jù)作為測(cè)試對(duì)象，二是缺乏強(qiáng)有力的技術(shù)支撐。

針對(duì)“有序漏斗”計(jì)算效率的技術(shù)瓶頸，“2017易觀OLAP算法大賽”將對(duì)此進(jìn)行聯(lián)合攻堅(jiān)。作為已經(jīng)擁有易觀萬(wàn)像和易觀千帆等成熟數(shù)據(jù)產(chǎn)品的行業(yè)領(lǐng)導(dǎo)者，易觀此次對(duì)大眾公開(kāi)需求，向數(shù)據(jù)高手廣發(fā)英雄帖，招募算法高手共同突破“有序漏斗”的技術(shù)難題。

從主辦方獲悉，本次易觀OLAP算法大賽的參賽規(guī)則為：參賽者根據(jù)主辦方提供的應(yīng)用轉(zhuǎn)化和OLAP場(chǎng)景，先利用測(cè)試數(shù)據(jù)集在指定測(cè)試集群上運(yùn)行給出測(cè)試結(jié)果，最終用實(shí)際測(cè)試數(shù)據(jù)在測(cè)試集群上跑整體數(shù)據(jù)并給出用時(shí)排名。

在技術(shù)層面，大賽選拔使用的OLAP漏斗場(chǎng)景，要求滿足海量數(shù)據(jù)實(shí)時(shí)多維度有序分析模型。在數(shù)據(jù)處理上，可以通過(guò)數(shù)據(jù)切片和預(yù)處理，列存儲(chǔ)、壓縮及字典以及索引等的綜合使用，在細(xì)節(jié)方面可以結(jié)合一些巧妙的推理，減少計(jì)算量及復(fù)雜度，實(shí)現(xiàn)針對(duì)特定維度數(shù)據(jù)的精準(zhǔn)觀察。還可以通過(guò)下鉆等操作，提高數(shù)據(jù)粒度細(xì)化程度，得到層次更豐富的數(shù)據(jù)細(xì)節(jié)，讓數(shù)據(jù)分析做到有效率、有深度、有價(jià)值。

在數(shù)據(jù)層面，截止2017年第三季度，目前易觀每日處理數(shù)據(jù)261億條，累計(jì)覆蓋來(lái)自297個(gè)領(lǐng)域的21.9億個(gè)智能終端，監(jiān)測(cè)超過(guò)251萬(wàn)款移動(dòng)應(yīng)用，數(shù)據(jù)存儲(chǔ)容量達(dá)5.8PB。本次大賽依托于易觀億級(jí)海量數(shù)據(jù)庫(kù)，使比賽成果更具可信度和現(xiàn)實(shí)指導(dǎo)意義。

本次大賽云計(jì)算服務(wù)由UCloud提供，目前大賽已正式進(jìn)入競(jìng)賽環(huán)節(jié)，近40個(gè)團(tuán)隊(duì)和個(gè)人將分別參加商業(yè)組和開(kāi)源組的比賽。商業(yè)組吸引了包括咪咕音樂(lè)、北京樂(lè)見(jiàn)科技、南京帆軟軟件、杭州玳數(shù)科技、北京潤(rùn)乾信息、Kyligence、AggreData、Gbase等企業(yè)的技術(shù)強(qiáng)隊(duì)。開(kāi)源組有來(lái)自小米、美團(tuán)、熱云數(shù)據(jù)、原速數(shù)據(jù)、LinkDoc、hulu、樂(lè)享天下、牛辦科技、上海睿民以及北京交通大學(xué)的數(shù)據(jù)高手參加。

10月27日，易觀A10大數(shù)據(jù)應(yīng)用峰會(huì)將在北京盛大開(kāi)幕，屆時(shí)，將決出本次OLAP算法大賽的優(yōu)勝隊(duì)伍，大賽的優(yōu)秀案例還將在峰會(huì)展示。頂尖數(shù)據(jù)大咖指導(dǎo)，國(guó)內(nèi)高手聯(lián)合攻堅(jiān)，“有序漏斗”計(jì)算效率難題或?qū)⒂瓉?lái)重大突破。

songjy