阿里巴巴BOF現(xiàn)場
在主題為“Big Data Infrastructure at Alibaba：Challenges and Opportunities”的BOF環(huán)節(jié)，阿里集團副總裁周靖人表示：“阿里經(jīng)濟體橫跨電商、金融、物流、云計算、大數(shù)據(jù)、全球化等方方面面。2016年GMV(交易總額)突破5000億美元、在零售平臺上的年度活躍消費者達到4億多，差不多相當于中國總?cè)丝诘?/3；移動月度活躍用戶更高達5億多。如此大規(guī)模的用戶數(shù)、交易數(shù)，讓阿里擁有世界上最復(fù)雜、最豐富的計算場景、網(wǎng)絡(luò)場景、機器學習場景，也讓阿里巴巴成為世界上最大的技術(shù)練兵場?！?/p>
阿里集團副總裁周靖人<右四>和參會學者合影
周靖人認為正是基于這樣的背景，使得阿里在分布式計算、大數(shù)據(jù)處理、機器學習、圖計算、網(wǎng)絡(luò)系統(tǒng)等方面，取得了世界級的成果。希望通過SOSP，和操作系統(tǒng)領(lǐng)域的研究人員架起一座與學術(shù)界溝通的橋梁。
融合SQL和NoSQL優(yōu)勢 阿里在NewSQL上的實踐
阿里巴巴計算平臺研究員林偉在主題為“NewSQL for BigData Analyzing In Alibaba”的演講上，介紹了阿里大數(shù)據(jù)計算服務(wù)MaxCompute在NewSQL上所做的優(yōu)化和實踐工作。
“阿里推出NewSQL的目的就是要將SQL和NoSQL的優(yōu)勢結(jié)合起來”，林偉表示，從行業(yè)看，實現(xiàn)SQL和NewSQL兩者間平衡，有多個關(guān)鍵技術(shù)要做好，包括需要有強大的DAG執(zhí)行圖以突破MapReduce的束縛；需要強大的優(yōu)化器，實現(xiàn)存儲過程的支持，從單一語句到成千上萬的存儲過程，從RuleBased Opt慢慢演變成CostBased Opt；以及通過分布式實現(xiàn)眾多用戶自定義函數(shù)（UDF）擴展，進而幫助用戶生成好的Plan。
優(yōu)化器與UDF的結(jié)合效果
林偉強調(diào)，強大的優(yōu)化器，能夠處理好NoSQL引入的模糊的數(shù)據(jù)特性，并且能夠優(yōu)化更大規(guī)模的任務(wù)從而發(fā)揮全局優(yōu)化的能力，需要cost-based的優(yōu)化器能夠很好感知數(shù)據(jù)和環(huán)境的變化，從而自適應(yīng)產(chǎn)生最優(yōu)的執(zhí)行計劃，并通過完整且豐富的UDF集合，做到邏輯計劃和物理計劃完美的融合，提高整個計算引擎的表達能力和系統(tǒng)智能優(yōu)化的能力。
據(jù)了解，阿里巴巴MaxCompute采用抽象的作業(yè)處理框架，將不同場景的各種計算任務(wù)統(tǒng)一在同一個平臺之上，共享安全、存儲、數(shù)據(jù)管理和資源調(diào)度，為來自不同用戶需求的各種數(shù)據(jù)處理任務(wù)提供統(tǒng)一的編程接口和界面。提供了數(shù)據(jù)上傳下載通道，NewSQL、機器學習算法、圖編程模型、流式計算模型多種計算分析服務(wù)，并且提供了完善的安全解決方案。MaxCompute正在通過阿里云平臺，為百萬級企業(yè)級用戶提供服務(wù)。
首秀阿里新一代圖計算引擎FLASH
作為人工智能技術(shù)的有效工具之一，圖模型能夠整合多樣化的數(shù)據(jù)，幫助挖掘大數(shù)據(jù)隱含的深層信息和商業(yè)價值。圖數(shù)據(jù)分析的相關(guān)技術(shù)在阿里巴巴備受重視。
阿里巴巴計算平臺資深專家錢正平現(xiàn)場分享了阿里在圖分析方面的應(yīng)用案例，總結(jié)了圖存儲與查詢、迭代計算、模式匹配和可視化等方面的進展，同時也提到了當前面臨的挑戰(zhàn)。
分布式系統(tǒng)發(fā)展趨勢與多樣化場景的挑戰(zhàn)
“圖計算”正變得越來越重要，阿里巴巴包含搜索推薦、個性化，以及智能風控等越來越多的應(yīng)用場景，使用圖模型為異構(gòu)數(shù)據(jù)的分析提供了統(tǒng)一視圖。結(jié)合算法與可視化技術(shù)，在線服務(wù)能夠有效地捕捉數(shù)據(jù)之間的關(guān)聯(lián)、理解用戶行為和意圖。
錢正平表示，阿里巴巴已經(jīng)通過真實場景積累了很多解決方案，并正在研發(fā)新一代的圖計算引擎FLASH。相比業(yè)界和大部分開源圖計算系統(tǒng)關(guān)注相對簡單的圖遍歷查詢和計算全圖屬性（如PageRank)，F(xiàn)LASH旨在幫助用戶更好的探索、發(fā)現(xiàn)、匹配，甚至在線檢測復(fù)雜的“圖模式”。另一方面，面對海量的圖數(shù)據(jù)與多樣化的場景（如上圖所示），我們?nèi)匀恍枰嘁子谩⒏咝У拇螅▓D）數(shù)據(jù)分析工具?！鞍⒗锇桶推诖c學術(shù)界同行和領(lǐng)域?qū)＜揖o密合作，通過解決真實問題，共同探索關(guān)鍵的系統(tǒng)抽象和做出更多有影響力的創(chuàng)新”。
同時支持TCP和RDMA的軟硬件一體化網(wǎng)絡(luò)
阿里的人工智能，大數(shù)據(jù)和云業(yè)務(wù)的快速發(fā)展給網(wǎng)絡(luò)基礎(chǔ)設(shè)施提出了更高的要求，8年雙11業(yè)務(wù)規(guī)模增長上百倍，系統(tǒng)的規(guī)模和復(fù)雜性以指數(shù)級上升，上層業(yè)務(wù)比以往任何時候都更需要高帶寬和低延遲的網(wǎng)絡(luò)。
例如在數(shù)據(jù)包的處理能力上，隨著摩爾定律趨于終結(jié)，CPU性能的提升開始落后于網(wǎng)絡(luò)端口速率和帶寬增長，越來越多的CPU資源被用于網(wǎng)絡(luò)數(shù)據(jù)包的處理上，極大影響了上層業(yè)務(wù)提升性能的成本。與此同時，除了高帶寬、低延遲需求，上層業(yè)務(wù)仍然依賴網(wǎng)絡(luò)在提供復(fù)雜的安全、負載均衡和可視化等網(wǎng)絡(luò)功能的同時滿足高穩(wěn)定和高可用需求。
為應(yīng)對這些挑戰(zhàn)，阿里巴巴AIS(Alibaba Infrastructure Service)網(wǎng)絡(luò)團隊開始了軟硬件一體化的高性能網(wǎng)絡(luò)建設(shè)，在支持RDMA物理網(wǎng)絡(luò)、基于智能網(wǎng)卡硬件加速的虛擬網(wǎng)絡(luò)等領(lǐng)域沉淀了諸多技術(shù)。
阿里巴巴軟硬件一體化的高性能網(wǎng)絡(luò)
阿里巴巴基礎(chǔ)設(shè)施高級專家劉永鋒介紹，阿里是國內(nèi)首家大規(guī)模支持RDMA的互聯(lián)網(wǎng)公司，網(wǎng)絡(luò)架構(gòu)同時支持TCP和RDMA，端到端的保證基于TCP和RDMA不同業(yè)務(wù)的高帶寬和低延遲。在保證性能的同時，阿里RDMA網(wǎng)絡(luò)架構(gòu)能夠做到兼容多家廠商的硬件，自動化的監(jiān)控和隔離線上網(wǎng)絡(luò)故障。在網(wǎng)絡(luò)虛擬化方面，阿里經(jīng)過了兩代智能網(wǎng)卡的演進，從基于可編程NPU的vSwitch full offload到基于ASIC硬加速的快慢分離架構(gòu)，在滿足高性能、低成本的同時，通過軟件定義的方式給大數(shù)據(jù)業(yè)務(wù)提供了滿足業(yè)務(wù)靈活調(diào)度的虛擬網(wǎng)絡(luò)方案。
此次的SOSP會議上，阿里除了在BOF環(huán)節(jié)向參會者介紹阿里的部分重點技術(shù)外，來自系統(tǒng)軟件事業(yè)部的高級專家秦承剛在展區(qū)為更多參會者介紹了阿里的系統(tǒng)軟件內(nèi)容。
清華大學陳渝<左一>、陸游游<右一>老師與阿里工程師合影
據(jù)秦承剛介紹，系統(tǒng)軟件是運行在阿里集團所有機器上的基礎(chǔ)軟件，對阿里巴巴業(yè)務(wù)的運行效率起到了非常關(guān)鍵的作用。此次重點展示的技術(shù)包括基于阿里場景的定制版Linux內(nèi)核–AliKernel，它實現(xiàn)了進程間的資源隔離，面向容器場景的優(yōu)化等技術(shù)。Alikernel的代碼會回饋到社區(qū)，擁抱開源；基于OpenJDK定制的增強版JDK–AJDK，有效提升了阿里巴巴Java應(yīng)用的性能、吞吐能力和問題解決的速度；以及資源調(diào)度系統(tǒng)Sigma、阿里自研的開源容器Pouch等。
在阿里展區(qū)不斷有知名高校學者前來交流，清華大學陳渝和陸游游老師與阿里工程師交流時表示：“我們更多的是看到阿里在商業(yè)上取得的成績，沒想到阿里在眾多工程技術(shù)領(lǐng)域也取得了好成績，這些創(chuàng)新工作在工程實踐上很有價值”。
一直以來，阿里巴巴都注重與學術(shù)界的合作，不僅推出首個全球性科研項目“AIR計劃”，更與全球知名高校和科研機構(gòu)成立研究中心，包括中國科學院-阿里巴巴量子計算實驗室、UC Berkeley RISE 實驗室、阿里巴巴-浙江大學前沿技術(shù)聯(lián)合研究中心，以及與浙江省政府、浙江大學共建的之江實驗室，強烈地向外界傳遞出阿里巴巴搭建“取自全球、用至全球”的全球化技術(shù)創(chuàng)新生態(tài)體系理念。
