Horovod流行的背后是AI算力需求的急劇增加
Horovod實質(zhì)上是Uber開發(fā)并開源的一套先進的分布式系統(tǒng)，它并不依賴于某個框架，而是采用目前業(yè)界廣泛認可的基于環(huán)形All-reduce通信的同步SGD算法，通過計算與通信異步、梯度合并、梯度壓縮等設(shè)備間通信優(yōu)化手段，完成allreduce、allgather等集體操作通信工作。這一特性使得Horovod可以非常方便地與主流深度學(xué)習(xí)框架TensorFlow、PyTorch、 MXNet等進行匹配，在大規(guī)模GPU集群上的訓(xùn)練性能遠高于原生框架的訓(xùn)練性能，提供非常高效的分布式訓(xùn)練性能加速。Horovod的另一大優(yōu)點在于其提供的接口極為簡單，用戶只需修改幾行代碼，就可實現(xiàn)顯著的訓(xùn)練性能提升。
Horovod之所以受到越來越多AI開發(fā)者與研究機構(gòu)的青睞，其背后的原因在于越來越多的機器學(xué)習(xí)模型對數(shù)據(jù)和計算能力需求急劇增加。在大部分情況下，AI模型可以在單個或多GPU平臺的服務(wù)器上運行，但隨著數(shù)據(jù)集的增大和訓(xùn)練時間的增長，有時訓(xùn)練需要一周甚至更長時間。因此，AI開發(fā)者們不得不尋求分布式訓(xùn)練方法來縮短模型訓(xùn)練的時間。
Uber分享Horovod的“獨家秘笈”
Uber目前已經(jīng)將深度學(xué)習(xí)應(yīng)用到了很多公司業(yè)務(wù)中，從自動駕駛搜索路線到防御欺詐等。Uber深度學(xué)習(xí)平臺經(jīng)理寧旭認為，訓(xùn)練現(xiàn)代復(fù)雜的深度學(xué)習(xí)模型需要大量的計算。將計算擴展到多個GPU面臨兩大挑戰(zhàn)：低成本、高效的GPU間通信庫，以及用戶代碼可能會出現(xiàn)較大的更改。而Horovod成功地解決了這兩大難題。
在AICC2019上，寧旭將帶來《利用Horovod進行分布式深度學(xué)習(xí)》的主題演講，不僅將現(xiàn)場分享如何通過Horovod在TensorFlow、Keras、PyTorch和MXNet中實現(xiàn)更快、更輕松的分布式訓(xùn)練，講解Horovod的操作方法，同時也將披露Uber最近在橡樹嶺國家實驗室進行的一項案例研究，講述Horovod在世界上最快的超級計算機上實現(xiàn)百億億級計算。
寧旭曾帶領(lǐng)Uber大數(shù)據(jù)和基礎(chǔ)設(shè)施領(lǐng)域的團隊負責一些開源項目，在機器學(xué)習(xí)、深度學(xué)習(xí)、大數(shù)據(jù)和大規(guī)模計算、網(wǎng)絡(luò)、存儲問題方面有豐富的經(jīng)驗。在加入Uber之前，寧旭曾在Facebook、Akamai和Microsoft以及幾家初創(chuàng)公司工作。
AICC2019精彩紛呈
本屆AICC 2019可謂精彩紛呈，核心板塊為主論壇與自動駕駛、產(chǎn)業(yè)AI創(chuàng)新、AI計算與基準測試、AI+視覺計算、AI+創(chuàng)投五大主題論壇，其中主論壇嘉賓云集了來自中國工程院、英國皇家工程院、百度、中國新一代人工智能發(fā)展戰(zhàn)略研究院、浪潮、Facebook等機構(gòu)的AI產(chǎn)學(xué)研頂尖專家學(xué)者，共聚一堂解讀AI產(chǎn)業(yè)趨勢，分享前沿AI計算技術(shù)。大會同期舉行的AI千人訓(xùn)練營將邀請百度、平安科技、浪潮的資深A(yù)I工程師講解最新AI計算技術(shù)與應(yīng)用，幫助學(xué)員從零入門AI。
AICC 2019主論壇嘉賓陣容
與此同時，AICC2019大會期間還將重磅發(fā)布《2019-2020中國AI計算力發(fā)展報告》，公布中國AI計算力城市榜單與熱力分布等重要研究成果，為AI投資、創(chuàng)業(yè)與就業(yè)提供科學(xué)指導(dǎo)。
AICC大會由中國工程院信息與電子工程學(xué)部主辦，浪潮集團承辦，旨在圍繞人工智能的產(chǎn)業(yè)需求研討AI計算，促進AI技術(shù)創(chuàng)新、合作發(fā)展與人才培養(yǎng)。目前，AICC大會已成為AI計算領(lǐng)域最具分量的前沿技術(shù)交流平臺，每年都會吸引數(shù)千名AI產(chǎn)業(yè)與技術(shù)領(lǐng)袖、頂級AI專家和AI開發(fā)者等參與。
