容器技術(shù)以層層隔離的方式進(jìn)行分離。以下圖的軟件棧為例，最底層為基礎(chǔ)環(huán)境，中間層為計(jì)算庫，例如CPU或GPU，然后在此基礎(chǔ)上累加不同的AI框架，增加AI算法和代碼的實(shí)現(xiàn)。

· 封裝。運(yùn)行環(huán)境完全隔離，不同任務(wù)之間不會(huì)產(chǎn)生軟件沖突。

· 預(yù)裝?；A(chǔ)鏡像內(nèi)置各類基礎(chǔ)軟件環(huán)境，減少使用者環(huán)境準(zhǔn)備開銷。

· 自由?？梢宰杂砂惭b各類軟件包，封裝各類算法。

· 可重用。算法的容器鏡像可以重復(fù)使用。

· 兼容性。GPU容器鏡像可以在任意類型GPU節(jié)點(diǎn)運(yùn)行。 CPU容器鏡像可以在任意類型CPU節(jié)點(diǎn)運(yùn)行。

數(shù)據(jù)接入技術(shù)則需提供本地存儲(chǔ)和NFS兩種接口，使得上層的計(jì)算節(jié)點(diǎn)訪問各類的數(shù)據(jù)層，通過數(shù)據(jù)接入層做接口轉(zhuǎn)移、帶寬控制甚至權(quán)限控制等功能。

· 封裝。計(jì)算節(jié)點(diǎn)邏輯不需要支持各種存儲(chǔ)接口，僅需要通過2-3種(例如本地存儲(chǔ)、NFS)接口就可以對接各類存儲(chǔ)類型。

· 靈活。通過拓展數(shù)據(jù)接入層可接入的存儲(chǔ)類型，也就可以拓展AI平臺(tái)的數(shù)據(jù)接入類型。

· 穩(wěn)定。數(shù)據(jù)接入層可以做數(shù)據(jù)流量控制，確保各個(gè)任務(wù)的SLA，同時(shí)對后端的數(shù)據(jù)存儲(chǔ)系統(tǒng)進(jìn)行帶寬、流量保護(hù)。

· 安全。數(shù)據(jù)訪問權(quán)限控制，確保數(shù)據(jù)安全性。

分布式化

進(jìn)行軟件分離后，就可以考慮搭建一個(gè)訓(xùn)練平臺(tái)，包括任務(wù)調(diào)度、資源管理、容災(zāi)容錯(cuò)的能力。

同時(shí)，也可以搭建一個(gè)在線推理平臺(tái)，通過此平臺(tái)快速的部署自己分布式的在線任務(wù)。

可拓展性

當(dāng)平臺(tái)搭建完成后，就很容易做橫向拓展和縱向拓展。比如縱向拓展，可以通過平臺(tái)的管理系統(tǒng)管理CPU集群、GPU集群，并可快速的增加自己的資源池。

在搭建完成的平臺(tái)上可以統(tǒng)一的管理CPU、GPU還有存儲(chǔ)的集群，在不同的業(yè)務(wù)組或者不同的公司之間共享這些資源，使得資源的使用率變得更高。

公有云在AI落地環(huán)境扮演的角色

作為國內(nèi)最早成立的一批公有云創(chuàng)業(yè)公司，AI的發(fā)展對于UCloud可以說是大勢所趨，也是水到渠成。那么，公有云在AI落地環(huán)境重扮演什么樣的角色呢?

總體來說，利用公有云來做AI落地，首先享受到的是IaaS的服務(wù)

· 資源。充足的計(jì)算資源、存儲(chǔ)資源、網(wǎng)絡(luò)資源

降低AI研發(fā)過程資源采購、維護(hù)的成本

· 基礎(chǔ)環(huán)境。提供虛擬機(jī)鏡像、容器鏡像等服務(wù)。

降低AI研發(fā)、應(yīng)用過程中AI環(huán)境部署的難度。

· 基礎(chǔ)服務(wù)。提供諸如負(fù)載均衡(ULB)、分布式存儲(chǔ)等基礎(chǔ)服務(wù)。

降低AI應(yīng)用產(chǎn)品化過程的研發(fā)成本。

其次還可以享受以用公有云的PaaS服務(wù)：

· 環(huán)境封裝。提供預(yù)置AI基礎(chǔ)環(huán)境，包括NV GPU驅(qū)動(dòng)、Cuda、TensorFlow/MXNet等框架，用戶無需進(jìn)行復(fù)雜的環(huán)境安裝、配置工作;

· 分布式。提供AI訓(xùn)練平臺(tái)和AI在線服務(wù)平臺(tái)，提供一站式AI， 用戶無需自行搭建復(fù)雜的AI平臺(tái);

· 橫向拓展。提供充足CPU/GPU資源，可自由橫向拓展，用戶無需擔(dān)心資源問題;

· 縱向拓展。通過多種計(jì)算、存儲(chǔ)網(wǎng)絡(luò)資源類型，用戶可自由選擇合適組合;

· 計(jì)費(fèi)靈活?；诿爰?jí)分鐘級(jí)的計(jì)費(fèi)規(guī)則，按需收費(fèi)， 用戶無需擔(dān)心資源浪費(fèi)。

嵌入式設(shè)備上的實(shí)時(shí)深度學(xué)習(xí)方法實(shí)踐

除了軟件技術(shù)，人工智能的落地應(yīng)用，也必然離不開硬件設(shè)備的支持。馭勢科技的人工智能技術(shù)負(fù)責(zé)人潘爭，現(xiàn)場講解了嵌入式設(shè)備上的實(shí)時(shí)深度學(xué)習(xí)方法實(shí)踐，包括視覺識(shí)別在自動(dòng)駕駛中的需求和挑戰(zhàn)以及效率精度平衡的卷積網(wǎng)絡(luò)。

視覺感知特點(diǎn)

隨著汽車自動(dòng)駕駛技術(shù)的發(fā)展，車載光學(xué)系統(tǒng)和車載雷達(dá)系統(tǒng)在保證行車安全上顯得尤為重要。

當(dāng)前，提到自動(dòng)駕駛汽車環(huán)境感知技術(shù)，很多人會(huì)首先想到激光雷達(dá)。的確，相較于攝像頭、毫米波雷達(dá)等車載傳感器，激光雷達(dá)具有高精度、高分辨率的優(yōu)勢，但受制于價(jià)格高昂的因素尚未普及開來。因此，在已有激光雷達(dá)方案之余，如何找到一種成本更低的環(huán)境感知解決辦法成了很多企業(yè)關(guān)心的問題。針對這個(gè)難題，視覺感知應(yīng)運(yùn)而生。

視覺感知包含以下的特點(diǎn)：

一，信息更豐富。以激光雷達(dá)為主的傳感器，主要做一些云的感知和深度的感知，但是物體的顏色、紋理它是無法感知的。比如前方有一個(gè)障礙物，激光雷達(dá)傳感器無法判斷到底是一輛車還是一個(gè)人，只是知道一個(gè)形狀信息，并不知道一些紋理的信息。但是通過視覺感知，就可知道它具體的顏色屬性及具體的紋理表現(xiàn)，潛在的得到更多的信息，輔助決策和控制。

二，視野更寬闊。激光雷達(dá)的上下視野為30度到60度，而且最多只有64個(gè)像素的感知?？梢韵胂?，如果一個(gè)圖片上下只有64個(gè)象素，這張圖片則是非常模糊的。但是通過攝像頭來感知周圍的環(huán)境，上下則有720個(gè)像素感知周圍的世界，能夠幫助你捕捉更多的信息。

三，基建更配合。道路設(shè)計(jì)、障礙物、各種各樣的信號(hào)燈、交通標(biāo)志其實(shí)都是為了視覺信息而設(shè)計(jì)傳達(dá)的。

四，硬件更便宜。激光雷達(dá)是一個(gè)非常昂貴的設(shè)備，相對于一個(gè)攝像頭，它的成本是幾十倍，甚至上百倍的價(jià)格，少則幾萬塊，動(dòng)輒幾十萬。而視覺感知?jiǎng)t可擁有民用級(jí)、夠?qū)嵱玫漠a(chǎn)品需求。

效率精度平衡的卷積網(wǎng)絡(luò)

基于視覺感知的特點(diǎn)，馭勢科技非常重視視覺識(shí)別算法的開發(fā)，希望用嵌入式的GPU平臺(tái)去完成所有視覺感知所需要的計(jì)算。這就需要做很多網(wǎng)絡(luò)壓縮優(yōu)化的工作，使效率和精度能夠取得一個(gè)比較平衡的網(wǎng)絡(luò)選擇。

比較近幾年比較有名的網(wǎng)絡(luò)會(huì)發(fā)現(xiàn)，若想提高大概10%的正確率，就要付出大幾十倍的計(jì)算量，那么必須使用精度最高的網(wǎng)絡(luò)才能達(dá)到自動(dòng)駕駛的精度需求么?

潘爭介紹了兩個(gè)速度較快的網(wǎng)絡(luò)，第一個(gè)為PVANet，如下圖所示：

基于云計(jì)算構(gòu)建機(jī)器學(xué)習(xí)系統(tǒng)的實(shí)踐

云計(jì)算的發(fā)展加快機(jī)器學(xué)習(xí)的落地，機(jī)器學(xué)習(xí)除了對云計(jì)算有算力的需求之外，如何基于云計(jì)算構(gòu)建一個(gè)可靠的機(jī)器學(xué)習(xí)系統(tǒng)是每個(gè)企業(yè)都需要考慮的。UCloud高級(jí)研發(fā)總監(jiān)葉理燈，以在線推測系統(tǒng)為例，展示一套機(jī)器學(xué)習(xí)平臺(tái)的設(shè)計(jì)及實(shí)現(xiàn)方案，包括資源的管理，架構(gòu)設(shè)計(jì)及實(shí)現(xiàn)。

Serverless產(chǎn)品及架構(gòu)

Serverless指的是由開發(fā)者實(shí)現(xiàn)的服務(wù)端邏輯運(yùn)行在無狀態(tài)的計(jì)算容器中，它由事件觸發(fā)， 完全被第三方管理，其業(yè)務(wù)層面的狀態(tài)則被開發(fā)者使用的數(shù)據(jù)庫和存儲(chǔ)資源所記錄。

如下圖所示：

在Serverless架構(gòu)中，軟件開發(fā)者和運(yùn)維工程師們不再需要關(guān)心服務(wù)器的部署、架設(shè)、伸縮，這些問題交給云平臺(tái)商來解決，程序員們得以將精力投入用代碼來實(shí)現(xiàn)業(yè)務(wù)邏輯中，而不是管理服務(wù)器。Serverless并不意味著不再需要服務(wù)器了，只是服務(wù)器資源的申請、使用、調(diào)度、伸縮由云服務(wù)商自動(dòng)實(shí)現(xiàn)，應(yīng)用開發(fā)者無需關(guān)心。

構(gòu)建在線推測系統(tǒng)

基于Serverless 不用管理，可彈性擴(kuò)用、高可用和按需付費(fèi)的四個(gè)方面的特性，可以構(gòu)建一個(gè)公司AI的系統(tǒng)，主要分為三步：

第一步，建設(shè)一個(gè)底層的計(jì)算平臺(tái)。

第二步，上層APP管理，方便用戶去管理模型。

第三步，提供SDK。方便用戶在不同的框架上使用系統(tǒng)。

那么怎么構(gòu)建一個(gè)滿足Serverless的計(jì)算平臺(tái)呢，首先需要考慮兩個(gè)問題。

第一，希望用戶使用這個(gè)計(jì)算平臺(tái)時(shí)，是不用運(yùn)維這個(gè)計(jì)算平臺(tái)的。

第二，希望用戶使用這個(gè)計(jì)算平臺(tái)的時(shí)候，是按照實(shí)際消耗的計(jì)算資源來計(jì)費(fèi)的，而不是按照配置來計(jì)費(fèi)。

下圖是一個(gè)簡單的PUC的示意圖：

下圖為中央平臺(tái)的詳細(xì)架構(gòu)：

搭建這個(gè)系統(tǒng)之后，需要在計(jì)算平臺(tái)上面加APP Engine層，利用這層，可以去創(chuàng)建一個(gè)APP，這個(gè)APP對應(yīng)的算法就是你的docker鏡像，可以通過它來管理，也可以切換不同的版本的訪問。

強(qiáng)AI時(shí)代，人們對活躍于各行各業(yè)的智能客服的期待也越來越高。第四范式智能客服負(fù)責(zé)人邢少敏介紹第四范式人工智能技術(shù)在客服領(lǐng)域的應(yīng)用實(shí)踐，包括分享智能客服工作原理，使用的相關(guān)自然語言處理、機(jī)器學(xué)習(xí)、深度學(xué)習(xí)等技術(shù)以及研發(fā)智能客服的技術(shù)難點(diǎn)。

智能客服工作原理

為什么要有客服呢?為什么要有智能客服呢?相信大家都會(huì)有了解。在很多行業(yè)里面，其實(shí)都有一個(gè)客服問題，無論是授權(quán)的咨詢還是售后的服務(wù)等等，大量的問題都具有重復(fù)性，這些重復(fù)性的問題則會(huì)浪費(fèi)大量人的成本。而大量有價(jià)值的數(shù)據(jù)例如聊天記錄、歷史記錄是閑置的，沒有被利用起來。所以這種情況下就有了智能客服。

智能客服比較典型的常見功能，總結(jié)一下為三類：

第一類，單輪問答。

第二類，多輪對話。

第三類，人機(jī)協(xié)作。

而智能客服的工作原理，基本上各家智能客服廠商的做法都大同小異，都是類似的方向，如下圖所示：

具體來說，智能客服的工作原理分為以下幾個(gè)模塊：

1、自然語音處理，比如說分詞、分句、詞性標(biāo)注、句法分析、指代消解，句子的權(quán)重，語意相似度等，還有問句的類型、句型等。這些會(huì)在第一步對用戶的問題做一個(gè)全面的分析，然后保存下來。

2、意圖識(shí)別，借助前面自然語言處理的一些結(jié)果，分為兩種方式，一個(gè)是模板方式，另一個(gè)是分類器的方式。模板的方式很簡單，通過與模板的對比進(jìn)行意圖分析。而分類器的方式，是通過收藏某個(gè)領(lǐng)域大量的數(shù)據(jù)后，進(jìn)行人工標(biāo)注，再訓(xùn)練成為一個(gè)分類器進(jìn)行意圖識(shí)別。這兩種方式各有優(yōu)劣，模板方式的問題在于，它雖然很精準(zhǔn)，但它的畫畫能力比較弱，分類器的方式畫畫能力強(qiáng)，但缺少很多數(shù)據(jù)。

3、知識(shí)庫，知識(shí)庫其實(shí)是智能客服系統(tǒng)最主要的一種模式，它的做法基本上與做一個(gè)搜索引擎比較類似，基本上分兩步。

第一步是侯選集的召回。從知識(shí)庫里召回一些可能跟問題相似的一些侯選集。

第二步是重排序。用文本相似度、句子相似度解鎖相關(guān)度，或者用神經(jīng)網(wǎng)絡(luò)的相似度模型或者用多模型融合。

4、知識(shí)圖譜，知識(shí)圖譜與知識(shí)庫的區(qū)別是，知識(shí)庫是一種問答的結(jié)構(gòu)或者是一種樹形的結(jié)構(gòu)，而知識(shí)圖譜是一種圖狀的結(jié)構(gòu)。

知識(shí)圖譜常見的工具有Neo4j、OrientDB、Titan等等。

5、對話技術(shù)，對話技術(shù)也有3種方式，第一種是有限狀態(tài)機(jī)填槽，第二種是MDP的方式，

第三種是學(xué)術(shù)界經(jīng)常用的端到端的模型，希望用一個(gè)巨大的模型解決出現(xiàn)的所有問題，如下圖所示：

6、聊天機(jī)器人。實(shí)際上也是兩種做法，一種是用神經(jīng)網(wǎng)絡(luò)的方式，主流的是用神經(jīng)網(wǎng)絡(luò)，或者說用統(tǒng)計(jì)模型之類的，通過收集大量的語料訓(xùn)練出模型，只要語料足夠多，它的效果就足夠好。另一種是模型的方式，但所帶來的問題是不精準(zhǔn)且需要大量的語料。

智能客服技術(shù)難點(diǎn)

5. 數(shù)據(jù)缺失問題：

· 多數(shù)情況下，沒有足夠數(shù)據(jù)訓(xùn)練模型

· SaaS服務(wù)涉及到不同領(lǐng)域，數(shù)據(jù)不足問題更加突出

數(shù)據(jù)冷啟動(dòng)方法：

· 通用語科訓(xùn)練模型，數(shù)據(jù)增長后再優(yōu)化模型

· 先用規(guī)則系統(tǒng)，數(shù)據(jù)到了一定量，在用模型

多輪對話：

· 多領(lǐng)域?qū)υ捜匀皇请y題：

· 逐個(gè)領(lǐng)域做對話成本太高

· 通用對話管理效果不理想

· 場景切換無法平滑進(jìn)行

· 不允許切換場景顯得死板

· 允許切換場景復(fù)雜度大幅度提升

人機(jī)協(xié)作：

· 現(xiàn)有方式仍然是機(jī)器人為輔

· 機(jī)器人回答不了，人回答

· 機(jī)器人推薦答案給人

· 探索讓機(jī)器人為主，人工為輔

· 提高機(jī)器人回答準(zhǔn)確率

· 提高機(jī)器人自學(xué)習(xí)能力

AI技術(shù)在教育領(lǐng)域的應(yīng)用

除了常見的智能客服，AI近年來在教育領(lǐng)域也大放異彩，北京褚時(shí)科技 CEO李曙光現(xiàn)場通過AI在口語測評和作業(yè)批改等領(lǐng)域的解決方案分享，深入淺出解析了“圖像”、“語音”、“自然語言處理”等技術(shù)在應(yīng)用層的技術(shù)實(shí)踐。

自動(dòng)口語評測

現(xiàn)在市面上普遍可以看到的產(chǎn)品，基于的評測技術(shù)主要是兩類。

基于GOP(Goodness of Pronunciation)：(例如英語流利說、少兒領(lǐng)域的英語趣配音)

其主要技術(shù)為：

· 強(qiáng)制對齊， 語音模型分?jǐn)?shù)對比，發(fā)現(xiàn)有問題讀音;韻律，語速和流利度;

· 加入語音識(shí)別;

· 深度學(xué)習(xí)：CNN，DNN，優(yōu)缺點(diǎn)，

· 移動(dòng)端。

Freetalk口語評測技術(shù)：(應(yīng)用于托?；蛘哐潘嫉拈_放式題目)

其主要技術(shù)為：

· 語音分析：對發(fā)音，重音，語調(diào)，語速和流利度等方面進(jìn)行分析和特征提取。

· 語音識(shí)別：針對英語非母語者的語音識(shí)別，使用深度學(xué)習(xí)方法，識(shí)別準(zhǔn)確率對于提取口語內(nèi)容關(guān)鍵。

· 自然語言處理分析：對識(shí)別內(nèi)容在話題相關(guān)性，語義連貫性，語法錯(cuò)誤，詞匯使用，用詞搭配等多維度上進(jìn)行分析和特征提取。

· 自動(dòng)打分：多模型融合，大量口語訓(xùn)練語料。

應(yīng)用場景：

1、托福和雅思口語考試自動(dòng)打分和批改: 目前在打分上可以取代人工，平均誤差在2分左右(30分滿分)，大幅降低教師重復(fù)勞動(dòng)。

2、斬托福和斬雅思：流量題庫產(chǎn)品，覆蓋80%以上的出國考生。累計(jì)百萬學(xué)生使用，

自動(dòng)作文評測

主要的評測技術(shù)為：

· 語法錯(cuò)誤檢查：主謂一致，動(dòng)詞形式的使用，詞組的搭配，冠詞使用、詞性、選詞、介詞用法，動(dòng)詞時(shí)態(tài)等方面，Spelling，專有名詞大小寫和句首字母大小寫等。

· 自然語言處理分析特征提?。悍治龊徒y(tǒng)計(jì)學(xué)生作文中的文本特征，包括用詞復(fù)雜度，用詞搭配使用，語篇組織結(jié)構(gòu)，論述連貫性和是否離題，對于議論文能否支持論點(diǎn)論述等等。

· 自動(dòng)打分引擎：針對特定的考試類型，我們使用機(jī)器學(xué)習(xí)算法(分類，排序)，動(dòng)態(tài)調(diào)整以上各個(gè)方面所占權(quán)重和最終的評分標(biāo)準(zhǔn)，訓(xùn)練相應(yīng)的打分模型，最終系統(tǒng)可以在多個(gè)緯度給出詳細(xì)的分析報(bào)告和反饋;

· CNN等方法融合。

應(yīng)用場景：

1、初高中，托福雅思等作文自動(dòng)打分和批改: 取代人工打分，平均誤差在2分左右(30分滿分)，類似ETS的e-rater;

2、基于海量人工批改數(shù)據(jù)研發(fā);在語法錯(cuò)誤檢測數(shù)量和精準(zhǔn)度上遠(yuǎn)遠(yuǎn)領(lǐng)先于同類產(chǎn)品，可以和全球用戶量最大的的批改引擎Grammarly媲美。

AI的更多應(yīng)用

自適應(yīng)學(xué)習(xí)技術(shù)

· 知識(shí)點(diǎn)建立知識(shí)圖譜。

· 試題標(biāo)簽：知識(shí)點(diǎn)，難度，題型，考察能力等。

· 根據(jù)?？冀Y(jié)果的數(shù)據(jù)分析，可以更精準(zhǔn)的為不同能力的學(xué)生提供個(gè)性化備考計(jì)劃，推送和及時(shí)調(diào)整學(xué)習(xí)路徑。

· 自適應(yīng)測試：Item Response Theory(IRT)，根據(jù)難度，區(qū)分度等建模，比較少的題目，測的更準(zhǔn)。

6. 手寫板場景

以下幾個(gè)領(lǐng)域是褚時(shí)科技一直關(guān)注的幾個(gè)方向(目前還不能很好的產(chǎn)品化，預(yù)計(jì)未來突破)。需要和K12培訓(xùn)機(jī)構(gòu)或者公立學(xué)校合作。

· 手寫公式識(shí)別：可以參考美國MyScript這個(gè)公司，已經(jīng)趨于成熟。但是存在換行等問題。

· 數(shù)學(xué)等主觀題識(shí)別：手寫公式，字母識(shí)別還有漢字識(shí)別準(zhǔn)確度提升，趨于成熟。

· 數(shù)學(xué)應(yīng)用題解題和批改：趨于成熟。

· 初高中數(shù)學(xué)幾何題目解題和批改：解題準(zhǔn)確度還有提升空間，目前準(zhǔn)確度已經(jīng)超過70%;批改趨于成熟。

songjy