圖1. 一起作業(yè) AI 口語測評平臺

如此巨大的服務(wù)規(guī)模給后端基礎(chǔ)設(shè)施帶來了沉重的壓力。由于中小學(xué)口語教育的特殊性，每天的 19:00-21:00 是學(xué)生在線進(jìn)行口語學(xué)習(xí)與測評的高峰期，服務(wù)瞬時(shí)并發(fā)量極高，一旦后端的 AI 基礎(chǔ)設(shè)施平臺無法承載如此巨大的服務(wù)并發(fā)量，可能導(dǎo)致服務(wù)速度變慢。此外，用戶對于 AI 口語測評的性能正在提出越來越高的要求，高實(shí)時(shí)性與低延遲正在成為用戶體驗(yàn)的重要組成部分，一起教育科技希望能夠降低口語測評系統(tǒng)的實(shí)時(shí)率（RTF, Real Time Factor）1，以提升用戶體驗(yàn)和服務(wù)吞吐率。

除了性能之外，總體擁有成本（TCO）也是重要的考量因素。雖然基于 GPU 的 AI 服務(wù)器能夠在性能上滿足聲學(xué)訓(xùn)練與推理的需求，但是采購、部署與運(yùn)維成本較高，而且其較為復(fù)雜的采購流程意味著較高的時(shí)間成本，難以實(shí)現(xiàn)快速的敏捷擴(kuò)展。相較之下，基于 CPU 的 AI 服務(wù)器能夠高效利用已有硬件的基礎(chǔ)設(shè)施，在大量應(yīng)用場景下有著更高的 TCO 優(yōu)勢。

解決方案：一起教育科技基于英特爾架構(gòu)優(yōu)化 AI 處理能力

為了向師生提供更卓越的口語教育服務(wù)，一起教育科技從應(yīng)用與基礎(chǔ)設(shè)施兩個(gè)方面進(jìn)行了針對性的設(shè)計(jì)與優(yōu)化。從應(yīng)用層面來看，為了給各地的教師和學(xué)生提供一套符合課標(biāo)、以及地方考試統(tǒng)一要求的評分標(biāo)準(zhǔn)，滿足日常練習(xí)、課后作業(yè)、形成性和過程性評價(jià)、以及考試評測等各個(gè)場景下的英語口語活動需求，一起教育科技認(rèn)真研究分析了全國近三十個(gè)省市的英語口語考試評測標(biāo)準(zhǔn)和《中學(xué)英語課程標(biāo)準(zhǔn)》，制訂了一套具有普適性的通用評分標(biāo)準(zhǔn)。

一起作業(yè) AI 口語測評平臺能夠嚴(yán)格按照這一通用打分標(biāo)準(zhǔn)對學(xué)生的作答進(jìn)行評判，其使用了全國各地的題型對此套標(biāo)準(zhǔn)進(jìn)行了檢驗(yàn)，并運(yùn)用技術(shù)手段和大批量數(shù)據(jù)統(tǒng)計(jì)的方式進(jìn)行復(fù)核，證明其在對各式題型、各地區(qū)評分要求的適應(yīng)，以及運(yùn)用分?jǐn)?shù)手段明確顯示學(xué)生口語水準(zhǔn)方面都有著良好的效果。

在基礎(chǔ)設(shè)施層面，一起教育科技采用了搭載英特爾 至強(qiáng) 金牌 6230 處理器的 AI 服務(wù)器來承載智能口語測評服務(wù)。英特爾 至強(qiáng) 金牌 6230 處理器屬于第二代英特爾 至強(qiáng) 可擴(kuò)展處理器家族，為計(jì)算密集型工作負(fù)載提供了高性能和可擴(kuò)展性。該處理器集成了英特爾 超級通道互聯(lián)（英特爾 UPI）、英特爾 Infrastructure Management 技術(shù)（英特爾 IMT）和英特爾 高級矢量擴(kuò)展指令集512（英特爾 AVX-512）等領(lǐng)先功能，可滿足嚴(yán)苛的 I/O 密集型工作負(fù)載的需求。

尤為重要的是，第二代英特爾 至強(qiáng) 可擴(kuò)展處理器還內(nèi)置人工智能加速功能，并已針對工作負(fù)載進(jìn)行優(yōu)化，能夠?yàn)楦鞣N高性能計(jì)算工作負(fù)載、AI應(yīng)用以及高密度基礎(chǔ)設(shè)施帶來一流的性能和內(nèi)存帶寬。同時(shí)，采用矢量神經(jīng)網(wǎng)絡(luò)指令（VNNI）的英特爾 深度學(xué)習(xí)加速（英特爾 DL Boost）顯著提高了人工智能推理的表現(xiàn)，這使其成為一起教育科技在云平臺上拓展 AI 應(yīng)用的卓越基礎(chǔ)設(shè)施。

為了驗(yàn)證基于英特爾 至強(qiáng) 金牌 6230 處理器的 AI 服務(wù)器帶來的性能提升，一起教育科技搭建了測試環(huán)境，測試配置如表 1 所示：

一起作業(yè) AI 口語測評平臺的工作流包含多個(gè)模塊，一起教育科技聯(lián)合英特爾使用英特爾 VTune? Profiler可視化性能分析器工具分析計(jì)算熱點(diǎn)，引入VNNI指令集優(yōu)化熱點(diǎn)函數(shù)，再將GCC更換成英特爾 C++ 編譯器，進(jìn)行重新編譯。完成優(yōu)化后，測試人員在一顆英特爾 至強(qiáng) 金牌 6230 處理器上并發(fā)處理40路推理線程，發(fā)現(xiàn)整個(gè)工作流的實(shí)時(shí)率下降了 12.7%2，優(yōu)化后和優(yōu)化前的性能對比如圖 2 所示：

一起教育科技還將口語評測的優(yōu)化方法遷移到語音識別上，即便之前已經(jīng)做了重構(gòu)和深度優(yōu)化，VNNI指令集和英特爾 C++ 編譯器仍然帶來了一定的性能提升，同時(shí)最大程度地發(fā)揮了CPU的算力。在同樣40路并發(fā)的情況下，整個(gè)工作流的實(shí)時(shí)率比優(yōu)化前下降了5%3，優(yōu)化前后的性能對比如圖 3 所示：

語音合成是用于教學(xué)場景的一種重要的工作負(fù)載，該業(yè)務(wù)包含前端，聲學(xué)模型和聲碼器。聲碼器用的是LPCNet，該聲碼器是一個(gè)C語言版本，在不改變代碼的情況下，使用英特爾編譯器的高級選項(xiàng)來進(jìn)行優(yōu)化，使整個(gè)工作流的實(shí)時(shí)率比優(yōu)化前降低了72.1%，處理效率提升了2.58倍4，優(yōu)化前后的性能對比如圖 4 所示。

成果：助力學(xué)生高效提升英語口語水平

一起教育科技與英特爾的合作為 AI 口語測評平臺奠定了堅(jiān)實(shí)的基礎(chǔ)，不僅有效降低了實(shí)時(shí)率，滿足了口語測評服務(wù)實(shí)時(shí)響應(yīng)的需求，還能夠支撐業(yè)務(wù)高峰期海量的服務(wù)請求，降低基礎(chǔ)設(shè)施壓力。具體而言，雙方的合作實(shí)現(xiàn)了如下成果：

口語測評結(jié)果“秒速”提供：由于口語評測實(shí)時(shí)率的降低，學(xué)生在進(jìn)行口語練習(xí)并提交平臺評測之后，平臺能夠近即時(shí)地將評測結(jié)果反饋給學(xué)生，以便其進(jìn)行針對性的糾正與學(xué)習(xí)。而語音識別與語音合成性能的提升，則為用戶的口語學(xué)習(xí)提供了更高效的跟讀訓(xùn)練、智能對話等服務(wù)。

口語測評服務(wù)始終穩(wěn)定如一：得益于第二代英特爾 至強(qiáng) 可擴(kuò)展處理器的高性能，以及一起教育科技在混合云架構(gòu)與服務(wù)方面的創(chuàng)新，一起教育科技可以確保在高峰期也能為用戶提供穩(wěn)定高效的評測服務(wù)，避免響應(yīng)緩慢等問題。

TCO 得到顯著控制：相較于 GPU 服務(wù)器，基于第二代英特爾 至強(qiáng) 可擴(kuò)展處理器的 AI 服務(wù)器有著更為顯著的 TCO 優(yōu)勢，能夠幫助一起教育科技在業(yè)務(wù)的快速擴(kuò)展過程中，提升投資回報(bào)率，為師生帶來更具價(jià)值的服務(wù)。

一起教育科技AI Lab負(fù)責(zé)人饒豐指出：“我們與英特爾建立了良好的合作關(guān)系，推動了 AI 口語測評平臺的性能持續(xù)優(yōu)化?；谠摶A(chǔ)設(shè)施平臺，我們時(shí)刻跟隨各地區(qū)教學(xué)實(shí)踐要求的變化，為老師們提供更加精準(zhǔn)的分?jǐn)?shù)評判體系，為學(xué)子們提供更加有效的學(xué)情反饋，為推動全國各地區(qū)英語口語教學(xué)的不斷進(jìn)步而貢獻(xiàn)力量?！?/p>

未來展望：加速智慧教育革新

一起教育科技透露，其未來將在三個(gè)方向推動口語評測平臺的優(yōu)化與革新：首先是全開放口語題的評測支持；其次是中小學(xué)生口語能力水平的評定，從多個(gè)維度評價(jià)口語的應(yīng)用能力，更契合教育部的中小學(xué)學(xué)科核心素養(yǎng)的評價(jià)；第三個(gè)方向是提供滿足地區(qū)化差異的評測方案，實(shí)現(xiàn)語音評測的本地化，根據(jù)地區(qū)教育水平的差異進(jìn)行本地化的適配。

為了支撐以上三大目標(biāo)的實(shí)現(xiàn)，一起教育科技將與英特爾圍繞創(chuàng)新硬件選型、AI 性能優(yōu)化等方面進(jìn)行更加深入的合作，發(fā)揮英特爾在端到端 AI 產(chǎn)品與技術(shù)方面的優(yōu)勢，從而為 AI教育應(yīng)用提供強(qiáng)大的算力支持，實(shí)現(xiàn)跨架構(gòu)的算法移植與優(yōu)化，進(jìn)而賦能智慧教育，提供高效、公平、個(gè)性化的教育服務(wù)。

關(guān)于一起教育科技

一起教育科技（NASDAQ: YQ）是全球領(lǐng)先的K12智能教育平臺。懷著“讓學(xué)習(xí)成為美好體驗(yàn)”的使命，一起教育科技致力于用先進(jìn)的教育科技、優(yōu)質(zhì)的教育內(nèi)容和持續(xù)的教育熱情，為K12階段的學(xué)校、家庭、社會教育場景，提供更為高效、美好的產(chǎn)品和體驗(yàn)，開啟了智能教育新時(shí)代。

關(guān)于英特爾

英特爾（NASDAQ: INTC）作為行業(yè)引領(lǐng)者，創(chuàng)造改變世界的技術(shù)，推動全球進(jìn)步并讓生活豐富多彩。在摩爾定律的啟迪下，我們不斷致力于推進(jìn)半導(dǎo)體設(shè)計(jì)與制造，幫助我們的客戶應(yīng)對最重大的挑戰(zhàn)。通過將智能融入云、網(wǎng)絡(luò)、邊緣和各種計(jì)算設(shè)備，我們釋放數(shù)據(jù)潛能，助力商業(yè)和社會變得更美好。如需了解英特爾創(chuàng)新的更多信息，請?jiān)L問英特爾中國新聞中心newsroom.intel.cn以及官方網(wǎng)站intel.cn。

1實(shí)時(shí)率（RTF，Real Time Factor）是一個(gè)常用于度量自動語音識別系統(tǒng)解碼速度的值。它也可以用在以近似恒定速率處理視頻或音頻信號的處理中（比方說從CD中讀音樂）。如果處理一段長度為a的音頻信號需要花費(fèi)時(shí)間b，則實(shí)時(shí)率為b/a。如果，如果處理一段長度為2小時(shí)的音頻花了8個(gè)小時(shí)，則實(shí)時(shí)率為8/2=4。當(dāng)實(shí)時(shí)率等于或小于1時(shí)通常認(rèn)為該處理是實(shí)時(shí)的。

2,3,4測試數(shù)據(jù)由一起教育科技測試得出。測試配置：英特爾至強(qiáng) 金牌 6230 處理器 @ 2.10GHz，192G DDR4 2933*6，CentOS Linux 8 (Core)，Kernel 4.18.0-193.19.1.el8_2.x86_64，英特爾 C++ 編譯器v19.1，GUN 編譯器套件v7.3，Python v3.6

英特爾并不控制或?qū)徲?jì)第三方數(shù)據(jù)。請您自行審核該等內(nèi)容、咨詢其他來源，并確認(rèn)提及數(shù)據(jù)是否準(zhǔn)確。

性能結(jié)果因使用方式、配置和其他因素而異。更多信息敬請登陸www.Intel.com/PerformanceIndex。

本文并未（明示或默示、或通過禁止反言或以其他方式）授予任何知識產(chǎn)權(quán)許可。英特爾未做出任何明示和默示的保證，包括但不限于，關(guān)于適銷性、適合特定目的及不侵權(quán)的默示保證，以及在履約過程、交易過程或貿(mào)易慣例中引起的任何保證。

英特爾運(yùn)營所需的任何商品和服務(wù)預(yù)測僅供討論。就與本文中公布的預(yù)測，英特爾不負(fù)有任何購買責(zé)任。本文中提供的所有信息可在不通知的情況下隨時(shí)發(fā)生變更。關(guān)于英特爾最新的產(chǎn)品規(guī)格和路線圖，請聯(lián)系您的英特爾代表。

英特爾技術(shù)特性和優(yōu)勢取決于系統(tǒng)配置，并可能需要支持的硬件、軟件或服務(wù)得以激活。產(chǎn)品性能會基于系統(tǒng)配置有所變化。沒有任何產(chǎn)品或組件是絕對安全的。更多信息請從原始設(shè)備制造商或零售商處獲得，或請見 intel.com

在特定系統(tǒng)的特殊測試中測試組件性能。硬件、軟件或配置的差異將影響實(shí)際性能。當(dāng)您考慮采購時(shí)，請查閱其他信息來源評估性能。關(guān)于性能和基準(zhǔn)測試程序結(jié)果的更多信息，請?jiān)L問：www.intel.com/benchmarks

英特爾、英特爾標(biāo)識以及其他英特爾商標(biāo)是英特爾公司或其子公司在美國和/或其他國家的商標(biāo)。文中涉及的其它名稱及品牌屬于各自所有者資產(chǎn)。

? 英特爾公司版權(quán)所有

zhangnn