“我們已進(jìn)入了一個機(jī)器可以實(shí)時(shí)理解人類語言的AI新時(shí)代。TensorRT 7使這成為可能，為世界各地的開發(fā)者提供工具，使他們能夠構(gòu)建和部署更快、更智能的會話式AI服務(wù)，從而實(shí)現(xiàn)更自然的AI人機(jī)交互，” NVIDIA創(chuàng)始人兼首席執(zhí)行官黃仁勛表示。

據(jù)官方介紹，TensorRT 7 可實(shí)現(xiàn)和語音代理、聊天機(jī)器人、推薦引擎等應(yīng)用的實(shí)時(shí)互動。其內(nèi)置新型深度學(xué)習(xí)編譯器，該編譯器能夠自動優(yōu)化和加速遞歸神經(jīng)網(wǎng)絡(luò)與基于轉(zhuǎn)換器的神經(jīng)網(wǎng)絡(luò)。這些日益復(fù)雜的神經(jīng)網(wǎng)絡(luò)是AI語音應(yīng)用所必需的。與在CPU上運(yùn)行時(shí)相比，會話式AI組件速度提高了10倍以上，從而將延遲降低到實(shí)時(shí)交互所需的300毫秒閾值以下。首批使用NVIDIA會話式AI加速能力的企業(yè)包括——阿里巴巴、百度、滴滴出行、美團(tuán)、快手、平安、搜狗、騰訊和字節(jié)跳動等。

TensorRT 7加快了AI模型的領(lǐng)域擴(kuò)展。這些模型被用于預(yù)測使用遞歸循環(huán)結(jié)構(gòu)（RNN）的時(shí)間序列、數(shù)據(jù)情景。除了用于會話式 AI語音網(wǎng)絡(luò)之外，RNN還可以幫助規(guī)劃汽車或衛(wèi)星到達(dá)時(shí)間、預(yù)測電子病歷中的異常情況預(yù)測金融資產(chǎn)和識別欺詐。

RNN配置和功能組合的爆炸式增長為快速部署可以滿足實(shí)時(shí)性能標(biāo)準(zhǔn)的生產(chǎn)代碼帶來了挑戰(zhàn)，開發(fā)者需要花費(fèi)長達(dá)數(shù)月的時(shí)間創(chuàng)建手寫代碼優(yōu)化，從而使得會話式AI僅局限于擁有必要專業(yè)人才的少數(shù)公司。通過TensorRT的新型深度學(xué)習(xí)編譯器，全球開發(fā)者能夠?qū)⑦@些網(wǎng)絡(luò)（例如定制的自動語音識別網(wǎng)絡(luò)以及用于文本-語音轉(zhuǎn)換的WaveRNN和Tacotron 2）實(shí)現(xiàn)自動化，并實(shí)現(xiàn)最佳的性能和最低的延遲。新的編譯器還能優(yōu)化基于transformer的模型，例如用于自然語言處理的BERT等。

TensorRT 7可以快速優(yōu)化、驗(yàn)證并部署經(jīng)過訓(xùn)練的神經(jīng)網(wǎng)絡(luò)，為超大型數(shù)據(jù)中心、嵌入式或汽車GPU平臺提供推理能力。NVIDIA的推理平臺，包括TensorRT和多個NVIDIA CUDA-X AI庫和NVIDIA GPU，不只能為會話式AI提供低延遲、高吞吐量的推理能力，也同樣能為包括圖像分類、欺詐識別、分割、目標(biāo)檢測和推薦引擎在內(nèi)的其它應(yīng)用提供低延遲、高吞吐量的推理能力。該平臺各項(xiàng)能力已被阿里巴巴、美國運(yùn)通（American Express）、百度、PayPal、Pinterest、Snap、騰訊和Twitter等使用。

據(jù)了解，TensorRT 7 將在未來幾天內(nèi)開放訪問，以用于開發(fā)和部署。NVIDIA開發(fā)者計(jì)劃成員可通過 TensorRT 網(wǎng)頁免費(fèi)獲得TensorRT 7。此外，新版本插件、語法分析器和樣本也將作為開放資源，通過TensorRT GitHub 庫提供。

zhangnn