NVIDIA的內(nèi)部測(cè)試表明， 在運(yùn)行 GPT-J  6B 模型時(shí)，相較于沒(méi)有使用TensorRT-LLM的上一代GPU，在H100 GPU上使用TensorRT-LLM能夠?qū)崿F(xiàn)高達(dá)8倍的性能提升。

該軟件始于NVIDIA在對(duì)Meta、AnyScale、Cohere、Deci、Grammarly、Mistral AI、MosaicML（現(xiàn)為Databricks的一部分）、OctoML、Tabnine和Together AI等領(lǐng)先公司進(jìn)行加速和優(yōu)化LLM推理時(shí)所做的工作。

MosaicML在TensorRT-LLM 的基礎(chǔ)上添加了所需的功能，并將這些功能集成到他們現(xiàn)有的服務(wù)堆棧中。Databricks工程副總裁Naveen Rao表示：“這已成為相當(dāng)輕而易舉的事情?！?/p>

Rao補(bǔ)充說(shuō)：“TensorRT-LLM 簡(jiǎn)單易用、功能豐富且高效。它為正在使用NVIDIA GPU的 LLM服務(wù)提供了最先進(jìn)的性能，并使我們能夠?qū)⒐?jié)省的成本回饋給我們的客戶?！?/p>

TensorRT-LLM 是NVIDIA全棧AI平臺(tái)持續(xù)創(chuàng)新的最新實(shí)例。這類(lèi)持續(xù)的軟件進(jìn)步為用戶帶來(lái)了無(wú)需額外成本即可實(shí)現(xiàn)隨著時(shí)間不斷提升的性能，并且廣泛適用于多樣化的AI工作負(fù)載。

L4為主流服務(wù)器增強(qiáng)推理能力

在最新MLPerf基準(zhǔn)測(cè)試中，NVIDIA L4 GPU 運(yùn)行了所有工作負(fù)載，并全面展現(xiàn)了出色的性能。

例如，在緊湊型72W PCIe 加速器中運(yùn)行時(shí)，L4 GPU的性能比功耗超出其近5倍的CPU提高了6倍。

此外，L4 GPU具有專(zhuān)用媒體引擎，與CUDA軟件搭配使用，在NVIDIA的測(cè)試中為計(jì)算機(jī)視覺(jué)提供了高達(dá)120倍的加速。

谷歌云和許多系統(tǒng)制造商現(xiàn)已支持L4 GPU，為從消費(fèi)互聯(lián)網(wǎng)服務(wù)到藥物研發(fā)各行業(yè)的客戶提供服務(wù)。

大幅提升邊緣性能

此外，NVIDIA采用了一種全新模型壓縮技術(shù)來(lái)展示在一個(gè)L4 GPU上運(yùn)行BERT LLM的性能提升高達(dá)4.7倍。該結(jié)果體現(xiàn)在MLPerf的“開(kāi)放分區(qū)”中，這個(gè)類(lèi)別旨在展示新能力。

這項(xiàng)技術(shù)有望應(yīng)用于所有AI工作負(fù)載。它尤其適用于在空間和功耗受限的邊緣設(shè)備上運(yùn)行模型。

在另一個(gè)體現(xiàn)邊緣計(jì)算領(lǐng)導(dǎo)力的例證中，NVIDIA Jetson Orin模塊化系統(tǒng)將邊緣AI和機(jī)器人應(yīng)用場(chǎng)景中常見(jiàn)的計(jì)算機(jī)視覺(jué)用例——目標(biāo)檢測(cè)的性能比上一輪測(cè)試提升高達(dá)84%。

Jetson Orin性能的提升得益于軟件可以充分利用該芯片的最新核心，如一個(gè)可編程視覺(jué)加速器、一顆NVIDIA Ampere架構(gòu)GPU和一個(gè)專(zhuān)用深度學(xué)習(xí)加速器等。

靈活的性能與龐大的生態(tài)

MLPerf基準(zhǔn)測(cè)試是透明且客觀的，因此用戶可以根據(jù)其結(jié)果做出明智的購(gòu)買(mǎi)決定。該測(cè)試還涵蓋了豐富的用例和場(chǎng)景，能夠讓用戶獲得可靠且可以靈活部署的性能。

本輪提交測(cè)試結(jié)果的合作伙伴包括微軟 Azure和Oracle Cloud Infrastructure 等云服務(wù)提供商以及華碩、Connect Tech、戴爾科技、富士通、技嘉、惠與、聯(lián)想、QCT、超微等系統(tǒng)制造商。

總體而言，MLPerf 已得到70多家機(jī)構(gòu)的支持，包括阿里巴巴、Arm、思科、谷歌、哈佛大學(xué)、英特爾、Meta、微軟和多倫多大學(xué)等。

zhupb