這些基礎模型以?NVIDIA?NIM??微服務的形式提供,由全新?GeForce?RTX??50?系列?GPU?加速,提供*高可達?2375?AI?TOPS?和?32GB?顯存?；?NVIDIA?Blackwell?架構的?RTX?50?系列?GPU是首批支持?FP4?計算精度的消費級?GPU。與上一代產(chǎn)品相比,AI?推理性能提升?2?倍,并讓生成式?AI?模型在本地以更小的顯存占用空間運行。

長期以來,GeForce??一直是?AI?開發(fā)者的重要平臺。早在?2012?年,*由?GPU?加速的深度學習網(wǎng)絡?AlexNet?就是在GeForce?GTX?580?上進行訓練的。在去年發(fā)表的?AI?研究論文中,超過?30%?都提及了對?GeForce?RTX?的使用。

現(xiàn)如今,在生成式?AI?和?RTX?AI?PC?的助力下,任何人都能成為開發(fā)者。借助?AnythingLLM、?ComfyUI?和?LangFlow?等新一代低代碼和無代碼工具,發(fā)燒友能夠通過簡單的圖形用戶界面?(GUI)?在復雜的工作流中使用?AI?模型。

連接到這些?GUI?的?NIM?微服務使獲取和部署*新生成式?AI?模型輕而易舉。NVIDIA?AI?Blueprint

基于?NIM?微服務構建,旨在為數(shù)字人、內容創(chuàng)作等應用提供易于使用的預配置參考工作流。

為滿足?AI?開發(fā)者和發(fā)燒友日益增長的需求,*?PC?制造商和系統(tǒng)集成商即將推出搭載?GeForce?RTX?50?系列?GPU?且支持?NIM?的?RTX?AI?PC。

NVIDIA?創(chuàng)始人兼首席執(zhí)行官黃仁勛表示,“AI?正在以光速發(fā)展,從感知式?AI?到生成式?AI,再到如今的代理式?AI。NIM?微服務和?AI?Blueprint?為?PC?開發(fā)者和發(fā)燒友探索?AI?提供了基礎模塊。”

NIM 提供迅捷 AI 體驗

基礎模型,即使用海量原始數(shù)據(jù)訓練而成的神經(jīng)網(wǎng)絡,是生成式?AI?的基礎模塊。

NVIDIA?將發(fā)布一系列來自包括?Black?Forest?Labs、Meta、Mistral?和?Stability?AI?等頂尖模型開發(fā)者的適用于?RTX?AI?PC?的?NVIDIA?NIM?微服務。涵蓋大語言模型?(LLM)?、視覺語言模型、圖像生成、語音、檢索增強生成?(RAG)?的嵌入模型、PDF?提取和計算機視覺等應用場景。

Black?Forest?Labs?首席執(zhí)行官?Robin?Rombach?表示,“支持?FP4?計算精度的?GeForce?RTX?50系列?GPU?將使一大批此前僅適用于大型數(shù)據(jù)中心的模型得以在?PC?上運行。把?Flux?打造成?NVIDIA?NIM?微服務,讓更多用戶以更快的速度部署和體驗?AI,同時提供超乎想象的性能。”

NVIDIA?今天還宣布推出?Llama?Nemotron,這是一系列開放許可的基礎模型,能夠在各類代理式任務中提供極高的精度。Llama?Nemotron?Nano?模型將作為面向?RTX?AI?PC?和工作站的?NIM微服務提供,在指令遵循、工具調用、聊天、代碼和數(shù)學等代理式?AI?任務方面表現(xiàn)出眾。

NIM?微服務包含在?PC?上運行?AI?所需的關鍵組件,并針對?NVIDIA?GPU?的部署進行優(yōu)化,無論

GPU?在?RTX?PC?、工作站,還是在云端。

開發(fā)者和發(fā)燒友將能快速下載這些?NIM?微服務,并可在帶有適用于?Linux?的?Windows?子系統(tǒng)

(WSL)?的?Windows?11?PC?上設置和運行。

微軟副總裁,Windows?業(yè)務負責人?Pavan?Davuluri?表示:“AI?正在快速驅動?Windows?11?PC?創(chuàng)新,適用于?Linux?的?Windows?子系統(tǒng)?(WSL)?和?Windows?Copilot?Runtime?為?Windows?11?上的?AI?開發(fā)提供出色的跨平臺環(huán)境。NVIDIA?NIM?微服務為?Windows?PC?提供優(yōu)化,為開發(fā)者和?發(fā)燒友提供可立即集成到其?Windows?應用中的?AI?模型,從而進一步加速?Windows?用戶的?AI?功能部署?！?/p>

運行在?RTX?AI?PC?上的?NIM?微服務將兼容先進?AI?開發(fā)和智能體框架,包括?AI?Toolkit?for?VSCode、AnythingLLM、ComfyUI、CrewAI、Flowise?AI、LangChain、LangFlow?和?LM?Studio。開發(fā)者可以通過行業(yè)標準端點,將基于上述框架構建的應用和工作流連接到運行?NIM?微服務的?AI?模型,無論在云端、數(shù)據(jù)中心、工作站還是?PC?上,都可通過統(tǒng)一的接口使用*新技?術。

發(fā)燒友還可通過即將發(fā)布的?NVIDIA?ChatRTX?技術?Demo?體驗一系列?NIM?微服務。

讓代理式 AI 擁有擬人表情

為了向?RTX?發(fā)燒友和開發(fā)者展示使用?NIM?微服務構建?AI?智能體和助手的方法,NVIDIA?今天首?度公開?Project?R2X。這是一款具有視覺能力的?PC?虛擬形象,它可以讓用戶需要的信息觸手可及、協(xié)助用戶使用桌面應用、進行視頻會議、閱讀和總結文檔等。

該虛擬形象采用全新生成式?AI?算法?NVIDIA?RTX?Neural?Faces?渲染而成,這種算法可利用完全生成的像素來增強傳統(tǒng)光柵化渲染。然后,面部通過基于擴散原理的全新?NVIDIA?Audio2Face?-?3D?模型驅動動畫,該模型可改善唇部和舌頭動作。R2X?可以通過?CrewAI、Flowise?AI?和?LangFlow?等開發(fā)者框架連接到?OpenAI?的?GPT?4o?或?xAI?的?Grok?等云端?AI?服務,以及?NIM?微服務和?AI?Blueprint,如?PDF?檢索器或其他?LLM。注冊以關注?Project?R2X?的更新。

? AI Blueprint 即將登陸 PC

NIM?微服務還可通過?AI?Blueprint(可在?RTX?PC?上本地運行的參考?AI?工作流)供?PC?用戶使?用。借助這些藍圖,開發(fā)者能夠基于?PDF?文檔創(chuàng)建播客、生成由?3D?場景引導的令人驚艷的圖像等。

將?PDF?轉換為播客的藍圖可從?PDF?中提取文本、圖像和表格,創(chuàng)建可供用戶編輯的播客腳本。它還能根據(jù)此腳本,使用藍圖中提供的語音或基于用戶的語音樣本生成完整的音頻錄音。此外,用戶還能與?AI?播客主持人進行實時對話,了解有關特定主題的更多信息。

該藍圖利用像?Mistral-Nemo-12B-Instruct?這樣的?NIM?微服務來處理語言,借助?NVIDIA?Riva

進行文本轉語音和自動語音識別,以及使用?NeMo?Retriever?微服務集合進行?PDF?提取。

使用由?3D?引導的生成式?AI?Blueprint,藝術家能對圖像生成進行更精細的控制。雖然?AI?可以通過簡單的文本提示生成令人驚嘆的圖像,但僅使用文字控制圖像的內容極具挑戰(zhàn)。有了上述藍?圖,創(chuàng)作者可以借助使用?Blender?等?3D?渲染器布置簡單的?3D?物體來引導?AI?圖像生成。藝術家可手動或使用?AI?生成創(chuàng)建?3D?資產(chǎn),將其放置在場景中,并設置?3D?viewport?相機。由?Flux?NIM?微服務提供支持的預打包工作流將可以通過插件?(例如?Blender?中由開發(fā)者?ACGGit?開發(fā)的?ComfyUI-BlenderAI-node?)使用當前布景生成與?3D?場景相匹配的高質量圖像。

NVIDIA?NIM?微服務和?AI?Blueprint?將從?2?月起開始提供,首發(fā)支持的硬件包含?GeForce?RTX?50?系列、GeForce?RTX?4090?和?4080?以及?NVIDIA?RTX?6000?和?5000?GPU?,未來還會陸續(xù)提供對其他?GPU?的支持。宏碁、華碩、戴爾、惠普、聯(lián)想、微星、雷蛇將推出支持?NIM?的?RTX?AI?PC。

songjy