隨著面向物理 AI 的 NVIDIA Jetson Thor 模組的推出,全世界的機器人即將迎來智能化的大幅提升。這款全新的機器人計算機將成為科研與工業(yè)領(lǐng)域機器人系統(tǒng)的“大腦”。
機器人需要依賴豐富的傳感器數(shù)據(jù)與低延遲 AI 處理能力。運行實時機器人應用,需強大的 AI 計算能力和內(nèi)存,以處理多個傳感器的并發(fā)數(shù)據(jù)流?,F(xiàn)已正式發(fā)售的 Jetson Thor,相比上一代產(chǎn)品 NVIDIA Jetson Orin,AI 計算性能提高至 7.5 倍,CPU 性能提升至 3.1 倍,內(nèi)存容量提升至 2 倍,能夠在邊緣端實現(xiàn)實時處理需求。
這一性能飛躍,將助力機器人開發(fā)者在邊緣端處理高速傳感器數(shù)據(jù)并執(zhí)行視覺推理。而過去,這類工作流因速度過慢,無法在動態(tài)的真實環(huán)境中運行。這為包括人形機器人在內(nèi)的多模態(tài) AI 應用開辟了全新可能。
領(lǐng)先的人形機器人企業(yè) Agility Robotics,已經(jīng)在其第五代機器人 Digit 使用了 NVIDIA Jetson,并計劃將 Jetson Thor 作為第六代 Digit 計算核心。這一變化將進一步提升 Digit 的實時感知與決策能力,支持日漸復雜的 AI 能力及行為需求。Digit 已經(jīng)實現(xiàn)商用,可在倉庫與制造環(huán)境中執(zhí)行堆疊、裝載及碼垛等物流任務(wù)。
Agility Robotics 首席執(zhí)行官 Peggy Johnson 表示: “Jetson Thor 提供的強大邊緣處理能力將把 Digit 提升到一個新的水平——增強其實時響應能力,其功能也將拓展至更廣泛、更復雜的任務(wù)領(lǐng)域。借助 Jetson Thor,我們能將最新的物理 AI 技術(shù)成果應用于實踐,優(yōu)化客戶倉庫與工廠的運營效率?!?/p>
在機器人領(lǐng)域深耕 30 余年、打造過多款行業(yè)先進機器人的波士頓動力,正將 Jetson Thor 集成到其人形機器人 Atlas,這將讓 Atlas 得以在設(shè)備端搭載此前僅服務(wù)器才具備的計算能力、實現(xiàn)邊緣端 AI 工作負載加速、高帶寬數(shù)據(jù)處理及大容量內(nèi)存支持。
除人形機器人外,Jetson Thor 還將為各類機器人應用提速,包括手術(shù)輔助機器人、智能牽引車、配送機器人、工業(yè)機械臂及視覺 AI 智能體等,能在邊緣端為規(guī)模更大、復雜度更高的 AI 模型提供實時推理能力。
機器人實時推理能力的巨大飛躍
Jetson Thor 專為生成式推理模型打造,可支持下一代物理 AI 智能體。這類智能體由大型 transformer 模型、視覺語言模型及視覺語言動作模型驅(qū)動,能夠在邊緣端實時運行,最大限度降低對云端的依賴。
Jetson Thor 通過 Jetson 軟件棧優(yōu)化,可滿足實時應用對低延遲與高性能的需求,且支持所有主流生成式 AI 框架與 AI 推理模型,實時性能優(yōu)勢顯著。這些模型包括 Cosmos Reason、DeepSeek、Llama、Gemini、Qwen 等通用模型,以及 Isaac GR00T N1.5 等機器人專用模型,開發(fā)者可輕松在本地開展模型實驗以及運行推理。
通過多傳感器輸入,NVIDIA Jetson Thor 進一步拓展了實時推理能力。通過 FP4 精度與推測解碼優(yōu)化,其性能有望進一步提升。
依托 NVIDIA CUDA 生態(tài)系統(tǒng)對全生命周期的支持,隨著未來軟件版本更新,Jetson Thor 的吞吐量與響應速度預計將進一步提升。
Jetson Thor 模組還支持運行完整的 NVIDIA AI 軟件棧,為幾乎所有物理 AI 工作流提速,覆蓋的平臺包括面向機器人的 NVIDIA Isaac、面向視頻分析 AI 智能體的 NVIDIA Metropolis,以及面向傳感器處理的 NVIDIA Holoscan。
借助這些軟件工具,開發(fā)者可輕松構(gòu)建并部署各類應用,例如:能分析實時攝像頭流以監(jiān)控工人安全的視覺 AI 智能體、可在非結(jié)構(gòu)化環(huán)境中執(zhí)行操作任務(wù)的人形機器人,以及基于多攝像頭流數(shù)據(jù)、為外科醫(yī)生提供指導的智能手術(shù)室系統(tǒng)。
Jetson Thor 助力科研創(chuàng)新突破
斯坦福大學、卡內(nèi)基梅隆大學和蘇黎世大學的研究實驗室,正借助 Jetson Thor 突破感知、規(guī)劃與導航模型的能力邊界,探索其在各類潛在應用中的可能性。
卡內(nèi)基梅隆大學機器人學院的一支研究團隊,利用 NVIDIA Jetson 為自主機器人提供算力支持,這些機器人可在復雜的非結(jié)構(gòu)化環(huán)境中導航,執(zhí)行醫(yī)療分診及搜救等任務(wù)。
該大學研究副教授、AirLab 實驗室負責人 Sebastian Scherer 表示:“我們的研究成果取決于現(xiàn)有計算能力的上限。多年前,計算機視覺與機器人技術(shù)之間存在巨大斷層,因為計算機視覺工作負載的速度無法滿足實時決策需求。但如今,模型與計算能力已足夠強大,機器人能夠處理遠比以往更精細的任務(wù)?!?/p>
Scherer 預計,將團隊現(xiàn)有的 NVIDIA Jetson AGX Orin 系統(tǒng)升級為 Jetson AGX Thor 開發(fā)者套件后,不僅能提升 AI 模型性能(其中包括其獲獎機器人邊緣感知模型 MAC-VO),增強傳感器融合能力,還能開展機器人集群實驗。
釋放 Jetson Thor 的強大潛能
Jetson Thor 產(chǎn)品系列包含開發(fā)者套件與量產(chǎn)級模組。其中,開發(fā)者套件包含 Jetson T5000 模組、帶有豐富接口的參考載板、帶風扇的主動式散熱器及電源適配器。
NVIDIA Jetson AGX Thor 開發(fā)者套件
Jetson 生態(tài)系統(tǒng)可滿足各類應用需求,幫助企業(yè)開發(fā)者縮短產(chǎn)品上市周期。研華科技、Aetina、ConnectTech、米文動力、天準科技等硬件合作伙伴,正打造具備量產(chǎn)條件的 Jetson Thor 系統(tǒng),這些系統(tǒng)擁有靈活的輸入輸出接口、定制化配置,并能夠提供多種形態(tài)規(guī)格。
亞德諾半導體、e-con Systems、英飛凌、Leopard Imaging、RealSense、森云智能等傳感器與執(zhí)行器企業(yè),正借助 NVIDIA Holoscan Sensor Bridge(該平臺可簡化傳感器融合與數(shù)據(jù)流處理流程),將攝像頭、雷達、激光雷達等設(shè)備的傳感器數(shù)據(jù),以超低延遲直接傳輸至 Jetson Thor 的 GPU 內(nèi)存中。
目前,數(shù)千家軟件企業(yè)可借助在 Jetson Thor 上運行的多 AI 智能體工作流,升級其傳統(tǒng)視覺 AI 和機器人應用。Openzeka、Rebotnix、Solomon 及 Vaidio 等領(lǐng)先企業(yè)已率先采用該產(chǎn)品。
全球已有超過 200 萬開發(fā)者使用 NVIDIA 技術(shù)加速機器人開發(fā)工作。閱讀有關(guān)技術(shù)博客,觀看開發(fā)者套件操作指南,即刻開始使用 Jetson Thor。
想要親身體驗 Jetson Thor,可報名參與即將舉辦的、由 Seeed Studio 與 Hugging Face 旗下 LeRobot 發(fā)起的黑客松活動。
NVIDIA Jetson AGX Thor 開發(fā)者套件現(xiàn)已發(fā)售,定價 3,499 美元。NVIDIA Jetson T5000 模組也已發(fā)售,購買 1,000 片以上單價 2,999 美元。即刻通過 NVIDIA 授權(quán)合作伙伴購買。
NVIDIA 今天也宣布,面向自動駕駛汽車和移動解決方案的 NVIDIA DRIVE AGX Thor 開發(fā)者套件已經(jīng)開放預訂,預計 9 月開始發(fā)貨。