圖源:英偉達(dá)
借助 Project DIGITS,用戶可以使用自己的桌面系統(tǒng)開發(fā)和運(yùn)行模型推理,并在加速的云或數(shù)據(jù)中心基礎(chǔ)設(shè)施上無縫部署模型。
NVIDIA 創(chuàng)始人兼首席執(zhí)行官黃仁勛表示:“AI 將成為每個行業(yè)的主流應(yīng)用。借助 Project DIGITS,Grace Blackwell 超級芯片將惠及數(shù)百萬開發(fā)者,將 AI 超級計算機(jī)置于每位數(shù)據(jù)科學(xué)家、AI 研究人員和學(xué)生的案頭,助力他們參與并締造 AI 時代?!?/p>
高能效的 GB10 超級芯片提供至高可達(dá) 1 PFLOPS 的 AI 性能
GB10 超級芯片是一款基于 NVIDIA Grace Blackwell 架構(gòu)的片上系統(tǒng) (SoC),能以 FP4 計算精度提供至高可達(dá) 1 PFLOPS AI 性能。
GB10 采用搭載最新一代 CUDA? core 和第五代 Tensor Cores 的 NVIDIA Blackwell GPU,通過 NVLink?-C2C 片間互連與一顆高性能 NVIDIA Grace? CPU 互聯(lián),該 CPU 采用 ARM 架構(gòu)并具有 20 個高效節(jié)能內(nèi)核。聯(lián)發(fā)科是基于 ARM 架構(gòu)的 SoC 設(shè)計的市場領(lǐng)導(dǎo)者,他們參與了 GB10 的設(shè)計,為一流的能效、性能和互連做出貢獻(xiàn)。
GB10 超級芯片讓 Project DIGITS 只需使用標(biāo)準(zhǔn)電源插座就能提供強(qiáng)大的性能。每個 Project DIGITS 都配有 128GB 的統(tǒng)一的高一致性內(nèi)存和 4TB 的 NVME 存儲。利用 Project DIGITS,開發(fā)者可以運(yùn)行包含高達(dá) 200B 參數(shù)的大語言模型,加速 AI 創(chuàng)新。通過 NVIDIA ConnectX? 網(wǎng)絡(luò),可以將兩臺 Project DIGITS AI 超級計算機(jī)連接在一起,運(yùn)行包含高達(dá) 4050 億參數(shù)的模型。
Grace Blackwell AI 超級計算觸手可及
借助 Grace Blackwell 架構(gòu),企業(yè)和研究員可以在運(yùn)行基于 Linux 的 NVIDIA DGX OS 的本地 Project DIGITS 系統(tǒng)上進(jìn)行模型原型設(shè)計、調(diào)優(yōu)和測試,并將其無縫部署在 NVIDIA DGX Cloud?、加速云實例或數(shù)據(jù)中心基礎(chǔ)設(shè)施上。
開發(fā)者可以在 Project DIGITS 上制作 AI 原型,然后在使用相同的 Grace Blackwell 架構(gòu)和 NVIDIA AI Enterprise 軟件平臺的云端或數(shù)據(jù)中心基礎(chǔ)設(shè)施上進(jìn)行擴(kuò)展。
Project DIGITS 用戶可以訪問用于實驗和原型設(shè)計的龐大 NVIDIA AI 軟件庫,包括 NVIDIA NGC 目錄和 NVIDIA 開發(fā)者門戶網(wǎng)站中提供的軟件開發(fā)套件、編排工具、框架和模型。開發(fā)者可使用 NVIDIA NeMo? 框架進(jìn)行模型微調(diào),利用 NVIDIA RAPIDS? 庫來加速數(shù)據(jù)科學(xué),并運(yùn)行 PyTorch、Python 和 Jupyter notebooks 等常用框架。
開發(fā)者還可以通過 NVIDIA 開發(fā)者計劃使用 NVIDIA Blueprint 和 NVIDIA NIM? 微服務(wù),進(jìn)行研究、開發(fā)和測試,以構(gòu)建代理式 AI 應(yīng)用。當(dāng) AI 應(yīng)用準(zhǔn)備就緒,可從實驗階段轉(zhuǎn)向生產(chǎn)環(huán)境時,NVIDIA AI Enterprise 許可證提供企業(yè)級的安全性、支持和 NVIDIA AI 軟件的產(chǎn)品發(fā)布。