亚洲337少妇裸体艺术,在线看片韩国免费人成视频

最常見的，MGX主要面向OEM服務(wù)器廠商，服務(wù)器廠商用它做成AI服務(wù)器。HGX常用在超大規(guī)模數(shù)據(jù)中心里，由像Supermicro這樣的ODM廠商生產(chǎn)。而DGX是一個集成度最高的方案，開箱即用，看起來金光閃閃，印有NVIDIA Logo的就是。

因為Colossus也是超大規(guī)模數(shù)據(jù)中心，所以，就用了HGX，選擇的提供商是Supermicro。STH能進(jìn)入Colossus內(nèi)部，除了要感謝馬斯克，也還得謝謝Supermicro。

Colossus這里采用的是Supermicro的4U服務(wù)器，每臺服務(wù)器有8塊H100，把8臺這樣的服務(wù)器放到一個機架里，單機架就有了64塊H100。以8個機架為一組，每組就含有512塊H100 GPU，整個Colossus有大概200個機架組。

Supermicro這臺4U液冷服務(wù)器是完全面向液冷設(shè)計的服務(wù)器，而不是風(fēng)冷改造的，這樣可以提供更好的液冷散熱。此外，這款服務(wù)器有更高的可維護(hù)性，服務(wù)器的組件都安裝在托盤上，可以在不移出機架的情況下對服務(wù)器進(jìn)行維護(hù)。

服務(wù)器后面板配有四個冗余電源，安裝有三相供電系統(tǒng)，還能看到400GbE以太網(wǎng)網(wǎng)線，以及一個1U機架大小的歧管，配合底部的帶有冗余水泵的CDU（冷卻分配單元），為整個液冷系統(tǒng)提供支持。

Colossus的存儲部分也用了Supermicro的存儲設(shè)備，設(shè)備中配備了大量2.5英寸的NVMe存儲槽。這讓我想起了最近一則消息，有外媒傳出，特斯拉要向SK海力士（Solidigm）采購大量企業(yè)級SSD的新聞。

隨著AI集群規(guī)模的擴大，存儲系統(tǒng)逐漸從基于磁盤的存儲轉(zhuǎn)向閃存存儲，因為閃存不僅能顯著節(jié)省電力，還能提供更高的性能和密度，盡管每PB成本更高，但從整體擁有成本（TCO）來看，在這種規(guī)模的集群中，閃存更具優(yōu)勢。

多數(shù)超算都在使用InfiniBand等技術(shù)，而xAI團(tuán)隊選擇了英偉達(dá)的Spectrum-X以太網(wǎng)方案，不僅獲得了超強的可擴展性，部署和維護(hù)成本也更低了。在高帶寬、低延遲場景中表現(xiàn)更好，搭配智能流量管理功能，提供了高效的數(shù)據(jù)傳輸。

具體而言，網(wǎng)絡(luò)部分采用了Spectrum SN5600交換機提供高達(dá)800Gb/s的端口，每個GPU配備400GbE的BlueField-3 SuperNIC專用網(wǎng)卡，提供GPU間的RDMA連接。另有400Gb的網(wǎng)卡給CPU用，算下來，每臺服務(wù)器的以太網(wǎng)帶寬總計3.6 Tbps。

xAI為GPU、CPU和存儲各自建立了獨立的網(wǎng)絡(luò)，這樣可以確保GPU和CPU之間的通信需求得到優(yōu)化，GPU網(wǎng)絡(luò)專注于高速的RDMA數(shù)據(jù)傳輸，而CPU網(wǎng)絡(luò)則支持其他管理和計算任務(wù)，從而提高整個系統(tǒng)的性能和效率。

Patrick在文中表示，不要小瞧400GbE的速度，這個帶寬甚至超過了2021年初頂級Intel 至強服務(wù)器處理器的所有PCIe通道總帶寬。而現(xiàn)在，每臺服務(wù)器就配備了9條這樣的連接速度。就問你快不快？？

英偉達(dá)提到，在訓(xùn)練Grok這種超大型模型時，整個系統(tǒng)都沒有出現(xiàn)任何因流量沖突，而造成的應(yīng)用延遲增加或數(shù)據(jù)包丟失的情況。Spectrum-X的擁塞控制功能，能將系統(tǒng)數(shù)據(jù)吞吐量保持在95%，而傳統(tǒng)以太網(wǎng)在發(fā)生沖突時，只能提供60%的數(shù)據(jù)吞吐量。

在Colossus超級計算機外部，可以看到大量Tesla Megapack電池。由于計算集群在啟動和停止時存在毫秒級的電力波動，電網(wǎng)或馬斯克的柴油發(fā)電機難以應(yīng)對，因此采用了Tesla Megapack作為電網(wǎng)與超算之間的能量緩沖裝置，確保供電穩(wěn)定。