隨著基于大語言模型的 AI 項目從概念驗證階段進入生產(chǎn)階段，企業(yè)對高能效、高安全性和高度可擴展解決方案的需求日益迫切。摩根士丹利最近發(fā)布的一份研究報告預測，在未來幾年，生成式 AI 的電力需求將以每年 75% 的速度激增，其2026 年的能耗或?qū)⑴c西班牙 2022 年的全年能耗相當。¹ 許多 IBM 客戶表示，支持適當規(guī)模的基礎模型和針對 AI 工作負載的混合架構(gòu)越來越重要。

此次IBM發(fā)布的主要創(chuàng)新技術(shù)包括：

• IBM Telum II 處理器：這一全新芯片將搭載于下一代?IBM Z 系列主機，與第一代 Telum 芯片相比，其頻率和內(nèi)存容量均有提升，高速緩存提升40%；集成 AI 加速器內(nèi)核和數(shù)據(jù)處理單元 (DPU) 的性能也得到改善。IBM Telum II處理器將支持大語言模型驅(qū)動的企業(yè)計算解決方案，滿足金融等行業(yè)的復雜交易需求。
• IO 加速單元：Telum II 處理器芯片上的全新數(shù)據(jù)處理單元 (DPU) 旨在加速大型主機上用于聯(lián)網(wǎng)和數(shù)據(jù)存儲的復雜 IO 協(xié)議，可簡化系統(tǒng)操作，提高關鍵組件性能。
• IBM Spyre加速器：可提供額外的AI計算能力，與 Telum II 處理器相得益彰。Telum II 和 Spyre 芯片共同構(gòu)成了一個可擴展的架構(gòu)，可支持AI集成建模方法，即將多個機器學習或深度學習的AI模型與基于編碼器的大語言模型相結(jié)合。通過利用每個模型架構(gòu)的優(yōu)勢，AI集成的方法可以生成比單個模型更準確、更穩(wěn)健的結(jié)果。Spyre 加速器芯片在 Hot Chips 2024 大會期間進行了預覽，并將作為Telum II 處理器的附加選件提供。每個加速器芯片均與IBM 研究院合作開發(fā)，通過一個 75 瓦 PCIe 適配器連接。與其他 PCIe 卡一樣，Spyre 加速器可根據(jù)客戶需求進行擴展。

IBM主機和LinuxONE 產(chǎn)品管理副總裁 Tina Tarquinio 表示：”得益于IBM強大的多代并行的開發(fā)路線圖，我們得以在保持技術(shù)領先的同時，滿足企業(yè)不斷升級的 AI 需求。Telum II 處理器和 Spyre 加速器旨在提供安全、節(jié)能、高性能的企業(yè)計算解決方案。這些多年研發(fā)的創(chuàng)新成果將被引入下一代 IBM Z 平臺，幫助客戶大規(guī)模利用大語言模型和生成式 AI技術(shù)。”

Telum II 處理器和 IBM Spyre 加速器將由 IBM的長期合作伙伴三星晶圓代工（Samsung Foundry）生產(chǎn)，采用其高性能、高能效的 5 納米工藝節(jié)點。二者將共同支持企業(yè)的先進AI 用例，釋放業(yè)務價值，從而創(chuàng)造新的競爭優(yōu)勢。利用AI集成的方法，客戶可以更快、更準確地獲得預測結(jié)果。適用的生成式 AI用例包括：

• 保險理賠欺詐檢測：通過AI集成方法將大語言模型與傳統(tǒng)神經(jīng)網(wǎng)絡相結(jié)合，以提高性能和準確性，增強對保險理賠欺詐的檢測。
• 反洗錢高級監(jiān)測：對可疑金融活動進行高級檢測，支持遵守監(jiān)管要求并降低金融犯罪風險。
• AI 助手：加速應用生命周期、知識和專業(yè)技能的傳授、代碼解釋和轉(zhuǎn)換等。

規(guī)格和性能指標：

• Telum II 處理器：配備八個運行頻率達?5.5GHz的高性能內(nèi)核，每個內(nèi)核配備 36MB二級高速緩存，片上高速緩存容量增加 40%（總?cè)萘窟_ 360MB）。每個處理器抽屜的虛擬 L4 高速緩存為 2.88GB，相比上一代增加 40%。集成的 AI 加速器可實現(xiàn)低延遲、高吞吐量的交易中AI 推理，例如增強金融交易期間的欺詐檢測，并且每塊芯片的計算能力是上一代的四倍。
  
  Telum II 芯片中集成了最新的 I/O 加速單元 DPU。在設計上，其I/O 密度提高 50%，可大幅提高數(shù)據(jù)處理能力，進一步提高 IBM Z 的整體效率和可擴展性，使其成為處理大規(guī)模AI工作負載和數(shù)據(jù)密集型應用的不二之選。
  
• Spyre 加速器：這是一款專為復雜AI模型和生成式AI用例提供可擴展功能的企業(yè)級加速器。它有高達 1TB 的內(nèi)存，可在普通 IO 抽屜的八塊卡上串聯(lián)工作，以支持大型主機的整體AI 工作負載，同時每塊卡的功耗不超過 75W。每塊芯片由32 個計算內(nèi)核組成，支持 int4、int8、fp8 和 fp16 數(shù)據(jù)類型，適用于低延遲和高吞吐量的 AI 應用。

產(chǎn)品時間表

作為 IBM 下一代 IBM Z 和 IBM LinuxONE 平臺的中央處理器，Telum II 處理器預計在 2025 年向 IBM Z 和 LinuxONE 客戶提供。IBM Spyre 加速器仍在技術(shù)預覽階段，預計也將于 2025 年推出。

zhupb