昆侖芯率先完成訓練推理DeepSeek全版本適配

在模型適配方面,昆侖芯領先業(yè)界。在DeepSeek-V3/R1上線不久,昆侖芯便率先完成全版本模型適配,這其中包括DeepSeek MoE 模型及其蒸餾的Llama/Qwen等小規(guī)模dense模型。

昆侖芯P800在性能上表現(xiàn)卓越,這使得昆侖芯在部署上更加輕松,運行成本顯著降低,還能輕松完成DeepSeek-V3/R1全版本推理任務。不僅如此,昆侖芯P800在DeepSeek系列MoE模型大規(guī)模訓練任務中也表現(xiàn)出色,全面支持MLA、多專家并行等特性,僅需32臺即可支持模型全參訓練,高效助力模型的持續(xù)訓練和微調(diào)。

同時,為了滿足企業(yè)客戶私有化部署的需求,百度智能云分別發(fā)布了百舸DeepSeek一體機、千帆DeepSeek一體機,均支持昆侖芯 P800 單機 8 卡部署滿血版 DeepSeek R1/V3。百舸DeepSeek一體機可滿足高性能訓練與推理需求,從開箱上電到服務上線最快僅需半天。而千帆DeepSeek一體機除了滿足訓推需求之外,還為企業(yè)提供了一站式的模型應用解決方案,能夠滿足企業(yè)全鏈路模型開發(fā)應用工具鏈需求,具備更強、更全面的應用開發(fā)能力。

百舸4.0助力昆侖芯萬卡集群建設,打造“多快穩(wěn)省”AI基礎設施

目前,百度智能云已成功點亮昆侖芯P800萬卡集群,這也是國內(nèi)首個正式點亮的自研萬卡集群。百度智能云將進一步點亮3萬卡集群。國產(chǎn)昆侖芯萬卡集群以及未來三萬卡集群的建設,從硬件到軟件,技術(shù)挑戰(zhàn)是全方位的。而24年9月升級的百度百舸AI異構(gòu)計算平臺4.0,圍繞落地大模型全旅程的算力需求,在集群創(chuàng)建、開發(fā)實驗、模型訓練、模型推理四大方面,能為企業(yè)提供“多芯、快、穩(wěn)、省”的AI基礎設施,在萬卡集群的建設中發(fā)揮了至關(guān)重要的作用。

在DeepSeek最擅長的推理能力方面,百度百舸還提供了針對在線推理服務的全生命周期管理、彈性擴縮容、自研框架推理加速、完備的運維監(jiān)控體系等優(yōu)勢能力,結(jié)合昆侖芯P800的強大算力,為用戶提供服務穩(wěn)定性的聯(lián)合保障,同時有效降低推理成本并提升推理性能。

分享到

zhupb

相關(guān)推薦