▲ 文心4.5系列模型在Benchmark上效果體現(xiàn)

百度此次開源不僅是模型權(quán)重和代碼的開放，更配套升級了全棧開發(fā)工具鏈：

• 文心大模型開發(fā)套件ERNIEKit：提供開箱即用的模型微調(diào)工具

• 大模型高效部署套件FastDeploy：支持多種芯片適配，降低部署門檻

• 廣泛硬件兼容性：支持從云端服務(wù)器到邊緣設(shè)備的全場景部署

這種“模型+工具鏈”的開源模式，標(biāo)志著百度從單純的技術(shù)輸出轉(zhuǎn)向生態(tài)構(gòu)建的戰(zhàn)略升級。

2

文心4.5系列開源模型核心技術(shù)亮點

多模態(tài)異構(gòu)架構(gòu)領(lǐng)跑AGI賽道

文心4.5系列的核心創(chuàng)新，在于其針對MoE架構(gòu)提出的多模態(tài)異構(gòu)模型結(jié)構(gòu)。這一設(shè)計解決了從大語言模型向多模態(tài)模型持續(xù)預(yù)訓(xùn)練的關(guān)鍵難題——在保持文本任務(wù)性能的同時，顯著增強多模態(tài)理解能力。

關(guān)鍵技術(shù)突破點包括：

■ 多模態(tài)混合專家模型預(yù)訓(xùn)練

通過模態(tài)隔離路由和異構(gòu)專家并行策略，實現(xiàn)文本與視覺模態(tài)的聯(lián)合訓(xùn)練，避免模態(tài)間干擾。

■ 高效訓(xùn)練推理框架

為了支持文心4.5模型的高效訓(xùn)練，百度提出了異構(gòu)混合并行和多層級負(fù)載均衡策略。通過節(jié)點內(nèi)專家并行、顯存友好的流水線調(diào)度、FP8混合精度訓(xùn)練和細(xì)粒度重計算等多項技術(shù)，顯著提升了預(yù)訓(xùn)練吞吐。

推理方面，提出了多專家并行協(xié)同量化方法和卷積編碼量化算法，實現(xiàn)了效果接近無損的4-bit 量化和2-bit 量化。此外，我們還實現(xiàn)了動態(tài)角色轉(zhuǎn)換的預(yù)填充、解碼分離部署技術(shù)，可以更充分地利用資源，提升文心4.5 MoE 模型的推理性能?；陲w槳框架，文心4.5在多種硬件平臺均表現(xiàn)出優(yōu)異的推理性能。

■ 針對模態(tài)的后訓(xùn)練

每個模型采用了 SFT、DPO或UPO（Unified Preference Optimization，統(tǒng)一偏好優(yōu)化技術(shù)）的多階段后訓(xùn)練。

市場格局的重塑：

從“堆參數(shù)”到“重效率”的轉(zhuǎn)向

開源浪潮推動了市場格局從“參數(shù)競賽”向“效率競爭”的轉(zhuǎn)向。傳統(tǒng)閉源模型依賴高額授權(quán)費構(gòu)建商業(yè)模式，而開源模型通過免費策略快速占領(lǐng)開發(fā)者市場，再通過云服務(wù)、行業(yè)定制等增值服務(wù)實現(xiàn)盈利。例如，百度文心一言的免費開放，雖面臨短期虧損壓力，但通過擴大用戶基礎(chǔ)，為后續(xù)商業(yè)服務(wù)鋪路。阿里則聚焦基礎(chǔ)模型研發(fā)，中小企業(yè)基于開源開發(fā)垂直場景應(yīng)用，形成“大模型后市場”，覆蓋醫(yī)療、電力、金融等領(lǐng)域，衍生出智能巡檢、AI客服等解決方案。

端側(cè)智能與隱私保護需求的崛起，進一步加速了市場分化。開源模型推動端側(cè)AI爆發(fā)，聯(lián)想、華為等廠商在PC、手機端部署本地化模型，實現(xiàn)隱私數(shù)據(jù)零上傳。DeepSeek開源的低成本推理技術(shù)，使消費級顯卡可運行億級參數(shù)模型，加速了智能終端的普惠化。這種“端側(cè)+行業(yè)”的創(chuàng)新模式，不僅解決了通用云端模型的差異化需求難題，還通過訓(xùn)推一體機廠商的硬件優(yōu)化，將模型部署周期從月級縮短至天級，推動了AI在制造、能源等高隱私要求行業(yè)的落地。

結(jié)語：

百度通過開源文心4.5系列，不僅展示了在多模態(tài)架構(gòu)、高效訓(xùn)練、量化技術(shù)上的領(lǐng)先性，更以實際行動力推大模型技術(shù)普惠。文心4.5系列的開源，恰是為這場效率革命按下了加速鍵。當(dāng)技術(shù)民主化的浪潮席卷產(chǎn)業(yè)，真正的贏家或許是那些在開源土壤中破土而出的萬千創(chuàng)新者——他們手執(zhí)效率之刃，正在切開智能世界的新截面。

lixiangjing

算力豹主編