在此背景下，Arm近日發(fā)布了全新的邊緣AI計算平臺，該平臺以全新的Arm Cortex-A320 CPU和領(lǐng)先的邊緣AI加速器Arm Ethos-U85 NPU為核心，可支持運行超10億參數(shù)的端側(cè)AI模型。

此次全新發(fā)布的Cortex-A320是Arm首個基于Armv9架構(gòu)的超高能效CPU，專為物聯(lián)網(wǎng)應(yīng)用優(yōu)化，也是全新邊緣AI計算平臺的核心組件。在性能方面，它較前代Cortex-A35提升了高達10倍的ML計算能力，標量計算性能提高了30%。其能效比較Cortex-A520提升了50%。此外，Cortex-A320最高可支持四核共享集群，可根據(jù)不同需求靈活擴展，滿足各種應(yīng)用場景的需求。值得一提的是，Cortex-A320充分利用了Armv9增強的安全性和 AI 計算特性，這些特性已經(jīng)在其他市場得到廣泛應(yīng)用，而Arm現(xiàn)在將其引入物聯(lián)網(wǎng)領(lǐng)域。

在安全性方面，Cortex-A320引入諸多Armv9增強的安全性特性，比如Secure EL2增強TrustZone內(nèi)部隔離性，支持更安全地運行軟件容器；指針驗證/分支目標識別（PACBTI）可有效緩解指針安全隱患；內(nèi)存標記擴展（MTE）則可通過內(nèi)存標記機制，提高系統(tǒng)整體安全性。

性能方面，Armv9的特性也帶來了AI計算能力的增強。比如，增強的Neon和可伸縮向量擴展(SVE2)技術(shù)，提供了更高效的ML計算能力；對例如BFloat16等新數(shù)據(jù)類型的支持，則提高AI計算的精度和能效；新增的矩陣乘法指令，優(yōu)化了AI和ML計算性能，加速神經(jīng)網(wǎng)絡(luò)推理和訓練任務(wù)。

正是這些改進使Cortex-A320成為物聯(lián)網(wǎng)設(shè)備的理想AI計算平臺，能夠高效執(zhí)行復(fù)雜的邊緣AI任務(wù)，同時保證系統(tǒng)的安全性、可靠性和數(shù)據(jù)完整性。

作為邊緣AI計算平臺的另一核心，Ethos-U85是Arm Ethos-U產(chǎn)品線中的第三代NPU，也是迄今為止性能和能效最強的Ethos NPU。與前代產(chǎn)品相比，該NPU的性能提升了四倍，能效提高了20%，并且可在主流網(wǎng)絡(luò)上實現(xiàn)高達85%的利用率。

去年Arm推出的集成了Cortex-M85和Ethos-U85的Arm Corstone物聯(lián)網(wǎng)參考設(shè)計平臺，顯著提升了端側(cè)Transformer網(wǎng)絡(luò)的執(zhí)行效率。如今，Ethos-U85 驅(qū)動程序進行了更新，使得Cortex-A320能夠直接驅(qū)動Ethos-U85，無需額外搭載Cortex-M。這一更新降低了延遲，并使Arm的合作伙伴可以去掉用于驅(qū)動AI加速器的額外控制器，從而降低成本和系統(tǒng)復(fù)雜性。

可以說，此次發(fā)布的邊緣AI計算平臺實現(xiàn)了CPU和AI加速器的深度配合，讓CPU和NPU相得益彰。Cortex-A320可以為Ethos-U85提供更高的內(nèi)存容量與帶寬，讓大模型在Ethos-U85上的執(zhí)行如虎添翼；任何開發(fā)者們不希望在Ethos-U85上運行的AI操作，可以回退到Cortex-A320，利用其Neon/SVE2引擎更靈活有效地在CPU上執(zhí)行。這使智能物聯(lián)網(wǎng)與消費類電子生態(tài)系統(tǒng)能夠在正確的時間，并在合適的地方運行最適合的工作負載。

真正的邊緣 AI 計算平臺需要靈活性，使工作負載既可以運行在 CPU，也可以運行在 AI 加速器。對于在CPU上運行的AI任務(wù)，開發(fā)者希望能夠獲得最優(yōu)的性能，這正是Arm Kleidi發(fā)揮作用的地方。去年，Arm推出了Kleidi軟件庫，并將其引入了智能手機和服務(wù)器市場，它包含優(yōu)化AI負載在Arm CPU上執(zhí)行的KleidiAI和加速機器視覺的KleidiCV。現(xiàn)在，Arm也將Kleidi擴展到了物聯(lián)網(wǎng)。

KleidiAI 是一套專為AI框架開發(fā)者設(shè)計的計算內(nèi)核，讓開發(fā)者可以無縫地在Arm CPU上獲取最佳性能，適用于各類設(shè)備。此外，KleidiAI已經(jīng)集成到多個主流 AI 框架，包括Llama.cpp、ExecuTorch和LiteRT（通過XNNPACK）它可以加速 Meta Llama 3和Phi-3等主流AI大模型，進一步釋放AI計算性能。

Arm物聯(lián)網(wǎng)事業(yè)部業(yè)務(wù)拓展副總裁馬健表示，此次Arm發(fā)布的全新邊緣AI計算平臺不僅是一次漸進式的升級，也代表了Arm為未來邊緣計算和AI處理提出的新范式。

憑借強大性能及能效、高安全性和完善的軟件生態(tài)，全新邊緣AI計算平臺將為物聯(lián)網(wǎng)發(fā)展注入新動力。未來，Arm將繼續(xù)引領(lǐng)邊緣AI技術(shù)發(fā)展，推動物聯(lián)網(wǎng)產(chǎn)業(yè)邁向新高度，開啟智能化新時代。

lixiangjing

算力豹主編