本次英特爾與阿里通義實(shí)驗(yàn)室聯(lián)合發(fā)布成果主要亮點(diǎn):

全新發(fā)布的Qwen3-VL系列模型在顯著提升視覺理解能力的同時(shí),還保持了強(qiáng)大的純文本處理能力,在復(fù)雜多模態(tài)任務(wù)中能夠展現(xiàn)出卓越性能。這是在Qwen3-Next系列模型亮相后的又一次創(chuàng)新發(fā)布。英特爾的XPU架構(gòu)和硬件特性,高度適配日趨復(fù)雜的模型結(jié)構(gòu),可將模型的鏈路(pipeline)進(jìn)行混合部署,在引入NPU加速模型推理的加持下,能夠?qū)崿F(xiàn)高性能、高性價(jià)比和高可擴(kuò)展性的端側(cè)部署。模型加硬件的創(chuàng)新能力,拓展了更多應(yīng)用場景,讓智能體多輪對話、長上下文窗口、增強(qiáng)的AI PC多模態(tài)感知能力和交互能力得以充分施展,進(jìn)一步縮短了AI PC的愿景與現(xiàn)實(shí)之間的距離。

英特爾Day0優(yōu)化Qwen3-VL MOE,多輪對話賦能AI PC更強(qiáng)理解力

近期開源的Qwen3-VL-235B-A22B系列模型,將視覺語言模型(VLM)的性能推上了新高度。Qwen3-VL大幅提升了視覺Agent、視覺編程和空間感知等關(guān)鍵能力,不僅可調(diào)用摳圖、搜索等工具完成“帶圖推理”,也可以憑借一張?jiān)O(shè)計(jì)草圖或一段小游戲視頻直接“視覺編程”,所見即所得地復(fù)刻圖表、網(wǎng)頁和復(fù)雜程序。在開發(fā)者期待之中,我們迎來了適合端側(cè)部署的Qwen3-VL-30B-A3B模型。

目前,英特爾酷睿Ultra平臺(tái)已經(jīng)實(shí)現(xiàn)了針對Qwen3-VL-30B-A3B模型的優(yōu)化部署。通過優(yōu)化算法,開發(fā)者可以在大參數(shù)量的模型推理過程中,避免重復(fù)計(jì)算,進(jìn)而提升多輪對話的推理效率。在典型的輸入場景下,吞吐量可以達(dá)到28tps。這使開發(fā)者可以充分發(fā)揮模型的agent能力,構(gòu)建復(fù)雜的使用場景,同時(shí)保證優(yōu)異流暢的運(yùn)行效果,這也將有助于解鎖更豐富的應(yīng)用場景。

下面的視頻展示的就是用Qwen3-VL-30B-A3B模型來實(shí)現(xiàn)的多圖片識(shí)別、多輪對話總結(jié)分析的智能體應(yīng)用。

英特爾AI PC部署Qwen3-Next大模型,解鎖更多端側(cè)智能體新應(yīng)用

Qwen3-Next-80B-A3B的創(chuàng)新架構(gòu),在大幅降低訓(xùn)練和推理成本的同時(shí),實(shí)現(xiàn)了接近甚至超越更大規(guī)模模型的性能,模型的長文本能力進(jìn)一步提升,滿足更復(fù)雜的智能體應(yīng)用需求。

其中對長上下文能力提升起到重要作用的Gated DeltaNet算子,可以被基于Xe架構(gòu)的英特爾GPU和NPU平臺(tái)原生支持,這體現(xiàn)了英特爾XPU硬件路線圖的戰(zhàn)略布局, 以及原生支持大模型架構(gòu)的發(fā)展趨勢。

現(xiàn)在,80B大模型已不再是云端專屬。Qwen3-Next-80B-A3B模型已經(jīng)高效部署在基于英特爾酷睿 Ultra 200系列處理器AI PC的 iGPU上。在32K長上下文的任務(wù)場景下,吞吐量可以達(dá)到23.43tps,是Qwen3-32B的十倍。

同時(shí),得益于推理性能和模型能力的提升,AI PC 上所搭載的智能體應(yīng)用場景也更為多樣,能夠更高效地應(yīng)對復(fù)雜任務(wù)需求。以下示例展示了基于Qwen3-Next-80B-A3B模型構(gòu)建的智能體,基于一個(gè)包含三萬六千字、《紅樓夢》前五回的長文本,完成內(nèi)容理解、情節(jié)續(xù)寫、人物關(guān)系梳理,并最終自動(dòng)生成演示文稿的全流程效果。

軟硬兼修是英特爾發(fā)力AI的大局觀。英特爾酷睿Ultra系列處理器奠定了本地AI創(chuàng)新的算力基石,加速了AI技術(shù)的普及與落地。而諸如OpenVINO的軟件生態(tài)則確保了AI模型與下一代Panther Lake AI PC平臺(tái)的原生兼容性,實(shí)現(xiàn)了從“當(dāng)前平臺(tái)”到“未來平臺(tái)”的平滑過渡與“即開即用”的流暢性能。

AI 的未來,根植于模型創(chuàng)新與軟硬件生態(tài)的協(xié)同,更得益于廣大社區(qū)和開發(fā)者的共創(chuàng)活力?;诖?,阿里通義實(shí)驗(yàn)室和英特爾客戶端事業(yè)部強(qiáng)強(qiáng)聯(lián)手,在模型Day 0成功合作的基礎(chǔ)上,聯(lián)合發(fā)起“端側(cè)AI創(chuàng)新挑戰(zhàn)賽”(了解詳情),此舉標(biāo)志著雙方合作從模型與硬件的深度適配,邁向推動(dòng)技術(shù)普惠與生態(tài)繁榮的新階段,旨在為開發(fā)者提供強(qiáng)大支撐,加速其應(yīng)用創(chuàng)新與商業(yè)落地進(jìn)程。

英特爾通過硬件平臺(tái)、軟件工具與生態(tài)網(wǎng)絡(luò)的深度協(xié)同,實(shí)現(xiàn)對新模型的Day 0適配,不僅加速了技術(shù)到應(yīng)用的轉(zhuǎn)化,更推動(dòng)著整個(gè) AI 產(chǎn)業(yè)的高效創(chuàng)新。未來,英特爾將持續(xù)深化與合作伙伴的協(xié)同,讓 AI 創(chuàng)新更快賦能千行百業(yè)和觸手可及。

了解“端側(cè)AI創(chuàng)新挑戰(zhàn)賽”的詳情情況,請參見:

https://marketing.csdn.net/p/2259814a3f79579b5f7a00ffb3f48582?pId= 3133

CPU Code NameDevice?ModelPrecisionInput SizeOutput Size2nd+ token/sec
Arrow LakeIntel? Core? Ultra 9 285H(iGPU)Qwen3-moe-VL -30B-A3BINT4653 (IMG resolution:960×686)12828.02

*The performance data was obtained through testing conducted using the OpenVINO framework on Ultra9 285H , computing happened on iGPU. The tests evaluated first-token latency, and average throughput for 960*686 resolution image input under int4-default precision settings. Each test was executed three times following a warm-up phase, with the avg value selected as the reported data.

CPU Code NameDevice?ModelPrecisionInput SizeOutput Size2nd+ token/sec
Arrow LakeIntel? Core? Ultra 9 285H(iGPU)Qwen3-Next-80B-A3B-InstructINT432K12823.43

*The performance data was obtained through testing conducted using the PyTorch framework on Ultra9 285H , computing happened on iGPU. The tests evaluated first-token latency, and average throughput for 32k input under sym-int4 precision settings. Each test was executed three times following a warm-up phase, with the avg value selected as the reported data.

通過使用 OpenVINO 框架版本 2025.2.0 在 英特爾? 酷睿? Ultra 7 258V 和 英特爾? 酷睿? Ultra 9 285H 上進(jìn)行測試獲得了性能數(shù)據(jù),計(jì)算過程發(fā)生在 iGPU 或 NPU 上。測試評估了首 Token 的延遲以及在 int4-mixed、int4-mixed-cw-sym 和 fp16 精度設(shè)置下 1K 輸入的平均吞吐量。每項(xiàng)測試在預(yù)熱階段后執(zhí)行三次,并選擇平均值作為報(bào)告數(shù)據(jù)。性能因使用方式、配置和其他因素而異。請?jiān)L問www.Intel.com/PerformanceIndex了解更多信息。

性能結(jié)果基于測試時(shí)的配置狀態(tài),可能未反映所有公開可用的更新內(nèi)容。請參閱相關(guān)文檔以獲取配置詳情。沒有任何產(chǎn)品或組件能夠保證絕對安全。您的實(shí)際成本和結(jié)果可能會(huì)有所不同。
相關(guān)英特爾技術(shù)可能需要啟用相關(guān)硬件、軟件或激活服務(wù)。

分享到

lixiangjing

算力豹主編

相關(guān)推薦