該生成式AI一站式解決方案將基于OPEA的微服務(wù)組件集成至用于部署英特爾至強(qiáng)處理器和Gaudi AI系統(tǒng)的、可擴(kuò)展的RAG解決方案中,可通過(guò)Kubernetes、Red Hat OpenShift等經(jīng)驗(yàn)證的編排框架進(jìn)行無(wú)縫擴(kuò)展,并提供兼具可靠性和系統(tǒng)遙測(cè)功能的標(biāo)準(zhǔn)化API。
●以開(kāi)放式軟件堆棧打破壁壘:幾乎所有大語(yǔ)言模型(LLM)的開(kāi)發(fā)都基于高抽象框架PyTorch,該框架由英特爾至強(qiáng)和Gaudi及相關(guān)技術(shù)提供支持,助力在英特爾AI系統(tǒng)及平臺(tái)上實(shí)現(xiàn)輕松開(kāi)發(fā)。同時(shí),英特爾攜手OPEA開(kāi)發(fā)了用于RAG和LLM部署的開(kāi)放式軟件堆棧。該軟件堆棧通過(guò)生成式AI一站式解決方案進(jìn)行優(yōu)化,并基于PyTorch、Hugging Face服務(wù)庫(kù)(TGI和TEI)、LangChain以及Redis向量數(shù)據(jù)庫(kù)所構(gòu)建。
●滿足開(kāi)發(fā)者需求:OPEA為企業(yè)提供開(kāi)源、標(biāo)準(zhǔn)化、模塊化,以及異構(gòu)的RAG流水線(pipeline),并致力于為開(kāi)放式模型及多種編譯器和工具鏈的開(kāi)發(fā)提供支持。其加速了針對(duì)垂直領(lǐng)域用例的容器化AI集成與交付。OPEA通過(guò)創(chuàng)建細(xì)化、可組合的框架,引領(lǐng)堆棧技術(shù)前沿,解鎖AI的全新可能。
憑借生成式AI一站式解決方案與全面的企業(yè)AI堆棧,英特爾提供了完整的解決方案,以應(yīng)對(duì)企業(yè)和數(shù)據(jù)中心在部署和擴(kuò)展RAG與LLM應(yīng)用時(shí)所面臨的挑戰(zhàn)。通過(guò)基于英特爾技術(shù)與產(chǎn)品的AI系統(tǒng)及平臺(tái),以及OPEA的優(yōu)化軟件,企業(yè)可以更高效、快速地發(fā)揮并利用生成式AI的巨大潛力。
現(xiàn)階段,如何將最新的AI計(jì)算技術(shù)應(yīng)用到企業(yè)中,并推動(dòng)關(guān)鍵業(yè)務(wù)成果落地,是企業(yè)亟待解決的問(wèn)題。通過(guò)與廣大行業(yè)合作伙伴的戰(zhàn)略合作,英特爾正為由生成式AI和RAG解決方案驅(qū)動(dòng)的AI服務(wù)創(chuàng)造更多新的可能性。