在大會(huì)期間，螞蟻集團(tuán)副總裁徐鵬介紹了螞蟻集團(tuán)在AIGC模型上的探索和實(shí)踐。他認(rèn)為，AIGC大模型將會(huì)發(fā)揮越來越大的作用，而螞蟻集團(tuán)作為人工智能領(lǐng)域的一個(gè)十多年的實(shí)踐者，希望通過AIGC大模型的發(fā)展，為世界帶來一些微小而美好的改變。

螞蟻集團(tuán)在AI方面有長期積累

螞蟻集團(tuán)是一家知名的金融科技公司，其金融屬性主要來自旗下的支付寶平臺(tái)。科技屬性方面，源自在科技研發(fā)上的高投入。2022年，螞蟻集團(tuán)在研發(fā)上投入大約204.6億。并且，螞蟻集團(tuán)共有18,678項(xiàng)有授權(quán)的專利，其中，超過95%都是發(fā)明專利。

螞蟻集團(tuán)還是開源技術(shù)領(lǐng)域的重要參與者，截止到2022年底，螞蟻集團(tuán)貢獻(xiàn)了超過300多個(gè)項(xiàng)目，包含1,500個(gè)開源代碼庫，總的貢獻(xiàn)者數(shù)量達(dá)到了6,000左右。在開源領(lǐng)域的活躍度，不僅能展示在技術(shù)上的優(yōu)勢(shì)，也能表明一家公司在技術(shù)方面持續(xù)投入的決心。

不僅如此，我們看到螞蟻集團(tuán)在技術(shù)上的投入還在不斷加碼。2021年4月，螞蟻集團(tuán)還成立了螞蟻技術(shù)研究院。徐鵬表示，螞蟻技術(shù)研究院是為了強(qiáng)化螞蟻在技術(shù)探索和創(chuàng)新方面的一個(gè)機(jī)制，研究院致力做有用、有想象力的科研，開展前沿科技探索。

螞蟻技術(shù)研究院有一個(gè)交互智能實(shí)驗(yàn)室，實(shí)驗(yàn)室主要聚焦計(jì)算機(jī)視覺和自然語言基礎(chǔ)模型方向，會(huì)去開發(fā)通用人工智能算法架構(gòu)，包括內(nèi)容生成、多模態(tài)理解、數(shù)字人技術(shù)等人機(jī)交互關(guān)鍵技術(shù)，這與如今由ChatGPT掀起的生成式AI技術(shù)浪潮息息相關(guān)。

從徐鵬的介紹中了解到，由于需要降本增效并且提高使用體驗(yàn)，螞蟻集團(tuán)在AI方面一直在持續(xù)投入。這是因?yàn)椋浵伡瘓F(tuán)在多種場(chǎng)景中都能用到AI，比如，有了AI之后，可以實(shí)現(xiàn)營銷服務(wù)、風(fēng)控和理財(cái)?shù)确矫娴闹悄芑?/p>

螞蟻集團(tuán)多年來深耕AI領(lǐng)域，結(jié)合螞蟻集團(tuán)自身業(yè)務(wù)特點(diǎn)建立了多種AI能力，包括自然語言處理、多模態(tài)學(xué)習(xí)、知識(shí)圖譜、圖機(jī)器學(xué)習(xí)以及運(yùn)籌優(yōu)化等多個(gè)方面。徐鵬對(duì)于認(rèn)為這些能力對(duì)于螞蟻的業(yè)務(wù)場(chǎng)景有明顯價(jià)值。

2023年前后開始，隨著以ChatGPT為代表的生成式AI技術(shù)的興起，螞蟻集團(tuán)對(duì)于AI未來的發(fā)展也有了更多想法。

螞蟻集團(tuán)的AIGC模型戰(zhàn)略和基礎(chǔ)大語言模型

徐鵬提到了螞蟻集團(tuán)在AIGC模型上的整體戰(zhàn)略，核心就是要提升AIGC模型研發(fā)效能和技術(shù)先進(jìn)性，建設(shè)可持續(xù)發(fā)展的AIGC研發(fā)范式和開放共贏的應(yīng)用生態(tài)，建設(shè)一流的基礎(chǔ)模型，行業(yè)模型，實(shí)現(xiàn)toC、toB產(chǎn)品落地。

作為戰(zhàn)略當(dāng)中的核心構(gòu)成，螞蟻發(fā)布了螞蟻基礎(chǔ)大模型，大模型具體又分為語言大模型和多模態(tài)的大模型兩種能力，它面向場(chǎng)景衍生出了金融模型、安全模型、醫(yī)療模型等多種模型，配合螞蟻技術(shù)研究院的交互智能實(shí)驗(yàn)室，將模型應(yīng)用于多個(gè)行業(yè)場(chǎng)景當(dāng)中。

戰(zhàn)略實(shí)施半年后，螞蟻集團(tuán)建立了AIGC模型數(shù)據(jù)體系和AIGC模型工程體系。前者負(fù)責(zé)數(shù)據(jù)的采集、加工、處理，后者負(fù)責(zé)模型訓(xùn)練、部署和調(diào)優(yōu)，將其用在業(yè)務(wù)場(chǎng)景中。

為了提高AIGC模型研發(fā)效能和技術(shù)先進(jìn)性，螞蟻集團(tuán)在軟硬結(jié)合方面做了很多優(yōu)化，也做了一些國產(chǎn)化適配的工作。

特別值得注意的是，為了提高訓(xùn)練效率，螞蟻集團(tuán)開發(fā)了智能分布式訓(xùn)練引擎和分布式推理引擎，利用分布式可擴(kuò)展的特點(diǎn)來快速對(duì)模型進(jìn)行訓(xùn)練和迭代，在下文即將提到的金融大模型訓(xùn)練中，底層算力集群達(dá)到了驚人的萬卡規(guī)模。

除了構(gòu)建準(zhǔn)備數(shù)據(jù)和訓(xùn)練模型的基礎(chǔ)平臺(tái)，螞蟻集團(tuán)也開發(fā)了基礎(chǔ)大語言模型，該模型采用了Transformer技術(shù)，使用了英偉達(dá)的顯卡加速器，采用了螞蟻?zhàn)匝械哪Ｐ图軜?gòu)，支持剛才提到的并行式的訓(xùn)練和推理引擎。

螞蟻集團(tuán)的基礎(chǔ)大語言模型經(jīng)過微調(diào)后，可以初步適應(yīng)某個(gè)應(yīng)用場(chǎng)景。隨后，可以利用強(qiáng)化學(xué)習(xí)讓其進(jìn)一步提升在場(chǎng)景上的能力。

在推理時(shí)，它還可以支持工具學(xué)習(xí)的能力，通過自然語言來調(diào)用API，這樣的能力使得模型不僅限于文本生成或理解，還能與其他軟件或服務(wù)進(jìn)行交互，從而執(zhí)行更復(fù)雜的任務(wù)。

為了減少資源浪費(fèi)并加速推理性能，螞蟻集團(tuán)的基礎(chǔ)大語言模型也支持量化，將模型使用的浮點(diǎn)數(shù)轉(zhuǎn)為精度更低的INT8和INT4整數(shù)，也支持減枝和蒸餾等手段來減小模型的規(guī)模。

此外，螞蟻還構(gòu)建了AIGC模型安全防護(hù)體系和評(píng)價(jià)體系，在保障模型安全運(yùn)行的同時(shí)，能不斷的優(yōu)化迭代模型本身。

從徐鵬的介紹中了解到，除了開發(fā)多模態(tài)模型以外，螞蟻技術(shù)研究還做了很多前沿性探索。比如，螞蟻開源的CoDeF突破了視頻生成方面的一個(gè)技術(shù)瓶頸，CoDeF可用于完成視頻風(fēng)格遷移任務(wù)，不僅細(xì)節(jié)多，產(chǎn)生的視頻整體效果更好，而且，所需的算力資源還更少。

螞蟻集團(tuán)正在考慮將AIGC模型應(yīng)用到toB的產(chǎn)業(yè)當(dāng)中，比如幫助用戶處理文檔，做視頻內(nèi)容的分析和編輯，對(duì)遙感影像進(jìn)行地塊分割、農(nóng)作物識(shí)別等任務(wù)。在面向個(gè)人用戶的toC場(chǎng)景上，螞蟻也在探索讓用戶以有趣的方式進(jìn)行交互。

落地：發(fā)布基于基礎(chǔ)大模型的金融大模型

在外灘大會(huì)舉辦期間，螞蟻集團(tuán)還正式發(fā)布了基于螞蟻?zhàn)匝谢A(chǔ)大模型的金融大模型，它針對(duì)金融產(chǎn)業(yè)深度定制，該大模型在金融專屬任務(wù)中表現(xiàn)突出，在“研判觀點(diǎn)提取”“金融意圖理解”“等領(lǐng)域達(dá)到行業(yè)專家水平。目前，螞蟻金融大模型已在螞蟻集團(tuán)的財(cái)富、保險(xiǎn)平臺(tái)上全面測(cè)試。

此外，同時(shí)發(fā)布的還有基于金融大模型能力的“支小寶2.0”和“支小助”。其中，“支小寶2.0”已內(nèi)測(cè)近半年，將在完成相關(guān)備案工作后上線。“支小助”正在與螞蟻平臺(tái)合作機(jī)構(gòu)內(nèi)測(cè)共建，是為理財(cái)顧問、保險(xiǎn)代理、投研、金融營銷、保險(xiǎn)理賠等金融專家準(zhǔn)備的AI助手。

據(jù)介紹，螞蟻金融大模型在萬億量級(jí)Token的通用語料基礎(chǔ)上，注入千億量級(jí)Token金融知識(shí)，并從300+真實(shí)產(chǎn)業(yè)場(chǎng)景中提取了共60萬+高質(zhì)量指令數(shù)據(jù)，形成了金融專屬任務(wù)性能優(yōu)化的優(yōu)勢(shì)數(shù)據(jù)資產(chǎn)。

落地：發(fā)布基于基礎(chǔ)大模型的代碼生成模型CodeFuse

同樣是在外灘大會(huì)期間，螞蟻集團(tuán)首次開源了基于螞蟻基礎(chǔ)大模型研發(fā)的代碼大模型CodeFuse。它可以根據(jù)開發(fā)者的輸入提供智能建議和實(shí)時(shí)支持，幫助開發(fā)者自動(dòng)生成代碼、自動(dòng)增加注釋，自動(dòng)生成測(cè)試用例，修復(fù)和優(yōu)化代碼等，以提升研發(fā)效率。

在近期代碼補(bǔ)全的HumanEval評(píng)測(cè)中，CodeFuse得分74.4%，超過GPT-4 的成績，也超過了WizardCoder-34B 73.2%的得分，在開源模型中位于國際前列。本次開源內(nèi)容包括代碼框架、模型等，現(xiàn)已上架相關(guān)平臺(tái)，模型可在HuggingFace直接下載。

基于CodeFuse的應(yīng)用場(chǎng)景有開發(fā)助手、IDE插件、數(shù)據(jù)分析器等，覆蓋了目前研發(fā)工作的主要需求，在螞蟻集團(tuán)內(nèi)部研發(fā)流程中陸續(xù)得到驗(yàn)證。CodeFuse面向多個(gè)層次的開發(fā)者。無論是初學(xué)者還是有經(jīng)驗(yàn)的開發(fā)者，CodeFuse都能夠提高編程效率和準(zhǔn)確性。

面向未來

隨著基于基礎(chǔ)大語言模型的金融大模型和CodeFuse的發(fā)布，標(biāo)志著螞蟻在AIGC方面邁出了重要一步。螞蟻集團(tuán)表示，未來將持續(xù)探索和精進(jìn)大模型的五大能力方向：

一是，建設(shè)高質(zhì)量的數(shù)據(jù)標(biāo)注團(tuán)隊(duì)，沉淀高質(zhì)量數(shù)據(jù)體系；二是，攻堅(jiān)基礎(chǔ)大模型算法，以及高效綠色工程能力，提升模型邏輯推理等能力；三是，從通用語言大模型到通用多模態(tài)大模型，從一般通識(shí)走向全面專業(yè)；四是，建設(shè)高效的大模型評(píng)測(cè)標(biāo)準(zhǔn)和評(píng)測(cè)體系，加快大模型迭代速度；五是，建設(shè)大模型安全能力，保障大模型健康可持續(xù)發(fā)展。

徐鵬表示，螞蟻集團(tuán)也在積極參與一些行業(yè)標(biāo)準(zhǔn)的建設(shè)，通過一些開放的評(píng)測(cè)，通過建立評(píng)測(cè)數(shù)據(jù)集，讓整個(gè)行業(yè)都可以享受大模型發(fā)展的紅利。

具體在產(chǎn)業(yè)落地方面，螞蟻將結(jié)合自身能力優(yōu)勢(shì)和自身業(yè)務(wù)當(dāng)中涉及到的多種場(chǎng)景，探索大模型技技術(shù)在金融、民生、科技服務(wù)等領(lǐng)域的落地應(yīng)用。

zhupb