Compass Arena由上海人工智能實(shí)驗(yàn)室OpenCompass司南評(píng)測(cè)體系與魔搭社區(qū)聯(lián)合建設(shè)，前者負(fù)責(zé)組織評(píng)測(cè)，后者負(fù)責(zé)開源模型引入及社區(qū)打造。據(jù)上海人工智能實(shí)驗(yàn)室OpenCompass團(tuán)隊(duì)介紹，Compass Arena力求體現(xiàn)社區(qū)用戶的真實(shí)反饋，評(píng)測(cè)機(jī)制借鑒Chatbot Arena，采用Elo評(píng)分系統(tǒng)，即國(guó)際象棋等對(duì)弈活動(dòng)評(píng)估的權(quán)威標(biāo)準(zhǔn)。在這種模式下，大模型競(jìng)技類似“在游戲中打排位”，勝率成為評(píng)估模型水平的關(guān)鍵指標(biāo)，同時(shí)隨著排位變高，系統(tǒng)也會(huì)自動(dòng)匹配高段位選手進(jìn)行對(duì)戰(zhàn)。

與Chatbot Arena相比，Compass Arena更聚焦中文大模型，主流國(guó)產(chǎn)大模型全覆蓋，同時(shí)評(píng)測(cè)用戶大多使用中文，可以充分評(píng)估國(guó)產(chǎn)大模型的性能。

目前，Compass Arena已匯聚超20款商業(yè)及社區(qū)模型，包括Qwen-Max、ERNIE-4.0-8K、Spark3.5 Max、Abab6.5、GLM4等國(guó)內(nèi)頭部廠商的旗艦款大模型，并引入了Llama3、Mixtral等海外標(biāo)桿模型進(jìn)行參照。更多模型及廠商還在不斷加入中。

上線不到一周，已有上萬人訪問魔搭Compass Arena頁面。魔搭社區(qū)表示，歡迎廣大開發(fā)者和網(wǎng)友參與大模型排位賽的投票，共同促進(jìn)國(guó)產(chǎn)大模型的進(jìn)步和趕超。后續(xù)，Compass Arena首期排行榜將揭曉，并將定期公布更新。

魔搭社區(qū)Compass Arena鏈接：https://www.modelscope.cn/studios/opencompass/CompassArena

Compass Arena首批大模型名單：
Abab6.5-Chat (MiniMax)
Baichuan 4 (百川智能)
C4AI Command R+ (Cohere)
DBRX-Instruct (DataBricks)
Deepseek-LLM-67B-Chat（深度求索）
Deepseek-MoE-16B-Chat（深度求索）
Doubao-Pro-4K (字節(jié)豆包)
ERNIE-4.0-8K (百度文心一言)
GLM4 (智譜AI)
Hunyuan-Pro (騰訊混元)
InternLM2系列（上海AILab書生?浦語）
Llama3系列（Meta）
Mixtral 8x22B Instruct (Mistral)
MoonShot-V1-32K (月之暗面)
Qwen1.5系列 (阿里通義千問)
Qwen-Max (阿里通義千問)
Spark3.5-Max (訊飛星火)
Yi-34B-Chat (零一萬物)
Yi-Large (零一萬物)

xiesc