LLM Arena
Arena Intelligence Inc. · 商業 · 其他
LLM Arena 是免費的網頁平台，讓你在匿名對戰中比較 AI 模型、投票選出更好的回答，並看著公開排行榜隨這些票數變動。
關於 LLM Arena
About
LLM Arena 是什麼
LLM Arena 是群眾外包的 AI 模型測試場，由 Arena Intelligence Inc. 營運，公司源自加州大學柏克萊分校的研究團隊。你輸入一段指令，兩個匿名模型分別回答，你再挑出自己偏好的那一個。這一票會進入公開排名，而排名由數百萬次類似的比較累積而成。
專案在 2023 年以 Chatbot Arena 之名起步，原本是 LMSYS 開源模型團隊的旁支實驗。後來每逢實驗室發表新模型，許多人第一件事就是打開它看結果。名稱先改成 LMArena，再改成 Arena，機制倒是沒變：用真實使用者做盲測，而不是固定題庫。
它給你的是快速判斷：某類工作裡，大家實際偏好哪些模型。它不給你正確性的保證。投票衡量的是偏好，寫得自信的錯誤答案照樣能贏下一輪。把 AI 模型排行榜當成眾多訊號之一，別當成判決。
開始使用
- 用瀏覽器打開網站。開始對戰不需要註冊，也不用付費。
- 選擇模式：Battle 進行匿名對戰，Side by Side 自行挑兩個具名模型，Direct 則與單一模型對話。
- 輸入指令。想要圖片、影片或文件回答，先點選對應的工具圖示。
- 讀完兩份回答後投票。投完票，模型名稱立刻揭曉。
- 在同一視窗繼續追問，或開新的一輪，換一組模型再比。
產品資訊
快速了解 LLM Arena 的定價、支援平台與效能。
適合對象
這項工具最適合的使用者、任務與情境。
使用者
- 想提前試用新模型的 AI 愛好者：未發表版本會以代號現身，你能在正式推出前幾週先玩到，代價是投票前看不到名字。
- 正在為功能挑模型的開發者：排行榜依任務類型分開統計，可以先縮小名單，再決定要不要花錢呼叫 API。把它當篩選器，之後仍要用自己的指令實測。
- 追蹤產業動態的研究者與記者：評分、信賴區間與開放的投票資料都可以引用，方法也公開，說法能被檢驗。
任務
- 用自家指令比較兩個模型：Side by Side 把兩者放在同一畫面，比開兩個對話視窗再複製貼上快得多。
- 排除品牌偏見的盲測：Battle 模式不告訴你對手是誰，熟悉的標誌沒辦法先替你說話。
- 驗證發表會的說法：新模型上市第一週丟幾個指令進去，看票數累積後它落在哪裡。
- 查特定領域的排名：文字、網頁開發、圖像生成、影片、視覺、文件與搜尋各有榜單，擅長寫程式的模型不會被總分蓋掉。
情境
- 為客戶專案選模型：先從 AI 模型比較的榜單挑三個候選，再用真實需求測一輪，之後才報價。
- 跟著發表週看變化：實驗室公布模型後，競技場排名通常幾天內就會因投票而移動。
- 帶一堂課或工作坊：每個人用自己的筆電開一場對戰，什麼都不用安裝，討論偏好時就有具體依據。
主要功能
匿名對戰模式
Battle 模式派出兩個不具名的模型。你寫指令、讀完兩份回答，再投給較好的一方、平手或都不好。名稱在投票後立刻出現，而且只有匿名期間投的票才算進官方排名。
Bradley-Terry 評分與風格控制
排名來自 Bradley-Terry 模型，這是一種處理成對比較的統計方法，運作方式接近西洋棋的 Elo 等級分。平台另外加入風格控制，針對長度與 markdown 等格式習慣做修正，避免答案只因為寫得長就勝出。每個分數都附信賴區間，看得出小幅領先有多少份量。
跨模態的榜單
競技場排名不是單一張表。總覽、文字、網頁開發、圖片轉網頁、文字生圖、圖像編輯、文字生影片、圖片生影片、影片編輯、視覺、文件、搜尋、代理，以及對齊指數各自成榜。當你的工作偏視覺或偏程式，這種拆分特別有用。
Side by Side 與直接對話
Side by Side 讓你指定兩個模型並排比較，Direct 則只跟一個模型聊。兩者的票都不計入公開排名，因為模型並未隱藏。拿來手動做 AI 模型比較仍然方便，指令也會進入研究資料池。
代號形式的未發表模型
實驗室在正式推出前會把各種版本送進競技場測試，所以你偶爾會遇到以水果或天氣命名的模型。代號版本若通過廠商的發布門檻與平台政策，分數之後會以真名登上榜單。你提前用到新模型，實驗室則在上市前拿到回饋。
開放資料與研究資源
Arena 在 Hugging Face 公布去識別化的投票資料，也列出方法背後的論文，包括最早的 Chatbot Arena 研究、Arena-Hard、RouteLLM 與 Search Arena。想重現排名或訓練自己的偏好模型，素材都是公開的。
優缺點
優點
- 免費且免註冊，一分鐘內就能完成一次盲測。
- 能以代號提前接觸未發表模型，封閉測試計畫之外難得有這種機會。
- 方法公開、投票資料開放，一筆 LLM 基準測試分數怎麼來的可以被追查。
- 文字、程式碼、影像、影片、文件與搜尋各有榜單，小眾強項不會被埋沒。
- 投票零成本、一次點擊，樣本量遠大於多數學術研究。
缺點
- 投票衡量偏好而非正確性。流暢的錯誤答案可能贏過讀起來卡頓的正確答案，榜首不等於可靠。
- 投票族群偏向英語系 AI 愛好者，排行榜對其他語言與專業領域的說明力有限。
- 對話去識別化後可能進入公開研究資料集。客戶資料、個人資訊與機密內容都不要貼進對戰。
- Side by Side 與 Direct 的票不計入排名，而且流量與指令組成一變，模型分數每週都可能漂移。
常見問題
用真實指令比較 AI 模型，並查看社群累積出的排名。你可以在訂閱或付 API 費用之前先試模型，也能觀察新版本如何牽動榜單。
相關內容
探索與 LLM Arena 相關的工具、技能與文章。
LLM Arena 替代方案
Knocket
Knocket (Tencent RTC team) · 生產力 · 商業 · 聊天機器人Knocket 是免費的線上客服與聯絡頁面工具，訪客可從網站、App 或一條分享連結傳訊息，你在 Telegram 或單一收件匣就能回覆。
shippedit.me
Krawlup · 行銷 · 商業shippedit.me 現在會轉向 Krawlup，這是一個每週稽核 SEO、AEO 與載入速度的網站平台，並透過 MCP 把修正交給 AI 編碼代理執行。
Ayven
Alknoma · 生產力 · 商業Ayven 是 Alknoma 推出的 AI 控制中心，能把一句話描述的目標變成有日期的計畫，把任務分派給團隊成員與 AI 代理，只在決定權屬於你時請你核准。