ComputeArena
Base Compute Pty. Ltd. · 程式設計 · 其他
ComputeArena 是一個針對本地 AI 的社群基準測試平台。它從真實機器蒐集 AI 輸送量數據，再依模型在特定晶片上預填提示（prefill）與解碼詞元（decode）的速度排名。你在 macOS 或 Linux 上安裝命令列工具，離線執行模型，準備好分享時再提交已簽署的報告。最後得到的排行榜，是建立在人們真正擁有的硬體上，而不是單一實驗室的測試台。
關於 ComputeArena
什麼是 ComputeArena
ComputeArena 回答了一個規格表無法解答的問題：某個模型在你手上的硬體究竟跑多快？它不採信廠商的行銷簡報，而是蒐集自願者在自己的筆電、桌機與工作站上執行模型的實測數據。每一筆結果都連回一份在真實社群硬體上產生的已簽署報告。
平台依模型、量化等級與晶片排序結果，並把 prefill 與 decode 分開計算。prefill 是模型讀取提示的速度，decode 是模型寫出答案的速度。這項區分很重要，因為擅長處理長提示的晶片，未必是能快速輸出詞元的那一顆。
有兩件事讓它無法給出單一答案。第一，結果取決於所用的執行環境、量化與上下文長度，因此設定不一致的數據無法直接比較。第二，它著重輸送量而非答案品質，所以不會告訴你哪個模型文筆更好。
開始使用
- 在 macOS 或 Linux 上執行安裝指令。安裝程式會下載最新穩定版，需要 curl、tar 與 Python 3。不需 sudo。
- 從互動式選單挑選執行環境。ComputeArena 支援 BaseRT 與 llama.cpp。
- 選擇模型與量化等級，然後開始基準測試。所有流程都離線執行。
- 等待執行完成，再檢視儲存在自己機器上的報告。
- 準備好提交想公開的基準測試時，再登入帳號。
產品資訊
快速了解 ComputeArena 的定價、支援平台與效能。
適合對象
這項工具最適合的使用者、任務與情境。
使用者
- 本地 AI 愛好者：任何在自己機器上跑模型的人都能得到貼近現實的速度參考。不過你需要 macOS 或 Linux 才能參與。
- 挑選硬體的人：在 Apple Silicon 晶片與獨立 GPU 之間猶豫的人，可以在購買前比較 prefill 與 decode 的數字。
- 模型實驗玩家：測試量化等級的人能看到 Q4 或 Q8 在同一顆晶片上會讓輸送量改變多少。
任務
- 測量本地 LLM 效能：執行受控的基準測試，並與相同設定的其他人比較 prefill 與 decode 的輸送量。
- 選擇量化等級：確認在你自己的硬體上，為了縮小佔用空間得犧牲多少速度。
- 驗證硬體升級：在換晶片前後執行同一個模型，看出實際的效能增益。
情境
- 判斷一台機器能否輕鬆跑模型：看看目標模型在你的上下文長度下能否達到可用的詞元速率。
- 在同一台裝置上比較執行環境：BaseRT 與 llama.cpp 的結果並排顯示，讓你看哪個執行環境更適合你的晶片。
- 找出組裝設定中的異常值：如果你的數字明顯低於類似硬體，排行榜能提供粗略的基準讓你比對。
主要功能
prefill 與 decode 分開計算
ComputeArena 為每次執行回報兩個數字：prefill PP512 與 decode TG128。prefill 涵蓋模型讀取提示的速度，decode 則涵蓋模型回寫答案的速度。分開呈現，有助於看出晶片較擅長哪一半的工作負載。
社群提交的基準測試
結果來自自願者而非單一實驗室，因此每一筆資料都連回一份在貢獻者硬體上產生的已簽署報告，排行榜也會顯示是誰在何時執行的。這帶給你各種真實設定的分布，而不是單一受控測試台。
模型、量化與晶片篩選
排行榜可依模型、執行環境、量化與晶片縮小結果範圍。全站列出數百種設定，篩選是找到符合自己機器比較項目的最快方式，也能幫你把某筆資料與你考慮購買的晶片對照。
離線執行，分享與否由你決定
命令列工具不需帳號即可執行基準測試，報告會留在你的磁碟上，直到你決定提交。你可以盡情測試，只公開滿意的執行結果。
執行環境選擇
啟動執行時，你可以在 BaseRT 與 llama.cpp 之間選擇。把同一個模型丟進兩邊跑一遍。跑兩次就能看出軟體堆疊（而不只是晶片本身）對輸送量有多大影響。
Apple 與獨立 GPU 的晶片涵蓋範圍
資料涵蓋 Apple Metal 晶片，以及透過 Vulkan 等後端的獨立 GPU。這樣的組合讓你可以在類似工作負載下，比較 Apple 整合晶片與獨立顯示卡。
公開的貢獻者個人檔案
貢獻者都有個人檔案，你可以追蹤特定人士的提交內容，或查看某筆結果背後的紀錄。這讓原本可能空泛漂浮的數字多了一點問責依據。
優缺點
優點
- 數字來自眾多貢獻者的真實硬體，你得到的是現實的範圍，而不是單一實驗室的結果。
- 把 prefill 與 decode 分開，比單一混合分數更有用。
- 重點就在這裡。執行基準測試不需帳號，報告在你提交前都保持私密。
- 依模型、量化與晶片篩選，讓比較變得簡單明瞭。
缺點
- 除非執行環境、量化與上下文長度一致，否則結果無法嚴格比較，因此你得檢查每一筆資料背後的設定。
- 它只測輸送量，完全沒有評估輸出品質，所以無法幫你挑出更適合你任務的聰明模型。
- 目前僅限桌機。支援 macOS 與 Linux，快速入門頁面沒有 Windows 的路徑。
常見問題
這是一個針對本地 AI 的社群基準測試平台。人們在自己的機器上跑模型並提交輸送量結果，再依模型、量化與晶片排名。它鎖定的對象，是想知道模型在真實硬體跑多快的人，無論是桌上的筆電或櫃子裡的工作站。
相關內容
探索與 ComputeArena 相關的工具、技能與文章。
ComputeArena 替代方案
Base Code
Base44 (Wix) · 程式設計 · 生產力Base Code 是 Base44 推出的共享雲端開發環境。團隊在對話中描述對既有 GitHub 儲存庫的修改，看著預覽確認結果，再以 Pull Request 交回工程團隊。
Google EmbeddingGemma 2
Google DeepMind · 寫作 · 圖片 · 程式設計Google EmbeddingGemma 2 是 7.4 億參數的開源模型，能把文字、程式碼、圖片、音訊與影片畫面轉成同一個 768 維空間裡的向量，在手機與筆電上就能執行。
GitGlow
GitGlow · 程式設計 · 生產力GitGlow 是桌面版 Git 用戶端，把你自己的程式碼與 AI 代理程式的變更集中在同一份審查裡，讓你在交付前看清楚機器上究竟要送出什麼。