每次看到模型排行榜上並排的分數,很多人心裡會冒出一個疑問:這些數字到底是怎麼來的,真的能代表模型好不好用?這篇把 LLM 評測從最基本的基準測試講到現在討論度最高的 LLM-as-Judge,一次說清楚。
LLM 評測是什麼,為什麼不能只看輸出順不順
大型語言模型(LLM)評測,指的是用一套有標準答案或評分規則的題目,去量測模型在特定能力上的表現水準。它存在的理由很簡單:模型的輸出是一整段文字,看起來通順不代表答對,答對一題也不代表會做一整類事。沒有評測,開發者只能靠感覺比較版本。
評測最核心的產物是分數,而分數要有意義,題目、評分方式、對照的目標都得先固定下來。同一組題目、同一套評分方式跑不同模型,才叫可比。這也是為什麼研究機構會吵「某個 benchmark 是不是被污染了」這種問題。
對一般使用者來說,評測的用途不是拿來崇拜分數,而是幫你判斷某個模型聲稱的能力,有沒有第三方驗證過。看到廠商新聞稿說「在多項基準上領先」,你可以順手查一下是哪幾個基準、更新到什麼時候。
基準測試(benchmark)到底在測什麼
基準測試是一組固定題目加上計分方法,讓研究者能在相同條件下比較不同模型。它像一場考題事先公開、評分標準統一的考試,重點是可以重複、可以對照。
命名常見的幾個方向,各自對應不同能力。MMLU 是一套涵蓋數十個學科領域的多選題,主要測常識與學科知識的廣度;GSM8K 用小學到國中程度的數學應用題,看模型能不能一步步算出答案;SWE-Bench 則把真實開源專案裡的程式錯誤交給模型,要求它自己讀完整個程式碼庫、找出問題並修正,測的是接近工程師日常的工作能力。
每個基準都只是一個切面。MMLU 分數高,不代表面對開放式寫作就寫得好;SWE-Bench 表現好,也不代表它懂你的產業。理解每個題庫在測什麼,比記住分數高低來得重要。
為什麼分數高不等於好用:幾個常見陷阱
評測的第一個陷阱是格式敏感度。同一個問題用多選題問、跟用開放式問答問,模型的表現可以差上一截。企業真正的使用情境幾乎不會是四選一,所以多選題拿到的分數,對實際業務的預測力有限。
第二個是語言與文化偏差。絕大多數學術基準以英文為主,繁體中文的評測資源相對稀少,用英文基準的分數去推斷模型在中文情境的表現,折扣要打大一點。對主要服務中文使用者的團隊來說,這是很實際的落差。
第三個是資料污染。如果訓練資料裡早就包含了評測題目與答案,模型等於事先看過考卷,分數自然虛高。研究社群會用「模型的答案連推理過程都對不上」這類線索去抓污染,但抓到多少、漏掉多少,始終沒有定論。
LLM-as-Judge:讓模型當評審的做法
傳統基準靠標準答案計分,但很多任務沒有唯一正解,例如摘要好不好、回覆有沒有同理心。LLM-as-Judge 就是用另一個語言模型來當評審,判斷哪一段回答更好。
最常見的兩種形式是成對比較與直接評分。成對比較是把兩個回應並排,請評審模型選出較好的一個,或判定平手,這種方式在語氣、連貫這類主觀維度上比直接打分更穩定,和人類標註的一致性也比較高。直接評分則是請評審模型針對單一回應給分,速度快,但容易受分數尺度影響。
這個做法省下了大量人工標註的成本,但它本身也有偏誤。研究發現評審模型偏好較長的回答、偏好跟自己風格接近的輸出,位置順序也會影響判斷。所以負責任的做法,是拿一批人類標註的樣本去校正評審模型,而不是全盤相信它的判決。
人工評估為什麼還是基準
自動評測再快,碰到真正複雜的判斷時,人類專家仍然是最可靠的尺。原因很直接:像專業領域的準確性、有沒有胡編參考文獻、回應是否符合法規,這些很難寫成自動計分規則。
人工評估的品質高度取決於測試資料。好的測試集要有專家參與、內容準確、涵蓋各種真實案例,而且不能出現在模型的訓練資料裡。這幾點說起來容易,做起來成本很高,也解釋了為什麼高品質的人工評測多半由資源充足的團隊執行。
實務上的取法通常是混用:用自動評測快速迭代,用人工評估守住關鍵品質,再用你自己的真實任務做最終驗收。
想自己動手評測,可以從哪裡開始
如果你只是想挑一個模型來用,不需要自己蓋評測系統,但可以養成幾個習慣。先確認廠商引用的基準是不是公開、有沒有標註更新時間,再用你自己的幾個真實問題去試,而不是只比較排行榜上的名次。
如果你是開發者、要評估自建系統,業界已有現成的開源工具可以借用,例如 DeepEval 這類評測框架提供現成的基準與評分元件,省下從零搭建的工夫。重點是先定義清楚你要量什麼,再選工具,而不是反過來被工具牽著走。






