它不像聊天機器人回你一段話,而是替每個選項給一個機率,同一份文件的所有問題一次算完。Perplexity 把權重開源,也把價格壓到按詞元計。
Perplexity Decider 是什麼:穿著 LLM 外衣的分類器
多數人對 AI 的印象是它會寫字,也會陪你把問題問完。決策模型(decision models)反過來,它不寫句子,也不解釋,只給判斷。
Perplexity 在 11 月 12 日發布的 Decider v1.3,輸入是一份文件和幾個帶標籤的選項,輸出是每個選項的機率。問它「這封信是帳務問題還是技術問題」,它不會回你一句話,而是給兩個數字。這種形態在工程上叫分類器,只是骨子裡用的還是大型語言模型的權重,被換掉的只有輸出。
好處直接反映在成本上。同一份文件丟進去一次,所有問題一起答完。客服系統要同時判斷「是不是帳務」「急不急」「要不要轉人工」,過去得排三次呼叫,現在一次前向就結束。
Decider v1.3 改了注意力:問題之間不再互相偷看
這一版最大的改動不在參數量,在問題之間怎麼看彼此。
舊架構裡,多個問題擠在同一段上下文,後面的問題會讀到前面的問題,同一份文件換個提問順序,答案就跟著飄,這種不穩定在離線測試看不出來,上了線才變成客服系統的災難。v1.3 的做法是把狀態獨立出來:整體狀態看得到所有問題,每個問題只看得到狀態和自己。用白話講,它們共用同一份文件,但不再互相監聽。
穩定性是這樣換來的。Perplexity 說在標籤與格式擾動下,答案翻盤率降到 0.27%。對做分流的人來說,這個數字比準確率更實用,因為線上系統最怕同一封信今天進 A 佇列、明天進 B 佇列。
Decider v1.3 的 91.6% 與 0.27% 怎麼讀
先說清楚:以下每個數字都是 Perplexity 自己量的,沒有第三方覆核。這些成績能直接搬到你的資料上嗎?大概不行,因為題目長得完全不一樣,你的工單不會長成測試集的樣子。
官方公布的成績,是 63 項查詢分類任務平均 91.6%。跟自家現行生產線分類器相比,高了 6.54 個百分點,而那個基準是 Perplexity 自己跑了幾年的生產系統,不是實驗室裡的對照組。它也在 TypeSafe 的 Jev 1.14 面前拿下全部七組領域分類,財務類最多領先 12.9 個百分點。檢索與重排序那邊,72 項任務的平均 nDCG@10 是 83.99。
同一份表格裡也有不好看的地方。Flash 版在財務、程式與法律三組輸給 Jev 1.14,Perplexity 沒有藏。Locate 的平均 69.0 是整個發布裡最低的絕對分數,官方自己標了出來。
Locate 抽人名與個資,為什麼刻意不併進主模型
Locate 是這次新增的抽取功能,處理的是名字、個人資料與引文這類片段。
它的做法是在模型上多加一個特殊詞元、一個片段頭與一層 LoRA 轉接器,輸出的是字元位置,不是重寫過的句子。一次請求最多可以夾 128 個問題,適合拿來掃一批文件裡的身份證字號或引用段落。
Perplexity 選擇把它留在主模型外面。官方說試過合併,結果一般決策請求的表現退步,所以維持成獨立轉接器。這種取捨很少寫進發布文,寫出來反而讓人相信那些數字是量過的。
open-weight classifier 的帳單:2 美分與 49 GiB
自己架與叫 API,是兩種完全不同的成本結構。
API 這邊,v1.3 每百萬輸入詞元收 2 美分,Flash 收 1 美分,輸出不收費。Perplexity 另外給了一個換算:一百萬次生產請求約 26.47 美元,這個數字才是多數團隊真正會看到的帳單,因為生產環境的請求量跟詞元量從來不是同一件事。對照一般生成模型按輸出計價的習慣,這份價目表等於告訴你,它假設你只問簡短的問題。
自架這邊要看硬體。v1.3 的 BF16 權重約 49 GiB,Flash 約 8.5 GiB,官方沒有提供量化版。49 GiB 放得進一張 80GB 的加速卡,但沒有量化意味著你不能靠壓縮把門檻再往下推。API 單次請求接受不到 256K 詞元,本機執行的預設值是 32,768。
decision models 適合什麼工作,不適合什麼
把它當聊天模型用會失望,當判斷層用則很划算。
分流、審核、重排序與評審這四類工作,本質都是「給定內容,選一個標籤或分數」。Perplexity 自己就是這樣用的:拿它挖安全規則、監控強化學習的 rollout、過濾頁面品質,這三件工作原本分別靠人工抽查與另一套小模型,現在收在同一個呼叫裡。它說某一天讀了 10 億詞元、跨 7,000 個代理工作階段,最後找出 14 條規則修正,其中 6 條在兩天內上線。
不適合的地方也明顯。需要解釋理由、需要寫成句子、需要多輪追問的場合,它都不擅長,真要硬用,你會得到一個判斷很快、卻講不清楚原因的助手。它給你的是機率,理由要你自己補。
繁體中文任務不在 Decider 的 63 項裡
對台灣團隊來說,最該問的問題是:這顆模型判斷中文,準不準。
Perplexity 公布的 63 項任務以英文為主,繁體中文的客服工單、法遵文件與商品描述沒有單獨成績。要拿它做本地分流,第一步不是看 91.6%,而是拿自己過去三個月的工單抽三百封,人工標好答案,再讓它跑一遍,比對它給的機率分布跟你標的標籤差多遠。這個測試一天就能做完,比任何榜單都貼近你的實際狀況。
如果你只是想省掉三次 API 呼叫,Flash 的 8.5 GiB 只要一張 24GB 的卡就放得下,49 GiB 的版本就沒那麼客氣了,得靠 80GB 等級的卡或雲端時段。這是很現實的分界線:open-weight classifier 免費的是權重,不是算力。
Decider v1.3 的意義大概就在這裡。它把「判斷」從生成模型裡拆出來,標上價格,順便把權重丟到 Hugging Face 上。下一個問題是,還有多少團隊願意為一件只回傳機率的事,重新寫一次自己的流程。






