AI 模型

Perplexity Decider v1.3 開源:不寫句子,只給機率

它不像聊天機器人回你一段話,而是替每個選項給一個機率,同一份文件的所有問題一次算完。Perplexity 把權重開源,也把價格壓到按詞元計。

陳柏宇陳柏宇
熱度:1,150
深色背景上的青色機率直方圖,旁邊寫著 Decider v1.3

它不像聊天機器人回你一段話,而是替每個選項給一個機率,同一份文件的所有問題一次算完。Perplexity 把權重開源,也把價格壓到按詞元計。

Perplexity Decider 是什麼:穿著 LLM 外衣的分類器

多數人對 AI 的印象是它會寫字,也會陪你把問題問完。決策模型(decision models)反過來,它不寫句子,也不解釋,只給判斷。

Perplexity 在 11 月 12 日發布的 Decider v1.3,輸入是一份文件和幾個帶標籤的選項,輸出是每個選項的機率。問它「這封信是帳務問題還是技術問題」,它不會回你一句話,而是給兩個數字。這種形態在工程上叫分類器,只是骨子裡用的還是大型語言模型的權重,被換掉的只有輸出。

好處直接反映在成本上。同一份文件丟進去一次,所有問題一起答完。客服系統要同時判斷「是不是帳務」「急不急」「要不要轉人工」,過去得排三次呼叫,現在一次前向就結束。

Decider v1.3 改了注意力:問題之間不再互相偷看

這一版最大的改動不在參數量,在問題之間怎麼看彼此。

舊架構裡,多個問題擠在同一段上下文,後面的問題會讀到前面的問題,同一份文件換個提問順序,答案就跟著飄,這種不穩定在離線測試看不出來,上了線才變成客服系統的災難。v1.3 的做法是把狀態獨立出來:整體狀態看得到所有問題,每個問題只看得到狀態和自己。用白話講,它們共用同一份文件,但不再互相監聽。

穩定性是這樣換來的。Perplexity 說在標籤與格式擾動下,答案翻盤率降到 0.27%。對做分流的人來說,這個數字比準確率更實用,因為線上系統最怕同一封信今天進 A 佇列、明天進 B 佇列。

Decider v1.3 的 91.6% 與 0.27% 怎麼讀

先說清楚:以下每個數字都是 Perplexity 自己量的,沒有第三方覆核。這些成績能直接搬到你的資料上嗎?大概不行,因為題目長得完全不一樣,你的工單不會長成測試集的樣子。

官方公布的成績,是 63 項查詢分類任務平均 91.6%。跟自家現行生產線分類器相比,高了 6.54 個百分點,而那個基準是 Perplexity 自己跑了幾年的生產系統,不是實驗室裡的對照組。它也在 TypeSafe 的 Jev 1.14 面前拿下全部七組領域分類,財務類最多領先 12.9 個百分點。檢索與重排序那邊,72 項任務的平均 nDCG@10 是 83.99。

同一份表格裡也有不好看的地方。Flash 版在財務、程式與法律三組輸給 Jev 1.14,Perplexity 沒有藏。Locate 的平均 69.0 是整個發布裡最低的絕對分數,官方自己標了出來。

Locate 抽人名與個資,為什麼刻意不併進主模型

Locate 是這次新增的抽取功能,處理的是名字、個人資料與引文這類片段。

它的做法是在模型上多加一個特殊詞元、一個片段頭與一層 LoRA 轉接器,輸出的是字元位置,不是重寫過的句子。一次請求最多可以夾 128 個問題,適合拿來掃一批文件裡的身份證字號或引用段落。

Perplexity 選擇把它留在主模型外面。官方說試過合併,結果一般決策請求的表現退步,所以維持成獨立轉接器。這種取捨很少寫進發布文,寫出來反而讓人相信那些數字是量過的。

open-weight classifier 的帳單:2 美分與 49 GiB

自己架與叫 API,是兩種完全不同的成本結構。

API 這邊,v1.3 每百萬輸入詞元收 2 美分,Flash 收 1 美分,輸出不收費。Perplexity 另外給了一個換算:一百萬次生產請求約 26.47 美元,這個數字才是多數團隊真正會看到的帳單,因為生產環境的請求量跟詞元量從來不是同一件事。對照一般生成模型按輸出計價的習慣,這份價目表等於告訴你,它假設你只問簡短的問題。

自架這邊要看硬體。v1.3 的 BF16 權重約 49 GiB,Flash 約 8.5 GiB,官方沒有提供量化版。49 GiB 放得進一張 80GB 的加速卡,但沒有量化意味著你不能靠壓縮把門檻再往下推。API 單次請求接受不到 256K 詞元,本機執行的預設值是 32,768。

decision models 適合什麼工作,不適合什麼

把它當聊天模型用會失望,當判斷層用則很划算。

分流、審核、重排序與評審這四類工作,本質都是「給定內容,選一個標籤或分數」。Perplexity 自己就是這樣用的:拿它挖安全規則、監控強化學習的 rollout、過濾頁面品質,這三件工作原本分別靠人工抽查與另一套小模型,現在收在同一個呼叫裡。它說某一天讀了 10 億詞元、跨 7,000 個代理工作階段,最後找出 14 條規則修正,其中 6 條在兩天內上線。

不適合的地方也明顯。需要解釋理由、需要寫成句子、需要多輪追問的場合,它都不擅長,真要硬用,你會得到一個判斷很快、卻講不清楚原因的助手。它給你的是機率,理由要你自己補。

繁體中文任務不在 Decider 的 63 項裡

對台灣團隊來說,最該問的問題是:這顆模型判斷中文,準不準。

Perplexity 公布的 63 項任務以英文為主,繁體中文的客服工單、法遵文件與商品描述沒有單獨成績。要拿它做本地分流,第一步不是看 91.6%,而是拿自己過去三個月的工單抽三百封,人工標好答案,再讓它跑一遍,比對它給的機率分布跟你標的標籤差多遠。這個測試一天就能做完,比任何榜單都貼近你的實際狀況。

如果你只是想省掉三次 API 呼叫,Flash 的 8.5 GiB 只要一張 24GB 的卡就放得下,49 GiB 的版本就沒那麼客氣了,得靠 80GB 等級的卡或雲端時段。這是很現實的分界線:open-weight classifier 免費的是權重,不是算力。

Decider v1.3 的意義大概就在這裡。它把「判斷」從生成模型裡拆出來,標上價格,順便把權重丟到 Hugging Face 上。下一個問題是,還有多少團隊願意為一件只回傳機率的事,重新寫一次自己的流程。

分享這則新聞

來源

相關 AI 新聞

終端機視窗裡有上升的獎勵曲線,旁邊是一個 27B 標章
AI 模型

DaisyRose-27B 只做強化學習,18 天把代理寫程式成績翻倍

同一個 Qwen3.8-27B,架構、分詞器、聊天模板都沒改,只換訓練方式。RadixArk 拿 1,200 個長流程任務,示範後訓練的預算可以買到什麼。

熱度:1,330
筆電輪廓裡有三張堆疊的層板,穿過一個迴圈箭頭
AI 模型

Inkling 2 Mini 把中間 12 層跑三次,26B 模型離線塞進筆電

24 層的模型,跑出 48 層的計算深度。Thinking Machines Lab 把這個迴圈架構做成 open weights,讓代理任務有機會在筆電上離線完成。

熱度:1,710
暗色背景上一道長條藍綠色聲波,其中一根橘色強調柱
AI 模型

Rumble-2-Flash 開源:0.5B 參數在客服電話上追平 30B 模型

一支 5 億參數的語音辨識模型,在 302 小時的英文客服電話上,只輸給 300 億參數的對手 0.08 個百分點。Reson8 在 11 月 18 日把這支模型連權重一起放上 Hugging Face。

熱度:560
深藍背景上三道光環繞著一顆發光的小核心
AI 模型

Gemini 4 Neon 上線:模型選單剩四項,Argon 與 3.1 Pro 退場

Google 在 11 月 18 日把 Gemini 4 Neon 推上線,同一時間,Gemini app 的模型清單從六個名字縮成四個。習慣點 Argon 的人,今天打開 app 會發現它不見了。

熱度:1,500