OpenRouter 換掉用價格挑供應商的老辦法。新的路由會把延遲、吞吐與錯誤率一起換算成錢,官方說首字延遲降了 16.9%,代價是成本多 6%。
OpenRouter 這次改的是什麼:從比價改成算總成本
OpenRouter 是一個模型閘道,開發者用一組 API 就能呼叫上百種模型,實際由哪家供應商執行,由它的路由決定。2026 年 10 月 28 日,它宣布成立以來最大的一次路由演算法改造。
舊的預設邏輯接近只看輸入詞元價格。新的邏輯改看「綜合路由成本」,把價格、延遲、吞吐與錯誤率一起算進去。詞元是模型計算用量的單位,也是帳單上的計價基礎。
說得白一點,過去是在比誰的標價低,現在是在比誰能便宜又穩定地把答案送到你手上。
為什麼同一個模型會有好幾家供應商
要理解這次改動,得先知道 OpenRouter 在中間做什麼。同一個開放權重的模型,可以被好幾家雲端業者同時託管,各自的定價、機器規格與尖峰時段都不一樣。
對開發者來說,逐一比價是件苦差事。OpenRouter 的價值就在這裡:你送一個模型名稱,它替你挑一台機器。挑得好不好,直接決定你的帳單與延遲。
這也是為什麼路由演算法一改,影響會這麼廣。它不是換一個功能,而是換掉所有請求的分配方式。
舊路由的問題:77% 的請求只比一個數字
OpenRouter 說,大約 77% 的請求流向由多家供應商服務的模型,預設按輸入價格分配流量。
結果有四種。便宜但品質差的供應商也能搶到量。排名是靜態的,看不到即時的抖動。供應商只能靠降價搶單,壓縮基礎設施的投入。還出現價格遊戲:把輸入價標低,再從輸出與快取把差價找回來。
這四種結果最後都回到同一個地方:使用者付了錢,卻拿到不穩定的回應。低價搶到的流量如果撐不住,延遲就會飄,錯誤率也會跟著上來。
新算法怎麼算:一次好答案要付多少錢
新路由即時追蹤每個端點、每個模型的實際價格、延遲、吞吐與錯誤率,算出「一次好答案的期望成本」。
拆開來看是兩個乘積項。一次嘗試的價格,等於實際有效價格加上等待時間的成本。有效價格按近期真實的快取命中率與輸入輸出比例折算,這是為了擋住價格遊戲。等待時間則把吞吐與首字延遲,按每個模型設定的換算率折成錢。
成功的機率由兩件事決定,可靠性與品質。可靠性看供應商端的錯誤率,錯誤率遠高於同行會被暫停流量直到恢復。品質目前主要看工具呼叫的格式是否正確,未來會擴充。基準準確率明顯偏低的供應商會被降級,只留少量測試流量。
兩者相乘,就得到期望成本。舉個例子,五次裡失敗一次,等於每個好答案要付 1.25 次的錢。
這個算法有一個前提:它假設延遲與錯誤可以被定價。實務上這兩件事對不同應用的殺傷力差很多,聊天機器人卡一秒還能忍,語音助理卡一秒就是災難。
換算率由 OpenRouter 針對每個模型設定。這一點值得留意:當平台替你決定「一秒延遲值多少錢」,你其實把一部分取捨交出去了。
流量怎麼分:贏家拿多數,但沒有全押
新路由不會把全部流量壓給單一最優供應商。處在競爭區間內的端點分享大部分流量,落後一點就少一點,跌出區間後流量快速下滑。
每個供應商還保留少量底倉流量,用途是持續觀測。這一點對讀者其實重要:如果某家供應商被完全切斷,它連翻身的資料都拿不到,整個生態會越來越集中。
集中不一定是好事。當只剩兩三家供應商在競爭,價格與品質的拉扯就會鬆掉。
反過來說,底倉流量也讓新進業者有機會被看見。只要規格與報價夠好,它能在競爭區間裡分到一點量,再靠表現把量做大。
OpenRouter 的實測:延遲降 16.9%,成本升 6%
官方公布的實測結果是這樣:首字延遲降 16.9%,吞吐升 16.3%,HTTP 429 這類容量錯誤減少 67%,成本只上升 6.0%。
首字延遲指的是你送出請求到看到第一個字之間的時間。429 是伺服器請你放慢速度的錯誤碼,對串流應用來說,這個錯誤一出現,使用者就看到畫面卡住。
OpenRouter 強調,這是在供應商還沒針對新算法調整之前測到的數字。全部由官方提供,沒有第三方複驗。
代價也得說清楚。成本多 6%,意思是同樣的用量,帳單會比過去高一些。換來的是更穩定的回應與更少的錯誤。
這 6% 對不同規模的團隊意義不同。每月帳單幾百美元的人幾乎無感,每月六位數的團隊就得重新算一次預算。
想回到只看價格:pin 與排序還能用
路由仍然有快取感知。會話在快取還熱的時候會固定在同一家供應商,避免每次都重新暖機。暖機指的是第一次請求要等模型載入,速度會慢一截。
想恢復舊行為的人,可以用 pinning 指定供應商,或用排序參數自己排優先順序。這對已經自己做成本控制的團隊比較實用。
功能保留的意義在於選擇權。OpenRouter 把預設值改掉,但沒有把舊路徑拆掉,等於承認不同應用對成本的敏感度不一樣。
這件事對呼叫 API 的人意味著什麼
如果你只是接一組 API、跑幾個聊天請求,這次改動大概無感,除了帳單多了那一小截。
真正有差的是把模型放進產品的人。延遲與 429 直接影響使用者體驗,16.9% 與 67% 這兩個數字,換算到真實流量上比價格更有感。
那要怎麼判斷自己該不該調整設定?
先看你的應用對首字延遲有多敏感。如果使用者是在等一個即時回應,新路由值得留著。如果是批次處理、跑完再寄結果的工作,價格權重可以調高,把成本壓回來。
接下來值得看的是供應商怎麼反應。當路由開始看吞吐與錯誤率,降價不再是唯一手段,把服務品質做好會變成划得來的投資。






