AI產品

OpenRouter 不再只看價格挑供應商,首字延遲降 16.9%、成本多 6%

OpenRouter 換掉用價格挑供應商的老辦法。新的路由會把延遲、吞吐與錯誤率一起換算成錢,官方說首字延遲降了 16.9%,代價是成本多 6%。

陳柏宇陳柏宇
熱度:1,580
OpenRouter 不再只看價格挑供應商,首字延遲降 16.9%、成本多 6%

OpenRouter 換掉用價格挑供應商的老辦法。新的路由會把延遲、吞吐與錯誤率一起換算成錢,官方說首字延遲降了 16.9%,代價是成本多 6%。

OpenRouter 這次改的是什麼:從比價改成算總成本

OpenRouter 是一個模型閘道,開發者用一組 API 就能呼叫上百種模型,實際由哪家供應商執行,由它的路由決定。2026 年 10 月 28 日,它宣布成立以來最大的一次路由演算法改造。

舊的預設邏輯接近只看輸入詞元價格。新的邏輯改看「綜合路由成本」,把價格、延遲、吞吐與錯誤率一起算進去。詞元是模型計算用量的單位,也是帳單上的計價基礎。

說得白一點,過去是在比誰的標價低,現在是在比誰能便宜又穩定地把答案送到你手上。

為什麼同一個模型會有好幾家供應商

要理解這次改動,得先知道 OpenRouter 在中間做什麼。同一個開放權重的模型,可以被好幾家雲端業者同時託管,各自的定價、機器規格與尖峰時段都不一樣。

對開發者來說,逐一比價是件苦差事。OpenRouter 的價值就在這裡:你送一個模型名稱,它替你挑一台機器。挑得好不好,直接決定你的帳單與延遲。

這也是為什麼路由演算法一改,影響會這麼廣。它不是換一個功能,而是換掉所有請求的分配方式。

舊路由的問題:77% 的請求只比一個數字

OpenRouter 說,大約 77% 的請求流向由多家供應商服務的模型,預設按輸入價格分配流量。

結果有四種。便宜但品質差的供應商也能搶到量。排名是靜態的,看不到即時的抖動。供應商只能靠降價搶單,壓縮基礎設施的投入。還出現價格遊戲:把輸入價標低,再從輸出與快取把差價找回來。

這四種結果最後都回到同一個地方:使用者付了錢,卻拿到不穩定的回應。低價搶到的流量如果撐不住,延遲就會飄,錯誤率也會跟著上來。

新算法怎麼算:一次好答案要付多少錢

新路由即時追蹤每個端點、每個模型的實際價格、延遲、吞吐與錯誤率,算出「一次好答案的期望成本」。

拆開來看是兩個乘積項。一次嘗試的價格,等於實際有效價格加上等待時間的成本。有效價格按近期真實的快取命中率與輸入輸出比例折算,這是為了擋住價格遊戲。等待時間則把吞吐與首字延遲,按每個模型設定的換算率折成錢。

成功的機率由兩件事決定,可靠性與品質。可靠性看供應商端的錯誤率,錯誤率遠高於同行會被暫停流量直到恢復。品質目前主要看工具呼叫的格式是否正確,未來會擴充。基準準確率明顯偏低的供應商會被降級,只留少量測試流量。

兩者相乘,就得到期望成本。舉個例子,五次裡失敗一次,等於每個好答案要付 1.25 次的錢。

這個算法有一個前提:它假設延遲與錯誤可以被定價。實務上這兩件事對不同應用的殺傷力差很多,聊天機器人卡一秒還能忍,語音助理卡一秒就是災難。

換算率由 OpenRouter 針對每個模型設定。這一點值得留意:當平台替你決定「一秒延遲值多少錢」,你其實把一部分取捨交出去了。

流量怎麼分:贏家拿多數,但沒有全押

新路由不會把全部流量壓給單一最優供應商。處在競爭區間內的端點分享大部分流量,落後一點就少一點,跌出區間後流量快速下滑。

每個供應商還保留少量底倉流量,用途是持續觀測。這一點對讀者其實重要:如果某家供應商被完全切斷,它連翻身的資料都拿不到,整個生態會越來越集中。

集中不一定是好事。當只剩兩三家供應商在競爭,價格與品質的拉扯就會鬆掉。

反過來說,底倉流量也讓新進業者有機會被看見。只要規格與報價夠好,它能在競爭區間裡分到一點量,再靠表現把量做大。

OpenRouter 的實測:延遲降 16.9%,成本升 6%

官方公布的實測結果是這樣:首字延遲降 16.9%,吞吐升 16.3%,HTTP 429 這類容量錯誤減少 67%,成本只上升 6.0%。

首字延遲指的是你送出請求到看到第一個字之間的時間。429 是伺服器請你放慢速度的錯誤碼,對串流應用來說,這個錯誤一出現,使用者就看到畫面卡住。

OpenRouter 強調,這是在供應商還沒針對新算法調整之前測到的數字。全部由官方提供,沒有第三方複驗。

代價也得說清楚。成本多 6%,意思是同樣的用量,帳單會比過去高一些。換來的是更穩定的回應與更少的錯誤。

這 6% 對不同規模的團隊意義不同。每月帳單幾百美元的人幾乎無感,每月六位數的團隊就得重新算一次預算。

想回到只看價格:pin 與排序還能用

路由仍然有快取感知。會話在快取還熱的時候會固定在同一家供應商,避免每次都重新暖機。暖機指的是第一次請求要等模型載入,速度會慢一截。

想恢復舊行為的人,可以用 pinning 指定供應商,或用排序參數自己排優先順序。這對已經自己做成本控制的團隊比較實用。

功能保留的意義在於選擇權。OpenRouter 把預設值改掉,但沒有把舊路徑拆掉,等於承認不同應用對成本的敏感度不一樣。

這件事對呼叫 API 的人意味著什麼

如果你只是接一組 API、跑幾個聊天請求,這次改動大概無感,除了帳單多了那一小截。

真正有差的是把模型放進產品的人。延遲與 429 直接影響使用者體驗,16.9% 與 67% 這兩個數字,換算到真實流量上比價格更有感。

那要怎麼判斷自己該不該調整設定?

先看你的應用對首字延遲有多敏感。如果使用者是在等一個即時回應,新路由值得留著。如果是批次處理、跑完再寄結果的工作,價格權重可以調高,把成本壓回來。

接下來值得看的是供應商怎麼反應。當路由開始看吞吐與錯誤率,降價不再是唯一手段,把服務品質做好會變成划得來的投資。

分享這則新聞

來源

相關 AI 新聞

一條搜尋列,左側滑出助理側欄,下方是一排捷徑標籤
AI產品

Google Search homepage 改版:搜尋框還在,Gemini 對話搬進左側欄

Google 把桌面版首頁重新排了一次。搜尋框底下那顆按鈕換成一排 Gemini 捷徑,左側多出一個可以收合的對話欄,改變的是你進站後的第一個動作。

熱度:1,790
前景是一個線條勾勒的應用程式視窗,後方有第二個視窗正在工作,一條游標路徑在兩者之間延伸
AI產品

Gemini computer use 登上 Mac:背景視窗替你把工作跑完

Google 在 11 月 19 日把 computer use 放進 macOS 版的 Gemini app。它在一個獨立背景視窗裡替你點選單、填表單,你的螢幕與游標可以留在原來的工作上。

熱度:1,740
對話泡泡封在金庫門內,旁有保留期旋鈕與兩個淡去的 72 小時計時器
AI產品

Gemini 把聊天記錄和 AI 訓練拆成兩個開關,保留期同時變成兩個月

以前在 Gemini 裡,刪掉聊天記錄是拒絕 AI 訓練的唯一辦法。現在這兩個決定分開了,但另一項保留期同時變長。

熱度:1,500
一層層函式庫堆在基座上,頂端扣著版本標籤鎖,資料流從上方灌入
AI產品

llama.cpp 站上 v1.0.0,這次改的是承諾不再偷偷動介面

一個很多人每天在用、卻很少人直接打開的推論引擎,終於有了版本號。這次公告沒有新模型也沒有速度數字,講的全是別人的程式碼會不會被無聲改壞。

熱度:1,200