OpenRouterは10月28日、サービス開始以来いちばん大きなルーティングの作り替えを発表した。入力トークンの単価だけを見る仕組みをやめ、遅延と失敗率まで含めた「良い回答1回の値段」でプロバイダーを選ぶ。
OpenRouterのルーティングは何を変えたのか
OpenRouterは複数のAIモデルを1つのAPIから呼べる仲介サービスだ。同じモデルでも複数のプロバイダーが提供しており、どこに振るかを決めるのがルーティングになる。今回の変更で、既定の選び方が「ほぼ入力トークンの価格だけ」から「総合的なルーティングコスト」に変わった。同社はこれを、成立以来最大の改造と位置づけている。
利用者の画面は何も変わらない。変わったのは、裏側でどの事業者が選ばれるかである。
OpenRouterの新ルーティングがもたらした4つの数字
OpenRouterが公表した実測値は4つある。最初の1文字が返るまでの時間、いわゆるTTFTは16.9%短くなった。スループットは16.3%上がった。容量超過を示すHTTP 429のエラーは67%減った。コストは6.0%増えた。
TTFTは、利用者が入力してから最初の1文字が出るまでの待ち時間で、体感の速さをほぼ決める。429は「今は捌けない」と断られるエラーで、エージェントを連続で動かすと増えやすい。
ここで見るべきは、性能が上がったぶんの代金が6%で済んだという点だ。同社は、プロバイダー側がまだ新しいアルゴリズムに合わせた最適化をしていない段階での数字だと断っている。改善の余地は残っているという読み方になる。いずれも同社の自己申告であり、外部検証は受けていない。
OpenRouterの旧ルーティングが抱えていた問題
旧方式では、リクエストのおよそ77%が、複数のプロバイダーが提供するモデルに流れていた。そこでの既定の配分は入力価格の安さ順だ。安いプロバイダーが品質で劣っていても、流量を取れる。
順位は静的なので、その時点の遅延や揺らぎは見えない。プロバイダーは値下げでしか量を取れず、そのぶん設備に回す金が削られる。極めつけは、入力の価格を低く見せ、出力やキャッシュで回収する値付けの遊びだ。安さを基準にすると、こうした値付けが最も有利になる。
OpenRouterは「良い回答1回」の値段をどう計算するのか
新方式は、エンドポイントごと、モデルごとに実際の価格、遅延、スループット、エラー率をリアルタイムで追う。そのうえで「良い回答を1つ得るのにいくらかかるか」を計算する。
1回の試行の値段は、実効価格と待ち時間の合計になる。実効価格は直近の実際のキャッシュ命中率と入出力の比率で補正し、値付けの遊びを潰す。待ち時間は、スループットとTTFTをモデルごとの換算率で金額に直す。速さに値段を付けるという考え方だ。
OpenRouterでは失敗率がそのまま値段になる
成功する確率も計算に入る。信頼性は、プロバイダー側のエラーを重く罰する。エラー率が同業より明確に高い事業者は、回復するまで流量を止められる。品質は今のところ、ツール呼び出しの形式が正しいかどうかが主な判定材料で、今後広げるという。ベンチマークの正答率が明らかに低い事業者は格下げされ、試験用の少量の流量だけが残る。
結果として、5回に1回失敗する事業者は、良い回答1つに1.25回分の代金を払うことになる。安いが不安定なプロバイダーは、この段階で不利になる。
OpenRouterの流量配分とキャッシュの扱い
では、安いプロバイダーはもう選ばれないのか? そう単純ではない。OpenRouterは、すべての流量を1番良い事業者に集めることはしない。競争できる範囲に入っているエンドポイントで大半を分け合い、少し劣れば少し減り、範囲から外れると急速に落ちる。各事業者には観測用の少量の流量を残す。1社に寄せると、その1社が止まったときに全体が止まるからだ。
ルーティングはキャッシュを意識したままでもある。キャッシュが温まっている間は、同じセッションを同じプロバイダーに固定する。料金だけの昔の動きに戻したいときは、事業者の固定(pinning)や並び順の指定(sorting)で切り替えられる。
OpenRouterを使う側が今日からできること
既定のままだと、遅延と信頼性を含めた判断に切り替わる。コストを6%上げたくない場合は、事業者を名指しする指定で価格優先に戻せる。品質の下限を決めたい場合は、並び順を固定する指定のほうが読みやすい。
見積もりを作り直すなら、単価表ではなく、TTFTと429の発生率を自社の計測に入れたほうがいい。今回の変更は、安さだけでは測れない費用がもともとあったことを示している。





