AIツール

OpenRouterは「最安値」をやめた 遅延16.9%減とコスト6%増の交換

OpenRouterが既定のルーティングを価格優先から総合コスト重視に切り替えた。TTFTは16.9%短縮、429は67%減、コストは6.0%増という。

佐藤健太佐藤健太
人気度:1,580
OpenRouterは「最安値」をやめた 遅延16.9%減とコスト6%増の交換

OpenRouterは10月28日、サービス開始以来いちばん大きなルーティングの作り替えを発表した。入力トークンの単価だけを見る仕組みをやめ、遅延と失敗率まで含めた「良い回答1回の値段」でプロバイダーを選ぶ。

OpenRouterのルーティングは何を変えたのか

OpenRouterは複数のAIモデルを1つのAPIから呼べる仲介サービスだ。同じモデルでも複数のプロバイダーが提供しており、どこに振るかを決めるのがルーティングになる。今回の変更で、既定の選び方が「ほぼ入力トークンの価格だけ」から「総合的なルーティングコスト」に変わった。同社はこれを、成立以来最大の改造と位置づけている。

利用者の画面は何も変わらない。変わったのは、裏側でどの事業者が選ばれるかである。

OpenRouterの新ルーティングがもたらした4つの数字

OpenRouterが公表した実測値は4つある。最初の1文字が返るまでの時間、いわゆるTTFTは16.9%短くなった。スループットは16.3%上がった。容量超過を示すHTTP 429のエラーは67%減った。コストは6.0%増えた。

TTFTは、利用者が入力してから最初の1文字が出るまでの待ち時間で、体感の速さをほぼ決める。429は「今は捌けない」と断られるエラーで、エージェントを連続で動かすと増えやすい。

ここで見るべきは、性能が上がったぶんの代金が6%で済んだという点だ。同社は、プロバイダー側がまだ新しいアルゴリズムに合わせた最適化をしていない段階での数字だと断っている。改善の余地は残っているという読み方になる。いずれも同社の自己申告であり、外部検証は受けていない。

OpenRouterの旧ルーティングが抱えていた問題

旧方式では、リクエストのおよそ77%が、複数のプロバイダーが提供するモデルに流れていた。そこでの既定の配分は入力価格の安さ順だ。安いプロバイダーが品質で劣っていても、流量を取れる。

順位は静的なので、その時点の遅延や揺らぎは見えない。プロバイダーは値下げでしか量を取れず、そのぶん設備に回す金が削られる。極めつけは、入力の価格を低く見せ、出力やキャッシュで回収する値付けの遊びだ。安さを基準にすると、こうした値付けが最も有利になる。

OpenRouterは「良い回答1回」の値段をどう計算するのか

新方式は、エンドポイントごと、モデルごとに実際の価格、遅延、スループット、エラー率をリアルタイムで追う。そのうえで「良い回答を1つ得るのにいくらかかるか」を計算する。

1回の試行の値段は、実効価格と待ち時間の合計になる。実効価格は直近の実際のキャッシュ命中率と入出力の比率で補正し、値付けの遊びを潰す。待ち時間は、スループットとTTFTをモデルごとの換算率で金額に直す。速さに値段を付けるという考え方だ。

OpenRouterでは失敗率がそのまま値段になる

成功する確率も計算に入る。信頼性は、プロバイダー側のエラーを重く罰する。エラー率が同業より明確に高い事業者は、回復するまで流量を止められる。品質は今のところ、ツール呼び出しの形式が正しいかどうかが主な判定材料で、今後広げるという。ベンチマークの正答率が明らかに低い事業者は格下げされ、試験用の少量の流量だけが残る。

結果として、5回に1回失敗する事業者は、良い回答1つに1.25回分の代金を払うことになる。安いが不安定なプロバイダーは、この段階で不利になる。

OpenRouterの流量配分とキャッシュの扱い

では、安いプロバイダーはもう選ばれないのか? そう単純ではない。OpenRouterは、すべての流量を1番良い事業者に集めることはしない。競争できる範囲に入っているエンドポイントで大半を分け合い、少し劣れば少し減り、範囲から外れると急速に落ちる。各事業者には観測用の少量の流量を残す。1社に寄せると、その1社が止まったときに全体が止まるからだ。

ルーティングはキャッシュを意識したままでもある。キャッシュが温まっている間は、同じセッションを同じプロバイダーに固定する。料金だけの昔の動きに戻したいときは、事業者の固定(pinning)や並び順の指定(sorting)で切り替えられる。

OpenRouterを使う側が今日からできること

既定のままだと、遅延と信頼性を含めた判断に切り替わる。コストを6%上げたくない場合は、事業者を名指しする指定で価格優先に戻せる。品質の下限を決めたい場合は、並び順を固定する指定のほうが読みやすい。

見積もりを作り直すなら、単価表ではなく、TTFTと429の発生率を自社の計測に入れたほうがいい。今回の変更は、安さだけでは測れない費用がもともとあったことを示している。

このニュースを共有

出典

関連AIニュース

テスト
AIツール

削除テスト

テスト用の記事で、公開後に削除する。

人気度:100
検索バーと、左から滑り込むアシスタントのサイドバー、その下に並ぶショートカットのチップ
AIツール

Google検索のトップページにGemini sidebar、検索ボタンはショートカットに

google.comを開くと、検索バーの下にあった「Google Search」のボタンが消えている。代わりにGeminiの入口が並び、左からは自分のAI Modeの履歴が滑り込んでくる。検索の玄関が、静かに作り替えられている。

人気度:1,790
手前のアプリウィンドウの輪郭と、その背後で作業する2つ目のウィンドウ、両者を結ぶカーソルの軌跡
AIツール

Gemini for Macがcomputer useに対応、Macを別ウィンドウから操作

Macの前を離れている間に、別のウィンドウが勝手にアプリを操作している。GoogleがmacOS版のGeminiに足したcomputer useは、そういう機能だ。ただし使える人は限られ、届かない場所もはっきりしている。

人気度:1,740
金庫の扉に封じられたチャットの吹き出し、保持期間のダイヤル、薄れた二つの72時間タイマー
AIツール

Geminiは履歴を残したままAI学習を切れるようになった

保存するかどうかと、学習に使わせるかどうかは別の話だ。Geminiはその二つをようやく分けた。設定の意味と、延びた保持期間の中身を順に追う。

人気度:1,500