Der Router hat seine wichtigste Stellschraube umgebaut. Statt des reinen Eingabepreises zählt jetzt, was eine brauchbare Antwort tatsächlich kostet.
Was OpenRouter am Routing geändert hat
OpenRouter ist ein Vermittler für Sprachmodelle. Wer eine Anfrage schickt, bekommt sie von einem von mehreren Anbietern beantwortet, die dasselbe Modell hosten und sich in Preis, Geschwindigkeit und Zuverlässigkeit unterscheiden, ohne dass der Aufrufende davon etwas sieht. Welcher Anbieter zum Zug kommt, entscheidet der Router. Am 28. Oktober hat das Unternehmen nach eigener Darstellung die größte Änderung an dieser Logik seit der Gründung veröffentlicht.
Bisher richtete sich die Standardroute fast nur nach dem Preis für Eingabe-Token. Wer am billigsten anbot, bekam den größten Teil des Verkehrs. Künftig rechnet OpenRouter mit sogenannten Routing-Kosten, also dem erwarteten Aufwand für eine brauchbare Antwort.
Die Messwerte nach dem OpenRouter-Umbau
Die Zahlen, die OpenRouter nennt, sind deutlich. Die Zeit bis zum ersten Token sinkt um 16,9 Prozent. Der Durchsatz steigt um 16,3 Prozent. Fehler der Kapazitätsklasse, also Ablehnungen mit dem Statuscode 429, gehen um 67 Prozent zurück. Der Preis steigt um 6,0 Prozent.
Die Zeit bis zum ersten Token ist die Pause zwischen dem Absenden einer Anfrage und dem ersten sichtbaren Zeichen der Antwort. In einem Chat fällt sie kaum auf. In einer Anwendung, die hunderte Anfragen parallel verarbeitet, entscheidet sie darüber, wie viele Nutzer gleichzeitig bedient werden können, weil jeder wartende Aufruf einen Platz belegt.
Diese vier Werte gehören zusammen. Wer nur auf den Preis schaut, sieht eine Verschlechterung um sechs Prozent. Wer die Wartezeit und die abgebrochenen Anfragen mitrechnet, bekommt für einen kleinen Aufpreis deutlich mehr nutzbare Antworten.
OpenRouter betont, dass die Messung vor der Optimierung durch die Anbieter entstanden ist. Die Anbieter hatten also noch keine Gelegenheit, ihre Systeme auf die neue Verteilung einzustellen. Ob der Effekt hält, wenn alle nachziehen, ist damit offen.
Warum der Tokenpreis allein in die Irre führt
Etwa 77 Prozent der Anfragen gehen an Modelle, die mehrere Anbieter im Programm haben. Bei diesen Modellen entschied bisher der Eingabepreis, wer die Arbeit bekam. Das führt zu Ergebnissen, die niemand beabsichtigt hat.
Ein billiger Anbieter mit schlechter Infrastruktur kann eine Anfrage gewinnen und dann in die Timeout-Grenze laufen. Die Rangliste ist statisch und sieht nicht, dass ein Endpunkt seit einer Stunde überlastet ist. Anbieter konkurrieren nur über den Preis und sparen an der Hardware, weil sich Investitionen in Kapazität nicht auszahlen. Dazu kommt ein Spiel mit zwei Preisen: die Eingabe billig anzeigen und den Ausgleich über die Abrechnung von Ausgabe oder Zwischenspeicher suchen.
Das Problem ist nicht der Preis an sich, sondern die Annahme, dass zwei Anbieter für denselben Preis dieselbe Leistung liefern. Bei Rechenzentren stimmt das selten, weil Ausstattung, Anbindung und Auslastung stark schwanken. Für Anwender hieß das: Die günstigste Route war nicht die schnellste und oft auch nicht die zuverlässigste.
So rechnet OpenRouter die Routing-Kosten
Der neue Ansatz bewertet jeden Endpunkt jedes Modells laufend nach vier Größen: tatsächlicher Preis, Latenz, Durchsatz und Fehlerquote. Daraus schätzt der Router den erwarteten Aufwand für eine gute Antwort.
Der Preis eines Versuchs besteht aus zwei Teilen. Der erste ist der effektive Preis, also der Listenpreis, korrigiert um die zuletzt gemessene Trefferquote im Zwischenspeicher und um das Verhältnis von Eingabe zu Ausgabe. Damit fällt das Spiel mit zwei Preisen weg. Der zweite Teil ist die Wartezeit, umgerechnet in Geld. Wie viel eine Sekunde Wartezeit je Modell kostet, legt OpenRouter pro Modell fest.
Die Erfolgswahrscheinlichkeit kommt aus zwei Quellen. Die Zuverlässigkeit wiegt schwer: Ein Anbieter, dessen Fehlerquote deutlich über der seiner Konkurrenten liegt, verliert vorübergehend seinen Verkehr, bis er sich erholt. Die Qualität wird derzeit vor allem daran gemessen, ob Werkzeugaufrufe formal korrekt ankommen. Dieser Teil soll später ausgeweitet werden. Anbieter mit auffällig schwachen Werten in Benchmarks werden herabgestuft und bekommen nur noch wenig Testverkehr.
Wer eine Anwendung betreibt, die auf schnelle Antworten angewiesen ist, sollte deshalb nicht nur den Listenpreis vergleichen, sondern auch die gemessene Latenz und die Fehlerquote der Anbieter, die für das eigene Modell überhaupt in Frage kommen. Ein Beispiel macht die Rechnung greifbar. Scheitert ein Versuch von fünf, zahlt man für jede gute Antwort rechnerisch 1,25 Versuche. Ein Anbieter, der zehn Prozent günstiger ist und doppelt so oft ausfällt, ist damit kein Schnäppchen.
Wie der Verkehr zwischen Anbietern verteilt wird
OpenRouter schickt nicht den gesamten Verkehr zum jeweils besten Endpunkt. Endpunkte, die innerhalb eines Wettbewerbsfensters liegen, teilen sich den größten Teil der Anfragen. Wer etwas zurückliegt, bekommt weniger. Wer aus dem Fenster fällt, verliert schnell fast alles.
Jeder Anbieter behält außerdem einen kleinen Sockel an Verkehr. Der dient dazu, die Werte aktuell zu halten. Ohne diese Mindestmenge könnte ein Anbieter nach einer kurzen Störung dauerhaft aus der Bewertung fallen, obwohl er längst wieder stabil läuft, und genau das würde die Auswahl mit der Zeit verengen.
Was beim Routing von OpenRouter mit Cache und Vorhersagbarkeit bleibt
Das Routing nimmt weiterhin Rücksicht auf den Zwischenspeicher. Solange ein Gespräch im Cache eines Anbieters liegt, bleibt die Sitzung dort. Ein Wechsel würde die gespeicherten Token verlieren und die Anfrage teurer machen, selbst wenn ein anderer Anbieter im Moment schneller wäre, was bei langen Gesprächen mit vielen tausend Token mehr kostet als der Zeitgewinn bringt.
Wer das alte Verhalten möchte, kann es erzwingen. Über die Optionen für Pinning und Sortierung lässt sich ein Anbieter fest vorgeben oder die Auswahl wieder nach dem reinen Preis ordnen. Die neue Logik ist also der Standard, aber nicht die einzige Möglichkeit.
Was Anwender davon merken
Für die meisten dürfte sich wenig sichtbar ändern, außer dass Antworten schneller anfangen und seltener mit einer Fehlermeldung abbrechen. Wer Kosten pro Token genau abrechnet, sieht einen Aufschlag von sechs Prozent.
Lohnt sich der Aufpreis? Das hängt davon ab, was eine abgebrochene Anfrage kostet. In einem Prototyp ist das folgenlos. In einem Produkt mit zahlenden Kunden ist eine Antwort, die nach zwanzig Sekunden abbricht, teurer als sechs Prozent mehr pro Token.
Interessant ist die Richtung. Ein Vermittler, der Anbieter nach dem Preis für eine gute Antwort sortiert, belohnt Investitionen in Zuverlässigkeit statt in Rabatte. Ob andere Router folgen, wird sich zeigen. Wer eigene Anwendungen baut, sollte die Optionen für Pinning und Sortierung trotzdem kennen, denn sie entscheiden, wie viel Kontrolle über den Anbieter man behält.






