OpenRouter abandonne le routage au moins-disant. Sa nouvelle formule tient compte de la latence, du débit et des erreurs, et revendique 16,9 % de latence en moins pour 6 % de coût en plus.
OpenRouter change la façon de choisir un fournisseur
Le 28 octobre, OpenRouter a annoncé la refonte la plus profonde de son routage depuis sa création. Le service, qui sert d’intermédiaire entre une application et des dizaines de fournisseurs de modèles, répartissait jusqu’ici le trafic en regardant presque uniquement le prix des jetons d’entrée. Désormais, il raisonne sur un « coût de routage » global.
Pour situer l’enjeu, un rappel de ce que fait OpenRouter. Vous envoyez une requête à une seule adresse, et le service choisit derrière quel fournisseur va l’exécuter. Le même modèle peut être servi par plusieurs entreprises, avec des prix, des vitesses et des taux de panne différents. C’est ce choix, invisible pour l’utilisateur, qui vient de changer.
Ce que l’ancien routage d’OpenRouter avait de travers
OpenRouter donne un chiffre qui explique tout : environ 77 % des requêtes portent sur des modèles servis par plusieurs fournisseurs. Sur ces requêtes, l’algorithme par défaut répartissait le trafic selon le prix d’entrée. Un fournisseur moins cher gagnait, même s’il répondait mal.
Conséquence directe : la qualité ne payait pas. Un prestataire sérieux, qui investit dans ses machines, se faisait battre par un concurrent qui rognait sur l’infrastructure. Le classement restait statique, sans voir les ralentissements du moment. Et les fournisseurs n’avaient qu’un levier pour exister, baisser leurs tarifs.
La dernière faille est la plus vicieuse. Certains acteurs affichaient un prix d’entrée très bas, puis se rattrapaient sur la sortie ou sur le cache. Une comparaison au seul tarif d’entrée récompensait cette astuce.
Comment OpenRouter calcule le coût d’une bonne réponse
La nouvelle méthode part d’une idée simple : ce qui compte n’est pas le prix d’un appel, mais le prix d’une réponse utilisable. OpenRouter suit donc, pour chaque point d’accès et chaque modèle, le prix réel, la latence, le débit et le taux d’erreur, mis à jour en continu.
Le calcul se fait en deux temps. D’abord le prix d’une tentative. Il combine le tarif effectif, corrigé selon le taux de cache réellement observé et le rapport entre entrée et sortie, avec le temps d’attente, converti en argent selon un barème propre à chaque modèle.
Ensuite la probabilité de succès. Elle mêle la fiabilité, où les erreurs imputables au fournisseur sont lourdement pénalisées, et la qualité, mesurée pour l’instant sur la bonne formation des appels d’outils. Un fournisseur qui échoue une fois sur cinq revient à payer 1,25 tentative par bonne réponse. L’arithmétique est implacable.
Deux garde-fous complètent le dispositif. Un prestataire dont le taux d’erreur dépasse nettement celui de ses pairs perd son trafic jusqu’au retour à la normale. Et un modèle dont la précision sur les benchmarks est sensiblement inférieure est rétrogradé, avec un petit volume conservé pour l’observation.
Les gains annoncés par OpenRouter
Les résultats viennent de l’entreprise, sur ses propres mesures. OpenRouter annonce une baisse de 16,9 % du temps jusqu’au premier jeton, cette latence qui décide si une interface paraît réactive ou poussive. Le débit progresse de 16,3 %.
Les erreurs de capacité, celles qui se traduisent par un code HTTP 429 quand un fournisseur sature, reculent de 67 %. Le coût, lui, augmente de 6,0 %.
Ce dernier point mérite qu’on s’y arrête, car il va à l’encontre du réflexe habituel. Payer un peu plus pour obtenir des réponses plus rapides et moins d’échecs est un compromis défendable pour la plupart des produits. Pour une tâche par lots lancée la nuit, où personne n’attend la réponse, l’arbitrage s’inverse.
OpenRouter précise que ces chiffres ont été obtenus avant que les fournisseurs n’optimisent pour le nouvel algorithme. Autrement dit, la marge de progression annoncée reste ouverte. C’est aussi une manière de dire que le résultat dépendra de la façon dont les prestataires réagiront.
Pourquoi OpenRouter ne donne-t-il pas tout le trafic au meilleur fournisseur ?
Un routage intelligent pourrait tout envoyer au fournisseur qui gagne le calcul. OpenRouter fait l’inverse, et l’explication est instructive.
Les points d’accès qui se tiennent dans une fourchette serrée se partagent l’essentiel du trafic. Celui qui décroche un peu en reçoit moins. Celui qui sort de la fourchette voit son volume chuter vite. Et chaque fournisseur conserve une petite part de base, histoire de continuer à mesurer ses performances.
Ce dernier détail est le plus important. Sans trafic résiduel, un prestataire écarté ne peut plus prouver qu’il s’est amélioré, et le classement se fige. La petite part de base est un investissement dans l’information.
La contrepartie est assumée : le meilleur du moment n’obtient jamais 100 % du volume. Pour un utilisateur, cela veut dire qu’une requête peut atterrir chez un fournisseur légèrement moins bien classé, même quand tout va bien.
Reste une inconnue de taille : la fréquence à laquelle ces mesures sont rafraîchies, et la fenêtre retenue pour calculer le taux de cache. Deux réglages qui décident du comportement du système quand un fournisseur tombe sans prévenir.
Le cache reste prioritaire dans le routage OpenRouter
Le routage reste sensible au cache. Quand une conversation a déjà rempli le cache d’un fournisseur, les requêtes suivantes y restent attachées, parce que relancer ailleurs coûterait plus cher en jetons d’entrée. Ce comportement n’a pas changé.
Ceux qui veulent revenir à un choix purement tarifaire peuvent le faire. OpenRouter conserve les options d’épinglage et de tri, qui forcent un fournisseur ou classent les réponses selon le prix.
La vraie question est ailleurs, et elle concerne les développeurs qui facturent à l’usage. Une hausse de coût de 6 % sur l’inférence se répercute sur une marge, alors que 16,9 % de latence en moins se voit à peine dans un tableau de bord. Il faudra arbitrer, et l’arbitrage dépendra du produit. Une interface de chat et un traitement par lots n’ont pas les mêmes priorités.






