Producto

OpenRouter deja de elegir solo al proveedor más barato

OpenRouter reescribió su enrutamiento por defecto para pesar precio, latencia, velocidad y errores en lugar de mirar solo el coste de entrada. Según sus mediciones, la espera baja un 16,9% y los errores 429 un 67%, con un 6% más de gasto.

Lucía GarcíaLucía García
Popularidad: 1,580
OpenRouter deja de elegir solo al proveedor más barato

OpenRouter cambió la pieza que decide a qué proveedor manda cada petición. El resultado, según sus propias mediciones, es menos espera y menos errores a cambio de un 6% más de gasto.

Qué cambió en el enrutamiento de OpenRouter

OpenRouter anunció el 28 de octubre la mayor reforma de su enrutamiento de proveedores desde que existe la empresa, según su propia descripción. El sistema dejó de elegir casi solo por el precio de los tokens de entrada y pasó a usar un cálculo llamado coste de enrutamiento.

Para quien no lo use a diario: OpenRouter es un intermediario. Una empresa o un desarrollador le manda una petición y él decide qué modelo y qué proveedor la atiende. Esa decisión, repetida millones de veces, define la factura y la velocidad.

El cambio afecta a la configuración por defecto. Quien tenga fijado un proveedor concreto no notará nada.

El problema de repartir tráfico por precio de entrada

El sistema anterior tenía una lógica simple: si un modelo lo servían varias empresas, el tráfico iba a la que cobraba menos por token de entrada.

Eso funcionaba con modelos alojados por un solo proveedor. El problema aparecía en el resto. Alrededor del 77% de las peticiones van a modelos que sirven varios proveedores a la vez.

Con ese criterio, un proveedor barato pero lento podía ganar todo el tráfico. El ranking era estático, así que no reflejaba los altibajos del día. Y los proveedores competían solo bajando precios, con menos margen para invertir en máquinas.

Hubo un efecto secundario más incómodo: aparecieron juegos de precios. Un proveedor marcaba una entrada muy barata y recuperaba el margen en el coste de la salida o del texto en caché.

Cómo se calcula el coste de una buena respuesta

El sistema nuevo mide cada extremo de cada modelo y sigue cuatro variables que cambian a cada hora: precio real, latencia, capacidad de proceso y tasa de errores, datos que hasta ahora vivían en paneles separados y no se cruzaban en la decisión de a quién mandar la petición.

Con eso calcula algo distinto al precio de una llamada: el coste esperado de una respuesta buena. La idea es sencilla. Si un proveedor falla una de cada cinco veces, el usuario acaba pagando 1,25 intentos por cada respuesta útil.

El precio de un intento suma dos partes. La primera es el precio efectivo, ajustado con la tasa real de aciertos de caché y la proporción entre entrada y salida. Ese ajuste es lo que desactiva el juego de la entrada barata.

La segunda es el tiempo de espera. La latencia hasta el primer token y la velocidad de generación se convierten en dinero con una tasa fija por modelo. Esperar tiene un precio, y ahora aparece en la cuenta.

La probabilidad de éxito entra en la misma cuenta. Ahí pesan la fiabilidad y la calidad. Los errores del proveedor se penalizan con dureza: quien falla mucho más que sus competidores pierde tráfico hasta que se recupera.

La calidad se mide por ahora con poco: sobre todo, si las llamadas a herramientas salen bien formadas. OpenRouter dice que ampliará ese criterio. Un proveedor con resultados de benchmark claramente peores baja a un cupo pequeño de tráfico de prueba.

Los resultados que OpenRouter reporta

Las cifras del anuncio son de la propia empresa, medidas antes de que los proveedores ajustaran nada a la nueva lógica. El tiempo hasta el primer token bajó un 16,9%, y la velocidad de generación subió un 16,3%.

Los errores de capacidad, esos HTTP 429 que aparecen cuando un servidor está saturado, cayeron un 67%. El coste subió un 6%.

Ese último dato es el que decide si el cambio merece la pena. Un 6% más de gasto a cambio de casi un 17% menos de espera y dos tercios menos de errores es un buen negocio para casi cualquier producto.

Para un chatbot de atención al cliente, la espera es la experiencia. Para un proceso por lotes que corre de noche, el precio manda y el 6% pesa más.

Cómo se reparte el tráfico entre proveedores

El sistema nuevo no manda todo a un ganador. Reparte el grueso entre los extremos que caen dentro de una banda competitiva.

Quien está un poco por detrás recibe algo menos. Quien se sale de la banda pierde tráfico rápido. Cada proveedor conserva además una porción pequeña de base, suficiente para seguir midiendo su estado.

Ese diseño evita dos extremos malos. El primero es apostar todo a un proveedor que se cae a mediodía. El segundo es repartir por igual y castigar a quien lo hace bien.

También deja margen para que un proveedor mejore. Si arregla su latencia, vuelve a la banda sin necesidad de bajar precios.

Caché, fijación y la vuelta al sistema antiguo

El enrutamiento sigue teniendo en cuenta la caché, y eso importa más de lo que parece. Si una conversación tiene el contexto caliente en un proveedor, moverla a otro obliga a reprocesar todo el texto.

Por eso la sesión se queda en el mismo proveedor mientras la caché está activa. Mover el tráfico ahorra céntimos en la entrada y los gasta en reprocesar.

Quien prefiera el criterio antiguo puede forzarlo. Las opciones de fijación y ordenación permiten señalar un proveedor concreto o volver a ordenar solo por precio.

Qué falta para que el cambio se note del todo

OpenRouter insiste en un punto: los resultados llegaron antes de que los proveedores optimizaran sus sistemas para el nuevo criterio. Si eso ocurre, la mejora podría crecer.

También queda pendiente la parte de calidad. Medir solo el formato de las llamadas a herramientas es un comienzo, no una evaluación completa. Un modelo que responde rápido y barato pero peor sigue siendo una mala compra.

¿Y si tu proveedor de siempre resulta ser también el más rápido? Entonces el cambio no te quita nada. La ventaja aparece cuando el más barato y el más fiable no son el mismo.

Para un equipo que paga la factura de inferencia, la lectura práctica es esta: revisa qué porcentaje de tus peticiones admite varios proveedores y prueba el enrutamiento por defecto durante una semana. Compara el gasto y la latencia con los de tu configuración fija. Si el 6% extra no te compensa, la opción de fijar proveedor sigue ahí.

Compartir esta noticia

Fuentes

Noticias de IA relacionadas

Una barra de búsqueda con un panel lateral del asistente que se desliza desde la izquierda y atajos debajo
Producto

Google pone tu historial de chat en la portada del buscador

La página más vacía de internet tiene ahora un panel a la izquierda. Google ha empezado a desplegar en escritorio un rediseño que lleva los chats de Gemini a la portada del buscador, y con ellos un historial que hasta ahora vivía dentro de otra app.

Popularidad: 1,790
Una ventana de aplicación contorneada en primer plano, con una segunda ventana trabajando detrás y una ruta de cursor entre ambas
Producto

Gemini ya maneja tu Mac desde una ventana que no tienes que mirar

Google abrió el jueves 19 de noviembre una función que hasta ahora solo se veía en vídeos de demostración: su asistente maneja las aplicaciones del Mac por ti. Lo importante no es que pueda, sino dónde ocurre todo.

Popularidad: 1,740
Burbujas de chat selladas dentro de una puerta de cámara acorazada con un dial de retención y dos temporizadores de 72 horas desvaídos
Producto

Gemini separa el historial del entrenamiento de IA: qué cambia en tus ajustes

Hasta esta semana, borrar el historial era la única forma de impedir que Google usara tus conversaciones para entrenar modelos. Ahora hay dos interruptores, y el segundo alarga el tiempo que la empresa guarda lo que escribes.

Popularidad: 1,500
Una pila de capas de biblioteca sobre un pedestal con una etiqueta de versión bloqueada encima y flujos que entran desde arriba
Producto

llama.cpp llega a la v1.0.0 y promete avisar cuando rompa su interfaz

El equipo de ggml-org publicó el 13 de noviembre la v1.0.0 de llama.cpp y de ggml. Después de tres años y medio, el proyecto que sostiene buena parte de la IA local promete algo que hasta ahora no prometía: avisar cuando rompa su propia interfaz.

Popularidad: 1,200