LLM Gateway

El gateway habla el formato de la API de OpenAI, así que las completaciones de chat, los embeddings, las imágenes, la voz y la transcripción funcionan con tu SDK actual. El enrutamiento de modelos por precio, latencia o disponibilidad se configura desde el panel. Cambias la URL base y el nombre del modelo, nada más. Para quien ya usa el SDK de OpenAI, esa es toda la migración.

Las peticiones se pueden enrutar por precio, latencia, rendimiento o disponibilidad, y puedes fijar un proveedor concreto con la forma proveedor/modelo. Una petición que solo nombra un modelo se reintenta en otro proveedor que lo sirva cuando el primero falla. Puedes bloquearlo con la cabecera X-No-Fallback: true si prefieres ver un error limpio.

Las peticiones repetidas se sirven desde una caché sobre Redis, lo que recorta latencia y gasto en prompts idénticos. Los controles de caché del proveedor también pasan de largo, así conservas su propio comportamiento. Las apps de gran volumen lo notan antes que nada en la factura.

El gateway aplica protección contra inyección de prompts, detección y borrado de datos personales, detección de secretos y un motor de reglas propio en el borde. La política se ejecuta en el mismo punto por el que pasa cada petición, no en cada app. Quien maneja datos sensibles gana un único punto de control.

Las claves de proveedor se guardan cifradas y se emparejan con claves de API por proyecto que llevan topes de uso y gasto y trazabilidad completa. Rotas las claves sin tocar el código de la aplicación. Es la función que evita que un equipo en crecimiento pase claves de proveedor en crudo.

Puedes usar el gateway gestionado o ejecutar el código AGPLv3 en tu propia infraestructura con Docker, Compose o Kubernetes. El autoalojamiento es gratis y todo, del enrutamiento a las analíticas, funciona igual. La decisión se reduce a quién quieres que asuma la disponibilidad.