GoModel

GoModel coloca OpenAI, Anthropic, Gemini, Bedrock, Vertex, Azure, Groq, Ollama, vLLM y otros tras un único endpoint. Son 33 proveedores. Sigue siendo compatible con los formatos de petición de OpenAI y Anthropic, así que cambias la URL base y conservas el SDK que ya conoces. Además rota entre varias claves por proveedor con round-robin, lo que reparte la carga y reduce el radio de impacto de una sola clave limitada.

Publicas nombres estables como smart-chat y reasignas el proveedor y el modelo reales que hay detrás sin tocar el código de la aplicación. ¿Por qué importa eso? Los equipos obtienen una interfaz predecible mientras tú experimentas con lo que hay debajo. El proyecto lo presenta como un cambio de configuración, no un cambio de aplicación, y ahí está justo el punto.

Cuando un proveedor devuelve un error de disponibilidad, GoModel conmuta al siguiente modelo o proveedor, reintenta con retroceso y usa un interruptor de circuito para absorber los servicios inestables. También puede repartir un modelo virtual entre destinos con round-robin ponderado, o dejar que el enrutamiento por coste elija el modelo más barato capaz de atender una petición. La conmutación es automática. Ahí está todo el atractivo.

La caché, la auditoría, el seguimiento de uso, los presupuestos, las barreras de seguridad y la conmutación son interruptores que fijas por proveedor, modelo o ruta de usuario. Los flujos tienen versiones, y gana el alcance más específico, así que una ruta puede exigir registro de auditoría mientras otra corre más ligera. Es flexible. Es la forma de aplicar comportamientos distintos a equipos distintos sin un montón de lógica condicional.

GoModel puede inyectar prompts de sistema o reescribir mensajes con un LLM antes de que salga una petición. Los pasos se ejecutan en grupos ordenados, y los grupos paralelos van a la vez. Es una forma de imponer un tono, bloquear cierto contenido o normalizar las entradas de forma central en lugar de pedirle a cada servicio que lo haga. Menos lógica duplicada.

La caché por coincidencia exacta devuelve las peticiones idénticas más rápido y más barato, así que el mismo prompt no paga el precio completo dos veces. Esto importa sobre todo en bucles de agentes y reintentos, donde las llamadas casi duplicadas se acumulan y queman presupuesto sin que nadie lo note. Cambio pequeño, ahorro real.

El seguimiento por petición asigna el gasto a equipos, inquilinos y funciones, y va más allá del único total que muestra el panel de un proveedor. Los registros de auditoría y los metadatos en tiempo de ejecución hacen que cada petición sea rastreable, que es lo que quieres cuando salta un respaldo y nadie recuerda por qué. Sin conjeturas.

La pasarela se entrega como un único binario Go con una interfaz de administración integrada y almacenamiento que escala con tu carga de trabajo mediante SQLite, Postgres o MongoDB. Las métricas de Prometheus y el streaming SSE están incluidos, así que los enganches de observabilidad existen desde el primer día. Nada que añadir después.