GoModel

GoModel place OpenAI, Anthropic, Gemini, Bedrock, Vertex, Azure, Groq, Ollama, vLLM et d'autres derrière un seul endpoint. Cela fait 33 fournisseurs. Il reste compatible avec les formats de requête d'OpenAI et d'Anthropic, donc vous changez l'URL de base et gardez le SDK que vous connaissez déjà. Il alterne aussi entre plusieurs clés par fournisseur en round-robin, ce qui répartit la charge et réduit la portée d'une seule clé limitée.

Vous publiez des noms stables comme smart-chat et réassociez le fournisseur et le modèle réels derrière eux sans toucher au code de l'application. Pourquoi est-ce important ? Les équipes obtiennent une interface prévisible pendant que vous expérimentez ce qu'il y a en dessous. Le projet présente cela comme un changement de configuration, pas un changement d'application, et c'est tout l'intérêt.

Quand un fournisseur renvoie une erreur de disponibilité, GoModel bascule vers le modèle ou le fournisseur suivant, réessaie avec un backoff et utilise un disjoncteur pour absorber les services instables. Il peut aussi répartir un modèle virtuel entre plusieurs cibles en round-robin pondéré, ou laisser le routage par coût choisir le modèle le moins cher capable de traiter une requête. Le basculement est automatique. C'est tout l'attrait.

Cache, audit, suivi de l'usage, budgets, garde-fous et basculement sont des interrupteurs que vous réglez par fournisseur, modèle ou parcours utilisateur. Les flux sont versionnés, et la portée la plus précise l'emporte, si bien qu'une route peut exiger la journalisation d'audit tandis qu'une autre tourne plus légère. C'est souple. C'est ainsi qu'on applique des comportements différents à des équipes différentes sans une pile de logique conditionnelle.

GoModel peut injecter des prompts système ou réécrire des messages avec un LLM avant qu'une requête ne parte. Les étapes s'exécutent en groupes ordonnés, et les groupes parallèles tournent ensemble. C'est un moyen d'imposer un ton, de bloquer certains contenus ou de normaliser les entrées de façon centralisée plutôt que de demander à chaque service de le faire. Moins de logique dupliquée.

Le cache à correspondance exacte renvoie les requêtes identiques plus vite et à moindre coût, donc la même requête ne paie pas le prix plein deux fois. Cela compte surtout dans les boucles d'agents et les nouvelles tentatives, où des appels quasi identiques s'accumulent et brûlent discrètement le budget. Petit changement, vraie économie.

Le suivi par requête associe la dépense à des équipes, des locataires et des fonctionnalités, au-delà du total unique qu'affiche le tableau de bord d'un fournisseur. Les journaux d'audit et les métadonnées d'exécution rendent chaque requête traçable, ce que vous voulez quand un basculement se déclenche et que personne ne se rappelle pourquoi. Aucune supposition.

La passerelle est livrée comme un seul binaire Go avec une interface d'administration intégrée et un stockage qui évolue avec votre charge via SQLite, Postgres ou MongoDB. Les métriques Prometheus et le streaming SSE sont inclus, donc les points d'observabilité existent dès le premier jour. Rien à ajouter après coup.