Edgee

Edgee route chaque requête selon le budget et la politique que vous fixez, et garde une chaîne configurable de fournisseurs derrière chaque règle. Si un fournisseur renvoie une erreur 5xx ou dépasse le délai, la requête passe au modèle suivant au lieu d'échouer. Quand un plafond de dépense est atteint, le routage bascule vers un modèle à poids ouverts en pleine tâche, donc une session de codage ne cale pas, et la requête se poursuit sur un modèle évalué pour le travail de codage plutôt que d'abandonner la tâche entièrement. Les sessions ne cassent pas. Cela compte pendant une longue refactorisation.

La passerelle resserre les tokens redondants en deux couches. La compression des entrées traite environ 99 % du volume de tokens en coupant les charges de résultats d'outils, le contenu volumineux des fichiers et la sortie de commandes que les agents lisent mais dont ils ont rarement besoin à nouveau, tandis que la compression des sorties cible le flux plus petit mais plus précieux des réponses du modèle. Edgee décrit cela comme sans perte sémantique pour le travail de codage, ce qui veut dire que vous obtenez le même résultat du modèle avec moins de tokens facturés. Aucune modification du code de l'application n'est nécessaire.

Le coût et l'usage sont ventilés par développeur, par dépôt, par PR et par modèle. Les responsables d'ingénierie voient la dépense en temps réel au lieu d'attendre la facture mensuelle. Le plan Team ajoute des plafonds de dépense par siège avec des alertes quand un développeur approche de la limite, plus une intégration GitHub pour l'attribution par dépôt et par PR.

Edgee sert GLM, Kimi et MiniMax à vitesse turbo pour un prix mensuel fixe. Ce sont les modèles vers lesquels les politiques de routage se replient, et ils sont évalués pour les tâches de codage. Ils donnent aux équipes une cible moins chère qui garde une qualité assez proche pour finir le travail.

Vous pouvez utiliser les clés de fournisseur d'Edgee par commodité, ou brancher vos propres clés pour maîtriser la facturation et utiliser vos modèles personnalisés. Edgee ne prélève aucune marge sur les tokens que vous payez déjà à un fournisseur, ce qui garde les configurations BYOK neutres en coût du côté de la passerelle.

La même passerelle tourne dans votre propre infrastructure via Docker Compose ou Helm, connectée ou isolée. Les prompts, les réponses et les clés de fournisseur ne quittent jamais votre réseau, et c'est ce qui rend le produit utilisable pour les équipes réglementées.

Le catalogue couvre les modèles de pointe et à poids ouverts de tous les grands fournisseurs, avec des prix en direct et des tailles de contexte. Au moment où j'écris, il liste 221 modèles et 974 routes de fournisseur, et n'importe lequel d'entre eux est une cible valide pour une règle de routage.

Les applications et les agents peuvent appeler des LLM via une seule API Edgee au lieu de jongler avec des SDK de fournisseurs séparés. L'usage sur ce chemin est payé à l'usage sans plan requis, facturé avec des frais de plateforme de 5 % quand vous rechargez des crédits Edgee.