LiteLLM

LiteLLM est un outil de BerriAI qui offre aux développeurs une seule interface pour appeler des modèles d'OpenAI, Anthropic, Gemini, Bedrock, Azure, Ollama et des dizaines d'autres fournisseurs. Au lieu d'apprendre un SDK, un mode d'authentification et un format de réponse différents pour chaque fournisseur, vous écrivez un seul appel et changez le nom du modèle quand vous voulez basculer vers un autre backend.

Le problème qu'il résout, c'est la dépendance à un fournisseur unique. Les équipes qui construisent sur une seule plateforme découvrent souvent que changer de modèle implique de réécrire les constructeurs de requêtes, la gestion des erreurs et la logique de streaming dans tout le code. LiteLLM place une couche de traduction sous votre code, si bien que la logique métier reste identique pendant que le modèle sous-jacent change dans un fichier de configuration.

Deux façons de l'utiliser couvrent la plupart des besoins. Le SDK Python s'intègre à une application existante sous forme de paquet, tandis que la passerelle (serveur proxy) fonctionne comme un service auto-hébergé qui centralise les clés virtuelles, les budgets et les journaux pour toute une équipe. Le revers de cette commodité, c'est que la passerelle ajoute de l'infrastructure à maintenir, et que la version open source suppose que vous l'hébergiez et la mettiez à jour vous-même.

Getting Started

1. Installez le paquet avec uv add litellm ou pip install litellm, puis définissez les clés d'API de vos fournisseurs en variables d'environnement.
2. Pour la voie du SDK, importez completion et appelez-la avec un nom de modèle comme openai/gpt-4o ou anthropic/claude-sonnet-4, en passant votre liste de messages.
3. Pour la voie de la passerelle, lancez litellm --model gpt-4o ou déployez l'image Docker, puis pointez n'importe quel client OpenAI vers l'URL de base locale.
4. Ajoutez une configuration Router quand vous voulez des nouvelles tentatives et des replis entre plusieurs déploiements, et connectez Postgres et Redis si vous faites tourner plus d'une instance de la passerelle.
5. Suivez l'usage depuis le tableau de bord d'administration ou via un callback, et fixez des budgets par clé, utilisateur ou équipe à mesure que le trafic augmente.