LiteLLM

LiteLLM es una herramienta de BerriAI que da a los desarrolladores una sola interfaz para llamar a modelos de OpenAI, Anthropic, Gemini, Bedrock, Azure, Ollama y decenas de proveedores más. En lugar de aprender un SDK, un sistema de autenticación y una estructura de respuesta distintos para cada proveedor, escribes una llamada y cambias el nombre del modelo cuando quieres pasar a otro backend.

El problema que resuelve es la dependencia de un solo proveedor. Los equipos que construyen sobre una única plataforma descubren a menudo que cambiar de modelo implica reescribir constructores de peticiones, gestión de errores y lógica de streaming en todo el código. LiteLLM coloca una capa de traducción debajo de tu código para que la lógica de negocio siga igual mientras el modelo subyacente cambia en un archivo de configuración.

Hay dos formas de usarlo y entre las dos cubren casi todas las necesidades. El SDK de Python se integra en una aplicación existente como un paquete, mientras que el gateway (servidor proxy) funciona como servicio autoalojado que centraliza claves virtuales, presupuestos y registros para todo un equipo. El precio de esa comodidad es que el gateway añade infraestructura que mantener, y la versión de código abierto espera que tú mismo la alojes y la actualices.

Getting Started

1. Instala el paquete con uv add litellm o pip install litellm y configura las claves de API de tus proveedores como variables de entorno.
2. Para la vía del SDK, importa completion y llámala con un nombre de modelo como openai/gpt-4o o anthropic/claude-sonnet-4, pasando tu lista de mensajes.
3. Para la vía del gateway, ejecuta litellm --model gpt-4o o despliega la imagen de Docker, y luego apunta cualquier cliente de OpenAI a la URL base local.
4. Añade una configuración de Router cuando quieras reintentos y alternativas entre varios despliegues, y conecta Postgres y Redis si ejecutas más de una instancia del gateway.
5. Sigue el uso desde el panel de administración o mediante un callback, y fija presupuestos por clave, usuario o equipo a medida que crece el tráfico.