LiteLLM

O LiteLLM é uma ferramenta da BerriAI que dá aos desenvolvedores uma única interface para chamar modelos da OpenAI, Anthropic, Gemini, Bedrock, Azure, Ollama e dezenas de outros provedores. Em vez de aprender um SDK, um padrão de autenticação e um formato de resposta diferentes para cada fornecedor, você escreve uma chamada e troca o nome do modelo quando quer mudar de backend.

O problema que ele resolve é a dependência de um único provedor. Equipes que constroem sobre uma plataforma só costumam descobrir que trocar de modelo significa reescrever construtores de requisição, tratamento de erros e lógica de streaming em todo o código. O LiteLLM coloca uma camada de tradução por baixo do seu código, de modo que a lógica de negócio continua igual enquanto o modelo por trás muda em um arquivo de configuração.

Há duas formas de usar o LiteLLM e, juntas, elas cobrem quase todas as necessidades. O SDK de Python entra em um aplicativo existente como um pacote, enquanto o gateway (servidor proxy) roda como serviço auto-hospedado que centraliza chaves virtuais, orçamentos e logs para uma equipe inteira. O preço dessa comodidade é que o gateway acrescenta infraestrutura para manter, e a versão de código aberto espera que você mesmo a hospede e atualize.

Getting Started

1. Instale o pacote com uv add litellm ou pip install litellm e defina as chaves de API dos seus provedores como variáveis de ambiente.
2. Para o caminho do SDK, importe completion e chame com um nome de modelo como openai/gpt-4o ou anthropic/claude-sonnet-4, passando sua lista de mensagens.
3. Para o caminho do gateway, rode litellm --model gpt-4o ou implante a imagem Docker e depois aponte qualquer cliente OpenAI para a URL base local.
4. Adicione uma configuração de Router quando quiser tentativas e fallbacks entre vários deploys, e conecte Postgres e Redis se rodar mais de uma instância do gateway.
5. Acompanhe o uso pelo painel de administração ou por um callback, e defina orçamentos por chave, usuário ou equipe conforme o tráfego cresce.