LiteLLM

LiteLLM은 OpenAI, Anthropic, Gemini, Bedrock, Azure, Ollama 등 수십 개 제공자의 모델을 하나의 인터페이스로 호출하게 해주는 BerriAI의 도구다. 제공자마다 SDK, 인증 방식, 응답 형식을 따로 익힐 필요 없이 호출을 한 번 작성해 두고, 백엔드를 바꾸고 싶을 때 모델 이름만 교체하면 된다.

이 도구가 푸는 문제는 특정 벤더에 묶이는 일이다. 한 플랫폼 위에 시스템을 세운 팀은 모델을 바꾸려는 순간 요청 조립, 오류 처리, 스트리밍 로직을 코드 전체에서 다시 짜야 한다는 사실을 뒤늦게 알게 된다. LiteLLM은 코드 아래에 번역 계층을 둔다. 비즈니스 로직은 그대로 두고, 밑에 깔린 모델만 설정 파일에서 갈아 끼운다.

쓰는 방법은 두 가지이고, 이 둘로 대부분의 요구를 감당한다. 파이썬 SDK는 패키지로 기존 앱에 들어가고, 게이트웨이(프록시 서버)는 자체 호스팅 서비스로 돌면서 팀 전체의 가상 키, 예산, 로그를 한곳에 모은다. 그 편의의 대가는 게이트웨이라는 운영할 인프라가 하나 늘어난다는 점이고, 오픈소스 버전은 직접 호스팅하고 업데이트하는 쪽을 전제로 한다.

Getting Started

1. uv add litellm이나 pip install litellm으로 패키지를 설치하고, 각 제공자의 API 키를 환경 변수로 설정한다.
2. SDK 경로라면 completion을 임포트해 openai/gpt-4o나 anthropic/claude-sonnet-4 같은 모델 이름으로 메시지 목록을 넘겨 호출한다.
3. 게이트웨이 경로라면 litellm --model gpt-4o를 실행하거나 Docker 이미지를 배포하고, 아무 OpenAI 클라이언트나 로컬 베이스 URL로 향하게 한다.
4. 여러 배포 사이에서 재시도와 폴백을 걸고 싶으면 Router 설정을 추가하고, 게이트웨이를 여러 인스턴스로 돌린다면 Postgres와 Redis를 연결한다.
5. 관리 대시보드나 콜백으로 사용량을 추적하고, 트래픽이 늘어나는 만큼 키, 사용자, 팀 단위로 예산을 정한다.