LLMTest

LLMTest는 https://llmtest.io/v1에서 OpenAI 형식을 쓰는 단일 API를 제공한다. 즉 JavaScript와 Python의 공식 openai 패키지가 베이스 URL과 키를 바꾸면 작동한다. gpt-4o, anthropic/claude-sonnet-4, google/gemini-2.5-flash, meta-llama/llama-4-scout 또는 다른 지원 모델을 같은 코드 경로로 호출할 수 있다. 제공자의 난립을 감추는 LLM 게이트웨이라고 생각하면 된다. 이미 OpenAI SDK를 쓰는 팀에게 이는 가장 작은 이전이다.

폴백과 JSON 복구는 프록시를 통해 보내는 순간부터 기능 플래그나 추가 코드 없이 작동한다. 모델이 429나 5xx를 반환하면 LLMTest가 다른 모델로 요청을 다시 시도하고 앱은 실패를 보지 못한다. JSON 출력을 요청했는데 모델이 잘못된 형식을 반환하면 프록시가 고치거나 다시 시도한다. 표준 응답 형식만 보이므로 파싱 로직은 그대로다. 교체가 언제 일어났는지 기록하고 싶다면 응답 헤더 x-llmtest-fallback-model이 실제로 호출을 처리한 모델을 알려 준다. 추측은 없다. 그냥 알려 준다.

모든 호출은 토큰 수, 지연 시간, 비용과 함께 기록된다. 선택 사항인 X-Flow 헤더로 호출을 태그하면 LLMTest가 그 이름으로 전부 묶는다. 그래서 "지원 챗봇"과 "제품 설명"이 흐릿한 합계가 아니라 별개의 항목으로 나타난다. 그게 유용한 부분이다. 이 덕분에 AI 비용을 감이 아니라 숫자로 논할 수 있다.

아직 모델을 고르지 않았다면 LLMTest의 벤치마크 모드가 그 빈틈을 메운다. AI 기능을 설명하면 시스템이 테스트 프롬프트를 생성하고 340개가 넘는 모델에 똑똑한 벤치마크를 돌린다. AI 심사관이 모든 출력을 채점하고, 선택 로직은 340개를 무작정 시험하는 대신 가장 관련 있는 도전자를 고른다. 실제 트래픽이 필요 없다. 출시 전에 모델을 비교할 수 있다.

Autopilot은 프롬프트를 다시 쓰고 실제 트래픽에서 더 싸거나 더 나은 모델을 찾으며 매주 백그라운드에서 돌아간다. 더 짧고 저렴한 변형을 시험하고 안전한 성과만 공개된다. 월요일 아침에 무엇이 바뀌었는지, 얼마를 아꼈는지, 24시간 되돌리기 링크를 담은 이메일을 받는다. 한 번의 클릭으로 어떤 변경도 취소할 수 있다.

Autopilot의 변경은 공개 전에 다섯 가지 검사를 통과한다. 프로덕션을 망가뜨리고 싶지 않다면 여기가 중요한 부분이다. 성과에는 95% 신뢰도의 승률, 두 명의 독립 심사관(Claude Sonnet과 GPT-4o, 위치 교체)이 80% 이상으로 일치, 최소 20% 절감, 알려진 정상 입력 5건의 골든 세트 통과, 길이 편향 없음(기준보다 50% 긴 변형은 사람의 승인 필요)이 필요하다. 14일 미만 계정은 건너뛰고 플로우별로 14일 쿨다운을 강제하므로 같은 기능이 그 기간에 두 번 재조정되지 않는다. 게이트가 많다.

LLMTest는 프로덕션 프록시와 나란히 IDE 안에서 MCP 서버로도 돌아간다. 대부분의 팀은 안정성과 비용 추적을 위해 프로덕션에서는 프록시를, 벤치마크와 모델 선택을 위해 개발 중에는 MCP 서버를 쓴다. 둘은 같은 API 키와 같은 데이터를 공유하므로 개발 중에 시험한 내용이 실제로 돌아가는 내용과 일치한다.