Deep Infra

Deep Infra의 대부분 언어 모델은 OpenAI 채팅 API와 같은 요청 형식을 따른다. 그 형식으로 코드를 작성해 봤다면 기본 URL과 키만 바꿔 LLM API 호출을 실행할 수 있다. 많은 프로젝트에서 이전은 설정 파일 한 줄 수정으로 끝난다.

카탈로그는 텍스트, 이미지, 오디오, 임베딩 모델을 하나의 대시보드에 담는다. 같은 프로젝트에 임베딩 모델과 이미지 생성기가 필요하다고 하자. RAG 파이프라인, 이미지 생성기, 음성 인식 작업을 같은 계정으로 돌릴 수 있어, 단일 배포 안에서 운영하는 모든 서비스의 키 관리와 과금이 단순해진다.

Deep Infra의 가격은 사용량 기반이다. 쓴 만큼 청구된다. 일부 언어 모델은 토큰당 과금하며 캐시 입력에는 할인 요율이 적용되고, 다른 모델은 추론 실행 시간으로 과금한다. 초기 비용도 장기 계약도 없어 유휴 시간에 드는 비용이 없다.

엔드포인트는 트래픽에 맞춰 스스로 확장한다. 기능이 입소문을 타거나 배치 작업이 밀려들 때, 서버리스 AI 추론은 부하를 따라간다. GPU를 미리 사 두고 추정이 맞기를 바랄 필요가 없다.

여러 모델이 캐시된 입력 토큰에 낮은 요율을 제공한다. 고정 시스템 프롬프트나 문서처럼 반복되는 맥락을 우대하는 셈이다. 같은 지시를 다시 보내는 채팅 앱이라면 이 할인이 한 달 동안 쌓인다. 청구서의 작은 항목이지만 절감은 실질적이다.

Deep Infra는 독점 모델보다 오픈소스와 개방형 가중치 모델을 중심에 둔다. 무엇이 돌아가는지 볼 수 있고, 필요하면 같은 모델을 다른 곳으로 옮길 길도 남는다. 가중치와 API 계약이 함께 따라오기 때문이며, 단일 벤더의 폐쇄 시스템에 갇히지 않는다.