OctoAI

Llama 2를 7B, 13B, 70B로 제공했고 대화용 변형과 Code Llama, Mistral 7B도 있었다. API가 OpenAI 요청 형식을 따랐기 때문에 그 표준을 이미 쓰던 팀은 기본 URL만 바꿔 공급사를 갈아탔다. 이 호환성 덕에 새 공급사 검증이 설정 몇 줄로 줄었다.

이미지 쪽은 Stable Diffusion XL을 돌렸고, 호출 안에서 자체 LoRA 어댑터를 붙일 수 있었다. 게임 스튜디오나 마케팅 팀은 기본 모델을 학습시키지 않고도 브랜드 색깔이 묻은 그림을 뽑았다. 응답은 나중에 조회할 대기 번호가 아니라 완성된 이미지였다.

강점은 Apache TVM에서 나왔다. 모델을 특정 칩에 맞춘 코드로 바꾸는 컴파일러다. OctoAI는 이 조정을 자기 서버에서 처리했기에 속도 이득이 설치할 패키지가 아니라 API 응답 시간으로 나타났다. 지원 범위는 NVIDIA GPU, AMD 하드웨어, Intel CPU, AWS Inferentia 칩까지 넓었다. 시장이 NVIDIA로 쏠리면서 이 이식성의 값은 떨어졌다.

2024년 4월에 나온 OctoStack은 기업이 같은 추론 스택을 자기 환경에서 돌리게 했다. AWS, Google Cloud, Azure, CoreWeave, Lambda Labs, 자체 데이터센터 어디든 상관없었다. 내세운 것은 프라이버시와 통제다. 의료, 금융, 공공 팀은 데이터를 OctoAI 서버로 보내지 않고 모델을 쓸 수 있었다. 회사는 직접 구축한 구성보다 GPU 활용률이 4배 높고 운영 비용이 50% 낮다고 주장했다.

카탈로그 밖에서도 미세 조정한 Llama 2 변형을 올려 다른 엔드포인트처럼 호출할 수 있었다. 맞춤 모델용 서빙 계층을 직접 만들지 않아도 됐다. 다만 미세 조정 자체는 다른 곳에서 만들고 검증해야 했다.

고정 월정액 대신 소비량으로 과금했다. 무료 체험 구간이 있었고, 텍스트는 토큰 단위, SDXL은 이미지 단위, 맞춤 엔드포인트는 GPU 시간 단위로 청구했다. 절감 폭이 큰 쪽은 튜닝된 모델이었다. 회사는 최적화하지 않은 배포보다 최대 10배 빠르다고 설명했다.