Oxlo.ai

Oxlo.ai는 AI 추론 플랫폼이다. 즉 대규모 언어 모델을 호스팅하고 API를 통해 제공한다. 가중치를 내려받거나 서버를 빌릴 필요가 없다. 요청을 보내면 답이 돌아온다. 제안은 단순하다. 40개 이상의 프런티어 오픈 모델 중에서 고르고, 기존 OpenAI SDK 코드를 그대로 유지하며, 입력과 출력 토큰을 하나하나 추적하는 대신 요청 단위 정액을 낸다.

이것이 해결하는 핵심 문제는 비용에 대한 불안이다. 대부분의 추론 제공업체는 토큰 단위로 과금하므로 긴 대화나 큰 문서가 예산을 조용히 넘길 수 있다. 요청 단위 요금은 이를 뒤집는다. 호출하기 전에 그 비용을 안다. 취미 프로젝트에서는 거의 문제가 되지 않는다. 실제 트래픽이 있는 무언가에는 예측 가능한 청구서가 큰 의미다.

염두에 둘 상충 관계는 토큰 없는 과금이 요청이 적당한 크기로 유지될 때만 이득이라는 점이다. 호출 단위로 과금하는 LLM 추론 플랫폼에 100k 토큰 프롬프트를 습관적으로 보낸다면, 요청 단위 모델이 토큰 단위보다 훨씬 더 비쌀 수 있으니 확정하기 전에 직접 숫자를 계산해야 한다. Oxlo.ai는 프라이버시 우선으로도 홍보하므로 민감한 콘텐츠를 다룬다면 데이터 처리 조건을 꼼꼼히 읽을 가치가 있다.

시작하기

1. Oxlo.ai 사이트에서 계정을 만들고 대시보드에서 API 키를 발급한다.
2. 기존 OpenAI 클라이언트를 Oxlo.ai의 베이스 URL로 향하게 하고 키를 붙여 넣는다. 대부분의 코드는 그 외에 아무것도 필요하지 않다.
3. 요청의 model 필드를 설정해 지원 목록에서 모델을 고른다.
4. 스트리밍을 켠 테스트 호출을 보내 지연과 출력이 용도에 맞는지 확인한다.
5. 키를 프로덕션 환경으로 옮기고 트래픽을 늘리기 전에 사용량을 모니터링한다.