ZeroGPU

ZeroGPU는 https://api.zerogpu.ai/v1에서 OpenAI 호환 엔드포인트를 제공한다. 이미 OpenAI SDK를 쓴다면 그것을 ZeroGPU로 향하게 하고 코드 대부분을 그대로 유지할 수 있다. 인증은 표준 베어러 토큰이 아니라 x-api-key와 x-project-id 헤더로 이뤄진다. 작은 설정 변경이지 재작성이 아니다. 기존 파이프라인의 도입 비용을 낮추는 기능이 바로 이것이다. 마찰은 줄고 전환은 빨라진다.

이 플랫폼은 각 워크로드를 그 작업에 맞게 고른 소형 또는 nano 모델에 매칭한다. 분류나 추출 전용 모델은 그 목적 특화 작업에서 더 큰 범용 모델을 앞서고, 더 저렴하고 빠르게 돈다. 모델 카탈로그에서 알맞은 것을 고르면 라우팅은 시스템이 내부에서 처리한다. 알맞은 모델, 알맞은 일.

ZeroGPU는 단일 중앙 GPU 클러스터가 아니라 엣지 기기 네트워크에서 워크로드를 돌린다. 회사는 10만 대 이상의 엣지 기기를 언급하며, 운영 규모에서 지연이 낮게 유지되는 이유로 이 네트워크를 든다. 왜 중요할까. 반복 작업에서는 연산을 요청에 물리적으로 가깝게 두면 왕복 시간이 줄어든다.

핵심 제안은 기존 GPU 클라우드 대비 추론 비용이 50~70% 낮고 특화 워크로드에서 추론이 최대 10배 빠르다는 것이다. 말하자면 싸고 빠르다. 회사는 결과가 워크로드, 모델, 구성에 따라 달라진다고 분명히 밝히므로 이 수치는 출발점의 기대치이지 보장이 아니다. 사이트의 절감 계산기로 도입 전에 효과를 추정할 수 있다. AI 콘텐츠 검열과 대량 분류에서는 바로 여기서 이 플랫폼의 값어치가 나온다.

활용 사례 카탈로그는 광고 의도 분류, 이메일 분류, 콘텐츠 검열, 지원 자동화, 데이터 보강, 100개 이상 언어 번역, 개인화, 문서 OCR, 사기 탐지, PII 마스킹, 탈옥 탐지, 멀티모달 추론까지 아우른다. 이 폭이 중요한 이유는, 하나의 틈새가 아니라 여러 다른 제품의 실행 계층을 겨냥한다는 걸 보여주기 때문이다.

ZeroGPU는 AI 에이전트에게 직접 판다. 에이전트 스토어프런트가 가격과 결제 안내를 공개하고, 에이전트는 가입 절차나 사람의 단계 없이 자격 증명을 등록하고 플랜을 살 수 있다. 결제는 x402나 MPP로 지갑을 통해 정산하거나, 사람의 도움을 받아 카드로 한다. 자율 파이프라인을 겨냥한 드문 방식이다.