Together AI

Together AI는 채팅과 추론 모델부터 비전, 이미지, 오디오, 임베딩 모델까지 폭넓은 오픈소스 모델 카탈로그를 호스팅한다. 어느 것이든 하나의 API로 호출하고 100만 토큰 단위로 지불하므로 미리 준비할 용량이 없다. 그래서 하나를 고르기 전에 여러 모델을 자신의 작업에 시험해보기 쉽다.

엔드포인트는 OpenAI와 같은 요청 형식을 따른다. 즉 기존 코드가 베이스 URL과 키를 바꾸면 대개 그대로 작동한다. 실제로 이미 아는 LLM API 형식 그대로다. SDK는 Python과 JavaScript용이 있고, 배치 API를 쓰면 큰 작업을 더 낮은 가격에 줄 세울 수 있다. 이미 OpenAI 스타일 도구 위에서 만드는 팀에게 전환은 대부분 설정 작업이다.

서버리스 지연이 충분히 일정하지 않으면 처리량을 보장하는 전용 엔드포인트로 모델을 옮길 수 있다. 부하가 걸려도 응답 시간을 일정하게 유지해야 하는 프로덕션 앱에 맞는다. 토큰 과금의 유연성을 예약 용량과 예측 가능한 성능과 맞바꾸는 셈이다.

지원 모델을 자체 데이터로 파인튜닝한 뒤 조정된 버전을 같은 계정에서 서빙할 수 있다. 기본 모델이 언어는 알지만 자신의 도메인이나 어조, 서식 규칙은 모를 때 유용하다. 학습과 추론이 함께 있으니 가중치를 공급자 사이에서 옮길 필요가 없다.

Together AI는 NVIDIA H100, H200, B200, GB200 하드웨어를 갖춘 베어메탈 GPU 클러스터를 임대하고, 분산 작업을 위해 InfiniBand로 연결한다. GPU 몇 장에서 수천 장까지 늘리고 실행이 끝나면 내릴 수 있다. 새 B200 용량은 필요할 때 쓸 수 있어, 긴 예약 없이 아이디어를 시험하려 할 때 중요하다.

텍스트를 넘어 이 플랫폼은 이미지 생성, 오디오, 비디오, 전사, 리랭킹을 아우른다. 멀티모달 제품을 만드는 팀은 한 공급자와 한 청구 계정에서 여러 기능을 끌어올 수 있다. 관리할 계약과 키, 대시보드 수가 줄어든다.

가격은 모델별로 나열되고 입력, 출력, 캐시 입력 요율을 따로 표시하며, 급하지 않은 작업을 위한 더 저렴한 배치 등급도 있다. 캐시 입력 가격은 반복되는 프롬프트의 비용을 크게 줄일 수 있다. 공급자를 정하기 전에 기능별 지출을 추산할 수 있다. 영업 전화는 필요 없다.