OnDemand

텍스트, 이미지, 데이터 작업용 호스팅 모델을 제공하며 Playground에서 답을 비교한 뒤 정할 수 있다. 같은 프롬프트를 여러 모델에 보내고 예산과 지연에 맞는 것을 남긴다. 구축에 들어가기 전에 과제가 풀리는지 확인하는 가장 빠른 길이다.

Bring Your Own Inference는 이미 운영 중인 추론 엔드포인트를 OnDemand에 연결한다. Bring Your Own Model은 한 걸음 더 간다. Hugging Face 모델을 vLLM과 전용 베어메탈 GPU에 올리고, 비공개 가중치는 자체 토큰으로 다룬다. 튜닝한 모델을 데이터 이동이나 이중 호스팅 비용 없이 운영에 남길 수 있다.

에이전트는 모델을 채팅 밖으로 끌어낸다. REST 에이전트는 OpenAPI 스키마를 호출 가능한 동작으로 바꾸고, 지식 에이전트는 색인된 문서에서 답한다. 커넥터는 OAuth로 외부 서비스를 잇는다. MQTT 기반 IoT 에이전트와 터미널 에이전트는 장비와 서버를 다룬다. 하드웨어를 건드리는 업무에서 차이가 난다.

빌더는 모델, 에이전트, 로직을 반복 가능한 파이프라인으로 엮는다. 노드가 분기와 데이터 변환, 도구 호출을 맡으므로 여러 단계 작업이 스크립트 줄이 아니라 하나의 플로로 돈다. 공개한 플로에는 전용 엔드포인트와 실행 기록이 붙어 실패를 추적하기 쉽다.

업로드한 파일은 분석되고 청크로 나뉘어 관리형 벡터 데이터베이스에 들어간다. 답변은 그 조각에 근거한다. 검색 설정에서 청크 크기와 결과 개수를 조정할 수 있다. 큰 문서도 감당하므로 200쪽 PDF가 수집 단계를 막지 않는다.

채팅, 에이전트, 플로, 실행 모두 API가 있다. 하나의 기본 URL 아래에서 표준 키와 호출 한도를 쓴다. 웹훅은 실행이 끝나면 결과를 사내 시스템으로 돌려보낸다. 서버리스 앱은 작은 함수를 에이전트 옆에 두므로 운영할 서비스 수가 줄어든다.