Substrate AI Inference Platform

프로그램은 HTTP 호출의 나열이 아니라 의존 관계를 가진 노드로 작성했다. Substrate는 먼저 그래프 전체를 읽고 독립된 갈래를 동시에 출발시켰다. 텍스트 생성 세 갈래와 합치는 단계가 있는 작업에서 합치는 단계는 모든 갈래를 차례로 기다리지 않고 가장 느린 갈래만 기다리면 됐다. 멀티 추론이라는 말이 가리킨 것이 이 구조다. 요청 하나, 여러 모델 호출, 결과 하나.

모델을 직접 띄우지 않고도 시작할 수 있게 기본 노드가 준비돼 있었다. 텍스트 생성, 타입이 붙은 필드를 돌려주는 JSON 추출, 이미지 생성, 음성 전사, 임베딩 계산을 같은 클라이언트로 호출했다. 텍스트 노드로 초안을 쓰고 출력을 JSON 스키마에 밀어 넣은 뒤 그대로 저장하는 흐름이 흔했다. 데이터를 업체 사이로 옮기지 않고 한 번의 실행으로 끝난다.

Python용과 JavaScript용 노드 두 개로 모델 호출 옆에서 평범한 코드를 돌릴 수 있었다. 모델이 약한 부분, 곧 CSV 파싱, 사내 엔드포인트 호출, 페이로드 재구성을 여기서 처리했다. 코드 노드가 모델 노드와 같은 클러스터에서 돌아서 큰 중간 객체를 자체 서버로 직렬화하지 않고 넘길 수 있었다.

Substrate는 프로그램 안 모든 노드가 같은 클러스터에서 실행된다고 약속했다. 사용자 입장의 효과는 왕복 횟수가 줄고, 전사 결과를 음성 노드에서 텍스트 노드로 넘길 때 외부 전송 비용이 들지 않는 것이다. 긴 사슬에서 지연도 예측하기 쉬워졌다. 각 단계가 공개 인터넷을 건너는 요청이 아니라 로컬 호출이었기 때문이다.

Python SDK와 TypeScript SDK가 주된 접점이었다. 둘 다 노드를 객체로 만들고 하나를 다른 하나의 입력으로 넘겨 연결하며 실행 뒤에 내용을 살펴볼 수 있었다. Ben Guo는 Stripe에서 8년 동안 API와 SDK 설계를 맡았고, 타입이 붙은 입력, 짧은 메서드 이름, 모든 중간 값을 보관하는 실행 객체 같은 사용감에 그 흔적이 남아 있다.

모델 호출과 직접 작성한 코드, 실행 결과 저장이 하나의 사용량 청구서로 합쳐졌다. 작은 팀에는 맞춰 볼 청구서가 네 장이 아니라 한 장이 되는 차이였고, 모델 업체마다 따로 선불을 살 필요도 없앴다. 과금은 노드 단위로 측정돼 그래프의 어느 단계가 예산을 먹는지 보였다.