Milliseconds.ai

Milliseconds.ai는 일반적인 한 가지가 아니라 작은 의사결정 유형 묶음을 다룬다. 예/아니오 답변, 전체 점수 분포를 담은 분류 라벨, 척도상의 평가, 출처 텍스트에서 이끌어낸 답변, 추출된 필드, 개체명, 검증 결과를 얻을 수 있다. 각 형태는 소프트웨어가 어딘가에서 이미 하는 일에 맞아떨어지며, 어느 것을 고를지는 대개 코드가 플래그, 범주, 숫자, 저장할 수 있는 값 집합 중 무엇을 필요로 하는지로 정해진다. 라우팅 규칙에는 라벨이 필요하다. 양식 채우기 단계에는 필드가 필요하다. 알맞은 형태를 고르는 일이 설정 작업의 대부분이다.

모델은 입력을 단일 순전파로 읽고 결과를 돌려준다. 챗 모델처럼 답을 한 단어씩 쓰지 않는다. 그래서 판단이 약 90밀리초 만에 돌아온다. 더 긴 호출도 있다. 답변은 약 0.3에서 0.9초, 추출은 2.5에서 3.5초 걸린다. 플래그나 라벨만 필요한 요청이라면 속도는 유지된다.

분류가 팽팽할 때는 그게 보인다. 분류 호출은 승자만이 아니라 지정한 모든 라벨의 확률을 신뢰도 값과 함께 돌려준다. 두 라벨이 각각 0.34 근처에 몰리면, 코드는 추측하는 대신 그 사례를 검토 대상으로 표시할 수 있다. 단일 답만 주고 의심을 감추는 API와는 실질적으로 다르다. 추측할 필요가 없다.

같은 기능이 텍스트와 이미지를 받는다. 바이트, base64 문자열, 데이터 URL을 보내면 모델이 바로 읽는다. 지원 형식은 JPEG, PNG, WebP이며 각각 5MB까지다. 이미지 저장은 어떤가. 없다. 이미지 처리는 고른 세부 수준에 따라 고정 토큰 수로 청구된다. 원격 이미지 URL은 받지 않으므로, 코드가 파일을 직접 보내야 한다.

공식 TypeScript와 Python SDK가 있고, dm1이라는 명령줄 도구도 있다. 결과 타입은 사용자가 정의한 라벨을 따르므로, 원시 HTTP를 풀어내지 않고도 승리한 라벨과 그 점수를 읽을 수 있다. CLI는 파일이나 파이프에서 텍스트를 읽고, 다른 프로그램을 위해 JSON을 쓰며, 종료 코드로 스크립트를 제어한다. 설치는 npm이나 pip 명령 한 줄이면 된다.

프로덕션 가격은 백만 입력 토큰당 $0.04이고, 출력 토큰은 무료다. 테스트 키는 매달 1억 2500만 개의 무료 입력 토큰을 준다. 돈을 내기 전에 실제 데이터로 API를 평가하기에 충분하며, $10 이상 크레딧을 사면 프로젝트를 프로덕션 키로 전환할 수 있다. 이미지는 세부 수준별 고정 요율로 청구되므로, 시작하기 전에 이미지 천 장당 비용을 어림할 수 있다.