Models.dev

Models.dev는 모델을 벤더 사이트에 흩어 놓는 대신 걸러 볼 수 있는 한 표에 나열한다. 그래서 페이지를 벗어나지 않고 이름, 제공사, 컨텍스트 크기, 가격을 살필 수 있다. 여러 연구소의 선택지를 저울질하는 사람에게는 그것만으로 비교에 예전엔 따르던 잡일 대부분이 사라진다.

데이터는 사람뿐 아니라 기계에도 쓸모가 있다. https://models.dev/api.json을 호출하면 카탈로그 전체가 구조화 JSON으로 돌아오고, 가격과 기능 플래그도 포함된다. models.json, catalog.json 같은 별도 피드도 있어 더 좁은 요구를 채운다. 라우터나 비용 도구를 유지한다면 정기적으로 받아 오면 되고 스크래핑은 필요 없다.

models.json 피드는 어떤 제공사가 서비스하는지와 분리해 모델 자체의 정보를 담는다. 출시일, 지식 컷오프, 지원 모달리티 같은 것이다. 같은 기반 모델이 여러 제공사에 나타나 각자 다른 컨텍스트 한도와 가격을 적용할 때, 이 분리가 중요해진다.

각 제공사에는 예측 가능한 URL에서 SVG로 제공되는 로고가 있고, 모델은 AI SDK의 ID 형식을 쓴다. 그대로 쓸 수 있는 식별자 덕분에 데이터가 많은 JavaScript와 TypeScript 프로젝트가 이미 기대하는 형태와 맞아떨어진다.

데이터셋 전체가 공개돼 있고 MIT로 라이선스되며 읽을 수 있는 TOML 파일로 저장된다. 그래서 포크하고, 정말 신경 쓰는 제공사만 남기도록 줄이고, 방화벽 뒤에 자기 내부 사본을 둘 수 있다. 열쇠를 쥔 벤더는 없다.

데이터가 저장소에 있으니 수정은 개발자가 이미 아는 pull request 흐름을 따른다. 낡은 가격이나 빠진 모델을 발견하면 PR을 열면 되고, 시장이 움직이는 만큼 데이터베이스도 나아진다.