Epoch AI

FrontierMath는 수학자가 직접 쓴 원본 문제로 모델을 시험한다. 난이도는 네 단계로 나뉘고 학부 고급 과정에서 단기 연구 과제까지 이어진다. 문제는 공개되지 않고 답은 기계로 검증할 수 있어 암기로 높은 점수를 얻기 어렵다. 미해결 연구 질문을 모은 Open Problems와 Lean으로 형식화한 에르되시 문제 집합도 같은 프로그램에 속한다.

Epoch 역량 지수(ECI)는 여러 벤치마크 결과를 하나의 숫자로 묶어 같은 시험을 본 적 없는 모델끼리도 비교하게 한다. 실제 실행 기록을 바탕으로 벤치마크를 넘나들며 조정하므로 최전선의 흐름을 오래 추적하기에 맞다. 숫자 자체는 추상적이다. 구체적인 판단이 필요할 때는 각 벤치마크의 곡선을 본다.

프로젝트의 핵심으로, 1950년부터 현재까지 3,200개 넘는 머신러닝 모델을 학습 연산량, 개발사, 공개일, 접근 방식과 함께 담는다. 연산량 값에는 추정과 신뢰도 주석이 붙어 숫자만 떠돌지 않는다. 규모화를 연구하는 사람에게는 수개월치 수작업 수집을 아껴 준다.

Epoch AI는 자체 평가를 돌리고 다른 곳이 공개한 결과도 모은다. 둘은 별도 표로 나뉘어 무엇이 무엇인지 한눈에 보인다. 데이터는 CSV, 표 형태, 또는 파이썬 클라이언트 epochai로 받는다. epochai는 Airtable API를 읽고 모델과 실행 기록의 연결을 유지한다. 점수를 특정 모델 버전에 붙여야 할 때 차이가 난다.

AI 데이터센터 데이터베이스는 위성 이미지와 인허가 신청으로 대형 시설을 찾아내 연산량과 전력 사용을 추정한다. 관련 데이터는 머신러닝 하드웨어, GPU 클러스터, 칩 판매, 기업 투자를 다룬다. 모델 순위표가 놓치는 질문, 예컨대 전기가 어디로 가는지에 답한다.

기업과 재단, 정부 기관은 Epoch AI에 비용을 지불하고 모델 평가, 자체 데이터셋 구축, 보고서 작성을 맡길 수 있다. 과거에는 스탠퍼드 AI Index와 영국 과학혁신기술부 협업이 있었다. 공익성을 기준으로 건을 고르는 컨설팅 관계이며 셀프서비스가 아니다.