Surge AI

Surge의 가장 큰 자산은 누가 채점하느냐다. 회사는 20만 명이 넘는 박사급 인력이 네트워크에 있다고 밝히고, 현직 경제학자, 소송 변호사, NASA 엔지니어, 국제수학올림피아드 금메달리스트, 임상의를 기여자로 내세운다. 실패 비용이 큰 작업에서는 머릿수보다 이 점이 중요하다. 변호사가 계약서를 읽으면 일반 주석자가 그냥 넘기는 오류를 잡아낸다. 그 차이가 모델이 배우는 선호 데이터에 남는다. 접근은 분야 단위라서 특수 영역은 일반 영역보다 인력이 갖춰지는 데 오래 걸린다. 데이터 주석 플랫폼으로서의 대량 처리보다 전문가 주석 서비스가 먼저 오고, 크라우드소싱 도구와는 순서가 반대다.

카탈로그에서 에이전트를 겨냥한 부분이다. Surge는 도구, 사내 시스템, MCP 서버를 갖춘 다단계 환경을 만들고, 에이전트가 실제로 작업을 끝냈는지 채점하는 검증기를 쓴다. 공개된 구성 하나는 고객 지원 회사를 시뮬레이션해 현실적인 티켓으로 모델을 학습시키고, 다른 하나는 100쪽짜리 핸드북을 따라 사내 규정을 지키는 일을 재현한다. 장점은 실패가 싸다는 데 있다. 에이전트는 실제 시스템을 건드리기 전에 시뮬레이션 안에서 천 번을 틀릴 수 있다.

루브릭은 주관적 판단을 점수로 바꾸는 장치이고, Surge가 모으는 RLHF 데이터의 상당 부분을 움직이는 엔진이다. 선호 과제에서는 사람이 두 답변 중 나은 쪽을 고르고, 루브릭 채점 과제에서는 같은 사람이 품질을 가중치가 붙은 항목으로 쪼갠다. 전기문은 인물의 행적을 충실히 따라간 점에서 가점을 받고, 핵심이 되는 수수께끼를 빠뜨린 점에서 감점된다. 이 구조 덕분에 모든 답변을 다시 읽지 않고도 대량 평가가 가능하고, 합격과 불합격만으로는 사라지는 '제 몫을 하는 수준'과 '뛰어난 수준'의 차이도 남는다.

카탈로그는 Surge가 연구소와 일할 때 쓰는 데이터를 별도 프로젝트 없이 판다. 범주는 코딩 에이전트, 기업 에이전트, 멀티모달 추론, 전문가 추론으로 나뉘고, GDP.pdf, Chartography, ComplexConstraints 같은 이름의 데이터셋이 들어 있다. 공개 결과 중 하나는 Kimi K2.7이 코드 세트로 학습한 뒤 SWE-Marathon에서 20포인트 오른 사례다. Trusted 프로그램 파트너는 먼저 학습하고 효과가 나면 지불할 수 있어, 숫자가 움직이는 걸 보기 전에 데이터를 사는 위험을 줄인다.

Surge는 자체 리더보드를 공개하고, 채점은 다른 모델이 아니라 전문가가 한다. Antidote는 일상적인 답변을 장기적 유용성으로 줄 세우고, Hemingway-bench는 글쓰기를 취향과 정서 이해로 평가하며, DAYJOB 시리즈는 금융과 의료 업무에서 에이전트를 시험한다. Riemann-bench는 현직 수학자에게 고급 문제를 받는다. 이 벤치마크는 구매자에게 공통 기준점을 주고, 전문가 채점이 자동 점수보다 낫다는 주장의 공개 근거 역할도 한다.

Surge는 70개 이상 언어로 일하며, 언어학자가 영어 프롬프트를 번역하는 대신 문법, 관용 표현, 지역 용법에 맞춰 데이터를 설계한다. 멀티모달에서는 이미지, 오디오, 영상, 문서, 화면을 다룬다. 한국어 법률 요약이나 브라질 뉴스 헤드라인은 그 언어를 모국어로 읽는 사람이 쓴다. 모델을 영어권 밖으로 내보낼 때 이 차이가 드러난다.