Bethge Lab

PostTrainBench는 질문을 곧게 던진다. 언어 모델 에이전트가 기초 모델을 넘겨받아 사람 손 없이 포스트 트레이닝을 해낼 수 있는가. 에이전트에는 고정 연산 예산이 주어지고, 나온 모델은 따로 남겨 둔 과제로 채점된다. 성과는 홍보 문구가 아니라 숫자로 나타난다. 팀은 이 벤치마크로 에이전트 구조를 같은 조건에서 비교한다. 자율 머신러닝 작업의 부하 시험에 이만큼 가까운 것은 드물다.

ONEBench는 한 번의 실행을 평균으로 뭉개지 않고 표본마다 점수를 매긴다. 쉬운 프롬프트에서 늘고 어려운 프롬프트에서 조용히 무너지는 모델은 여기서 드러난다. 새 모델과 과제가 들어올 때마다 함께 자라도록 설계해서, 지난 점수가 얼어붙지 않는다. 자체 테스트 세트를 더해도 비교의 공정성은 유지된다.

AlgoTune은 모델이 실제로 더 빠른 수치 계산 코드를 쓰는지 본다. QVal은 긴 실행에서 어느 단계가 정말 도움이 됐는지 잰다. 둘 다 최종 정답률이 가려 버리는 부분을 겨냥한다. 수십 단계를 도는 에이전트를 운영한다면, 전체 기록을 사람이 다시 읽는 것보다 싼 신호가 된다.

DataComp-VLM은 정리된 이미지·텍스트 데이터를 공개 기준선과 함께 제공한다. LAION-BVD는 멀티모달 사전 학습용으로 1000만 시간의 공개 영상을 더한다. 둘 다 공개된 자리에서 만들어지고 선별 판단이 기록으로 남는다. 라이선스나 불투명한 정리가 실험을 막을 때 연구자들이 찾는 곳이다.

CiteME는 언어 모델이 과학적 주장 뒤에 있는 논문을 찾아내는지 시험한다. 범위는 좁고 답은 검증할 수 있다. 자신 있게 말하면서 아무것도 인용하지 않는 모델을 걸러내는 데 알맞다. 연구실은 역량이 학습 데이터에서 어떻게 나오는지도 살피기 때문에, 잘못된 인용은 세기만 하는 게 아니라 출처까지 되짚을 수 있다.

DeepGaze3.5-VL은 시선 경로를 토큰 열로 다루고 비전·언어 모델에 얹어 사람이 어디를 보는지 예측한다. 같은 계열의 옛 버전은 현저성 연구에서 여전히 쓰이고, 바탕 데이터는 공개돼 있다. 작은 표본으로 만든 히트맵이 아니라 주의 모델이 필요할 때 UX와 비전 팀이 손을 뻗는다.

openretina는 데이터셋과 연구실, 종을 넘나들며 망막 모델을 학습하는 공동 프로젝트다. 한 연구실이 기록을 쌓아 두는 대신 모델과 데이터를 내놓아 결과를 비교할 수 있게 한다. 신경과학 그룹은 공통 기준선으로 쓰고, 더 먼 목표는 생물학적 시각을 누적해서 설명하는 것이다.