Web Bench

Web Bench는 데이터를 가져오는 작업과 바꾸는 작업을 나눈다. 읽기는 탐색과 추출을, 쓰기는 로그인과 양식 입력, 2단계 인증, 내려받기를 맡는다. 이 분리가 중요한 이유는 읽기에서 빛나는 에이전트가 사이트를 바꾸는 조작에서는 무너지기 때문이다.

문제 묶음은 접속 상위 1,000개 사이트에서 고른 452개 사이트에서 5,750개 작업을 돌린다. 폭이 핵심이다. 이전 벤치마크는 사이트 몇 개만 시험해서 에이전트가 화면 배치를 외울 수 있었다. 사이트가 늘면 실제로 쓰는 페이지로 결과가 더 잘 옮겨간다.

약 2,454개 작업이 GitHub와 Hugging Face에 공개 데이터로 올라간다. 누구나 지시문을 살피고, 문제 묶음을 다시 돌리고, 학습에 쓸 수 있다. 닫힌 순위를 못 미더워하는 팀에게 채점을 검증할 수 있는 상태로 남겨준다.

실패한 실행에는 원인 표시가 붙는다. 에이전트 오류는 탐색 실패, 성공을 지어냄, 시간 초과, 잘못된 추출을 아우른다. 기반 오류는 프록시 차단, 캡차, 로그인 때 봇 판정을 아우른다. 이 구분이 모델을 고칠지 브라우저 환경을 고칠지 알려준다.

정확도뿐 아니라 Web Bench는 작업별 실행 시간과 단계 수를 기록한다. 단계 수가 대부분 에이전트의 비용을 정하므로, 실제 배포에 얼마가 들지 가늠하는 데 도움이 된다. 시간당 과금과 단계당 과금 중 무엇이 맞는지도 보여준다.

순위는 두 구성을 채점한다. 자율 벤치마크는 사람 손 없이 돌린다. 코파일럿 벤치마크는 사람이 흐름에 들어간 상태로 돌린다. 둘을 견주면 사람이 업무에 끼어들 때 결과가 얼마나 달라지는지 드러난다.