Chatbot Arena

Battle은 이 사이트의 중심이다. 지시 하나에 이름 없는 답이 두 개 돌아온다. 투표하면 두 정체가 동시에 드러나서 익숙한 브랜드를 편들기 어렵다. 순위에 들어가는 것은 이름이 가려진 동안 넣은 표뿐이라 블라인드 방식이 유지된다.

점수는 Bradley-Terry 모델에서 나온다. 일대일 비교를 위해 만든 통계 기법으로 체스 레이팅과 결이 비슷하다. 시험 점수가 아니라 직접 대결에서 이겨 순위를 올린다. 여기에 스타일 제어를 적용해 길거나 잘 다듬어진 답에 쏠리는 선호를 빼낸다. 길이만으로 이기지는 못한다.

표 하나가 아니다. 텍스트, WebDev, 시각, 검색, 텍스트에서 이미지, 이미지 편집, 텍스트에서 영상, 이미지에서 영상, 영상 편집, 에이전트가 각각 보드를 갖는다. 창작 글쓰기 1위 모델이 코드에서는 뒤처질 수 있고, 종합 순위만 보면 그 차이가 가려진다.

개발사는 공개하지 않은 버전을 블라인드 테스트에 넘기고, 보통 코드명으로 먼저 등장한다. 몇 달 앞서 나올 모델을 미리 만져 볼 수 있고, 개발사는 아직 손볼 수 있을 때 반응을 얻는다. 공개 조건을 통과하면 그 점수는 나중에 정식 이름으로 보드에 오른다.

모든 일에 투표가 필요한 건 아니다. Side by Side는 무엇을 비교할지 정해졌을 때 둘을 직접 지목하게 해 준다. Direct Chat은 모델 하나를 평범하게 쓰는 화면이다. 두 모드 모두 연구용으로 질문을 모으지만 순위는 건드리지 않는다. 그래서 블라인드 보드는 깨끗하게 남는다.

텍스트에 그치지 않는다. 랜딩 페이지, 대시보드, 작은 게임, 스토어 제작을 맡길 수 있고 이미지나 짧은 영상을 만들거나 결과물을 편집하게 할 수도 있다. 결과물 종류마다 보드가 따로 있어, 글은 잘 쓰지만 그림은 약한 모델이 숫자 하나 뒤에 숨지 못한다.

Arena는 투표 데이터 상당 부분을 Hugging Face에 풀고 방법론 논문도 낸다. 최초의 Chatbot Arena 연구부터 특정 지시에 맞춘 순위까지 폭이 넓다. 순위를 그대로 믿을 필요는 없다. 데이터와 스타일 제어 방식, 보드 정책을 직접 읽을 수 있다.