Chatbot Arena

O Battle é o coração do site. Você manda um pedido e recebe duas respostas sem nome de modelo. O voto revela as duas identidades de uma vez, o que dificulta puxar o saco de uma marca conhecida. Só entram na classificação os votos dados enquanto os nomes estavam escondidos, e é isso que mantém o quadro cego.

A nota vem de um modelo Bradley-Terry, método estatístico feito para comparações em pares e muito próximo das pontuações do xadrez. Em vez de uma nota de prova, o modelo sobe ao vencer votos diretos. O site ainda aplica controle de estilo, que desconta a vantagem das respostas mais longas ou mais caprichadas, para que tamanho sozinho não ganhe.

Não existe uma tabela única. Texto, WebDev, Visão, Busca, Texto para imagem, Edição de imagem, Texto para vídeo, Imagem para vídeo, Edição de vídeo e Agente têm quadro próprio. Isso importa porque um modelo que lidera escrita criativa pode ficar para trás em código, e guiar-se só pela posição geral esconde esse buraco.

Os laboratórios entregam versões inéditas para teste cego, e elas costumam aparecer com um apelido antes do anúncio oficial. Você mexe no modelo meses antes de ele chegar ao público, e as equipes recebem retorno enquanto ainda dá para mudar algo. Se o modelo cumpre as regras de liberação, a nota aparece depois no quadro com o nome verdadeiro.

Nem tudo exige voto. O Side by Side deixa você nomear os dois concorrentes quando já sabe o que quer medir, e o Direct Chat abre um só modelo para uso normal. Os dois modos recolhem pedidos para pesquisa, mas nenhum mexe no ranking, e assim o quadro cego continua limpo.

O site vai além do texto. Você pode pedir uma landing page, um painel de dados, um jogo simples ou uma loja, gerar uma imagem ou um vídeo curto, ou editar o que saiu. Cada família de resultado tem seu quadro, então um modelo que escreve bem mas desenha mal não se esconde atrás de uma única cifra.

A Arena libera boa parte dos votos no Hugging Face e publica artigos sobre o método, do trabalho original do Chatbot Arena aos rankings por pedido específico. Não é preciso acreditar no ranking de olhos fechados: dá para ler os dados, o trabalho de controle de estilo e a política do quadro.