LLM Arena

O Battle mostra dois modelos sem identificação. Você escreve o comando, lê as duas respostas e vota na melhor, no empate ou em nenhuma. Os nomes surgem logo após o voto, e só contam para o ranking oficial os votos dados enquanto os modelos estavam ocultos.

As posições saem de um modelo Bradley-Terry, método estatístico para comparações em pares que funciona de modo parecido com o sistema Elo do xadrez. A plataforma aplica ainda um controle de estilo que corrige hábitos de formatação como tamanho da resposta e uso de markdown, para que um texto longo não vença só por ser longo. Cada nota vem com intervalo de confiança, o que mostra o quanto uma vantagem curta vale.

A classificação da Arena não é uma lista única. Há tabelas separadas para chat geral, texto, desenvolvimento web, imagem para web, texto para imagem, edição de imagem, texto para vídeo, imagem para vídeo, edição de vídeo, visão, documentos, busca, agentes e um índice de alinhamento. Essa divisão importa quando o seu trabalho é visual ou tem muito código.

O modo Side by Side coloca frente a frente dois modelos que você escolhe pelo nome, e o Direct deixa você conversar com um único modelo. Nenhum dos dois alimenta o ranking público, porque os modelos não estão ocultos. Ainda assim, servem para uma comparação de modelos de IA feita à mão, e seus comandos entram no acervo de pesquisa.

Os laboratórios testam variantes na Arena antes de publicá-las, e é por isso que às vezes aparece um modelo chamado como uma fruta ou um fenômeno do clima. Se essa versão atende aos critérios do fornecedor e à política da plataforma, a nota entra depois com o nome real. Você ganha acesso antecipado e o laboratório recebe retorno antes do lançamento.

A Arena publica dados anonimizados de votação no Hugging Face e lista os artigos que sustentam o método, entre eles o estudo original do Chatbot Arena, o Arena-Hard, o RouteLLM e o Search Arena. Se você quer reproduzir um ranking ou treinar seu próprio modelo de preferência, o material está disponível.