AI Diplomacy
Every · Outros
AI Diplomacy é o benchmark de código aberto da Every em que sete modelos de IA jogam o Diplomacy e brigam para dominar a Europa, com alianças e traições no meio.
Sobre AI Diplomacy
What Is AI Diplomacy
AI Diplomacy é um benchmark criado pela Every que transforma o clássico jogo de tabuleiro de estratégia Diplomacy num benchmark de jogos para IA, uma prova de como os grandes modelos de linguagem negociam, planejam e enganam. Sete modelos de IA ocupam o lugar de sete potências europeias em 1901 e tramam entre si ao longo de uma partida inteira para controlar o mapa. A Every construiu isso para responder a uma pergunta que as provas comuns não resolvem: em quais desses modelos você pode realmente confiar quando a coisa aperta e tanto cooperar quanto trair são jogadas válidas.
O formato explora justamente aquilo que tornou o Diplomacy famoso. No jogo de tabuleiro de verdade, ninguém vence sozinho. Você precisa convencer os outros a ajudar, e as regras nunca obrigam ninguém a cumprir a palavra. Essa mistura de negociação e facada nas costas é o que torna a prova difícil para a IA, porque um modelo que não lê intenções nem sustenta uma conversa convincente é eliminado cedo. Ao assistir às partidas, a Every viu diferenças claras: o o3 da OpenAI armava enganos longos, os modelos Claude da Anthropic insistiam em escolher a paz mesmo quando isso custava a partida, e o R1 da DeepSeek partia direto para ameaças dramáticas.
Vale ter claro o que isso é e o que não é. Trata-se de um benchmark de pesquisa e de um espetáculo para assistir, não de um produto com cadastro. O código está aberto no GitHub e as partidas foram transmitidas ao vivo na Twitch, então o jeito principal de usar é assistir, estudar as rodadas ou rodar o código por conta própria. Ele mede como os modelos se comportam sob pressão, e esse comportamento é só uma fatia do que eles sabem fazer.
Getting Started
- Abra a página do AI Diplomacy em every.to/diplomacy para ver partidas gravadas e ler o resumo dos resultados
- Acompanhe a transmissão na Twitch para ver os modelos negociarem e se traírem turno a turno
- Leia o artigo sobre como o projeto foi feito para conhecer as decisões de design por trás do benchmark
- Baixe o código aberto no GitHub para rodar suas próprias partidas, trocar os modelos e testá-los do seu jeito
Informações do produto
Uma visão rápida dos preços, das plataformas compatíveis e do desempenho de AI Diplomacy.
Ideal para
Os usuários, tarefas e cenários em que esta ferramenta se encaixa melhor.
Usuários
- Pesquisadores e avaliadores de IA
- Quem acompanha IA de perto
- Times de produto escolhendo um modelo
- Desenvolvedores que gostam de mexer
Tarefas
- Comparar modelos na negociação
- Testar engano e confiança
- Estressar o planejamento longo
- Gerar dados de treino
- Medir com regras novas
Cenários
- Você precisa de um benchmark que o público comum realmente vá assistir
- Um modelo arrasa nas suas provas de conhecimento, mas você não sabe como ele age quando precisa colaborar
- Você quer mostrar a um público não técnico no que os modelos de hoje diferem
- Você está decidindo em qual modelo confiar para um agente que planeja em muitos passos
Principais recursos
Sete modelos numa só partida
Cada partida coloca sete modelos de linguagem de fronteira no papel das grandes potências da Europa de 1901, e eles competem até um dominar o mapa. Encarar uma partida inteira contra seis rivais vivos é uma prova diferente de responder perguntas isoladas, e aí está o coração do que este jogo de estratégia com agentes de IA mede.
Negociação e diários privados
Os modelos passam cada rodada mandando mensagens, algumas públicas e outras privadas, para convencer os rivais a colaborar. Cada um mantém um diário privado onde anota metas e sua leitura dos outros jogadores. Esse registro mostra o que um modelo disse e o que pensava ao mesmo tempo.
Acompanhamento de relações
Os modelos dão nota a cada rival numa escala que vai de inimigo a aliado e atualizam essas notas conforme a partida avança. Esse histórico é o que permite decidir com quem trabalhar e quem trair, e dá a quem observa uma leitura clara de como cada modelo constrói e queima confiança.
Análise de enganos e traições
O sistema compara o que um modelo prometeu com o que fez. Depois marca traições e mentiras e as separa entre intencionais e acidentais. Para quem tem curiosidade sobre o quanto os modelos são honestos sob pressão, esse teste de engano com IA responde na hora.
Visualizador 3D interativo
A Every montou uma interface 3D no navegador com a biblioteca Three.js. Ela reproduz uma partida com movimentos de unidades, animações de batalha e o chat rolando, então um jogo de estratégia denso continua fácil de acompanhar num relance. Essa facilidade de ver explica boa parte do motivo de o benchmark ter chegado a tanta gente.
Código aberto
O projeto inteiro está aberto no GitHub, com suporte a modelos da OpenAI, Anthropic, Google, DeepSeek e OpenRouter. Você pode rodar suas próprias partidas, trocar a escalação de modelos, ajustar as regras e reaproveitar os registros, o que transforma o benchmark em algo sobre o que construir, e não só assistir.
Prós e contras
Prós
- Testa os modelos em negociação, confiança e planejamento de longo prazo, o lado social da IA que os benchmarks de conhecimento ignoram
- O código aberto deixa você rodar suas próprias partidas e colocar qualquer modelo que quiser
- As rodadas geram dados ricos, com mensagens, diários privados e registros de ordens, reaproveitáveis para pesquisa ou treino
- O visualizador 3D e a transmissão fazem o comportamento dos modelos ficar compreensível sem conhecimento técnico
- As regras podem mudar, então dá para sondar perguntas como o quanto a honestidade pesa em quem vence
Contras
- É um benchmark de pesquisa sem produto para cadastro, então você não entra e joga uma partida sozinho
- Assistir ou rodar partidas leva tempo, já que uma só pode ir de uma hora a dezenas
- Os resultados dependem dos modelos, das regras e dos prompts, então as comparações só valem se você mantiver o formato fixo
- Rodar partidas em escala pode sair caro, porque cada uma chama vários modelos de fronteira muitas vezes
Perguntas frequentes
É um benchmark da Every em que sete modelos de IA de fronteira jogam o Diplomacy entre si. Os modelos negociam, formam alianças e se traem para controlar um mapa da Europa de 1901, e a Every usa as partidas para comparar como eles lidam com confiança e estratégia.
Conteúdo relacionado
Explore ferramentas, skills e artigos relacionados a AI Diplomacy.
Alternativas a AI Diplomacy
BinkBink
BinkBink · OutrosO BinkBink é uma plataforma de jogos online gratuita e um criador de jogos com IA que deixa qualquer pessoa transformar uma breve descrição em texto em um jogo de navegador jogável. Você pode entrar em centenas de jogos feitos pela comunidade. Ou descreve a sua própria ideia, joga em segundos e compartilha com amigos. Quer criar seu próprio jogo? Não precisa programar. Sem configurar motor, sem download, sem complicação.
Audiogen
Audiogen Inc. · OutrosO Audiogen é um gerador de música com IA criado pela Audiogen Inc., uma equipe de pesquisa pequena que passou cerca de 2,5 anos treinando o próprio modelo de música generativa e desenhando uma interface web em volta dele. Em vez de uma simples caixa de texto, essa ferramenta de música com IA transforma a linha do tempo em uma Estação de Trabalho de Áudio Generativo, ou GAW, voltada para iniciantes, na qual o inpainting, a extensão, a remixagem e a edição de faixas funcionam mais como pintar em uma tela. O produto ainda está em beta, então o acesso passa por uma lista de espera ou por um convite. Os planos pagos ainda não foram publicados.
Aiml API
AIMLAPI OÜ · OutrosA Aiml API é uma API unificada de modelos de IA que coloca mais de 1000 modelos da OpenAI, Google, Anthropic e outros por trás de um único endpoint e uma única fatura. Você escreve código contra um só esquema compatível com OpenAI e depois alterna entre modelos de chat, imagem, vídeo e áudio mudando uma string de modelo. Ela serve para desenvolvedores e equipes pequenas que querem acesso multimodelo sem administrar uma dúzia de contas de fornecedor separadas, e elimina a dor de cabeça comum de faturamento que vem com testar vários fornecedores. Uma chave cobre tudo.