AI Diplomacy
Every · Autres
AI Diplomacy est le benchmark open source d'Every où sept modèles d'IA jouent au Diplomacy et se disputent la domination de l'Europe, entre alliances et trahisons.
À propos de AI Diplomacy
What Is AI Diplomacy
AI Diplomacy est un benchmark créé par Every qui transforme le classique jeu de plateau de stratégie Diplomacy en un benchmark de jeu pour IA, une épreuve de la façon dont les grands modèles de langage négocient, planifient et trompent. Sept modèles d'IA prennent la place de sept puissances européennes en 1901, puis complotent les uns contre les autres pendant une partie entière pour contrôler la carte. Every l'a construit pour répondre à une question que les tests ordinaires ne règlent pas : dans lesquels de ces modèles pouvez-vous vraiment avoir confiance quand les enjeux montent et que coopérer comme trahir sont des coups valables.
Le dispositif exploite justement ce qui a rendu Diplomacy célèbre. Dans le vrai jeu de plateau, personne ne gagne seul. Il faut convaincre les autres de vous aider, et les règles n'obligent jamais personne à tenir parole. Ce mélange de négociation et de coup de poignard dans le dos rend l'épreuve difficile pour l'IA, car un modèle incapable de lire les intentions ou de tenir une conversation crédible se fait sortir vite. En regardant les parties, Every a relevé des écarts nets : l'o3 d'OpenAI tissait de longues tromperies, les modèles Claude d'Anthropic continuaient de choisir la paix même quand cela leur coûtait la partie, et le R1 de DeepSeek filait droit vers les menaces théâtrales.
Il faut savoir ce que c'est et ce que ce n'est pas. C'est un benchmark de recherche et un spectacle à regarder, pas un produit auquel on s'inscrit. Le code est ouvert sur GitHub et les parties ont été diffusées en direct sur Twitch, donc la principale façon de s'en servir est de regarder, d'étudier les manches ou d'exécuter le code soi-même. L'outil mesure le comportement des modèles sous pression, et ce comportement n'est qu'une facette de ce qu'ils savent faire.
Getting Started
- Ouvrez la page AI Diplomacy sur every.to/diplomacy pour voir des parties enregistrées et lire le bilan des résultats
- Suivez le direct sur Twitch pour voir les modèles négocier et se trahir tour après tour
- Lisez l'article sur la fabrication du projet pour connaître les choix de conception derrière le benchmark
- Récupérez le code open source sur GitHub pour lancer vos propres parties, changer les modèles et les tester à votre façon
Informations sur le produit
Aperçu des tarifs, des plateformes compatibles et des performances de AI Diplomacy.
Idéal pour
Les utilisateurs, tâches et cas d'usage où cet outil convient le mieux.
Utilisateurs
- Chercheurs et évaluateurs en IA
- Ceux qui suivent l'IA de près
- Les équipes produit qui choisissent un modèle
- Les développeurs qui aiment bricoler
Tâches
- Comparer les modèles sur la négociation
- Tester la tromperie et la confiance
- Mettre à l'épreuve la planification longue
- Générer des données d'entraînement
- Mesurer avec de nouvelles règles
Cas d'usage
- Vous avez besoin d'un benchmark que le grand public va vraiment regarder
- Un modèle excelle à vos tests de connaissances mais vous ignorez comment il se comporte quand il faut coopérer
- Vous voulez montrer à un public non technique ce qui distingue les modèles actuels
- Vous cherchez à quel modèle faire confiance pour un agent qui planifie sur de nombreuses étapes
Fonctionnalités clés
Sept modèles, une seule partie
Chaque partie installe sept modèles de langage de pointe dans le rôle des grandes puissances de l'Europe de 1901, et ils s'affrontent jusqu'à ce que l'un domine la carte. Affronter une partie entière contre six rivaux vivants est une épreuve différente de répondre à des questions isolées, et c'est le cœur de ce que ce jeu de stratégie avec agents IA mesure.
Négociation et journaux privés
Les modèles passent chaque manche à envoyer des messages, certains publics et d'autres privés, pour convaincre leurs rivaux de coopérer. Chacun tient un journal privé où il note ses objectifs et sa lecture des autres joueurs. Ce relevé montre ce qu'un modèle a dit et ce qu'il pensait en même temps.
Suivi des relations
Les modèles notent chaque rival sur une échelle qui va d'ennemi à allié et mettent à jour ces notes au fil de la partie. C'est cet historique qui leur permet de décider avec qui travailler et qui trahir, et il donne à l'observateur une lecture claire de la façon dont chaque modèle bâtit puis brûle la confiance.
Analyse des tromperies et des trahisons
Le système compare ce qu'un modèle a promis à ce qu'il a fait. Il signale ensuite les trahisons et les mensonges et les classe en intentionnels ou accidentels. Pour qui se demande à quel point les modèles sont honnêtes sous pression, c'est la fonction qui répond directement.
Visionneuse 3D interactive
Every a conçu une interface 3D dans le navigateur avec la bibliothèque Three.js. Elle rejoue une partie avec les mouvements d'unités, les animations de bataille et le chat qui défile, donc un jeu de stratégie dense reste facile à suivre d'un coup d'œil. Cette facilité de visionnage explique en bonne partie pourquoi le benchmark a touché tant de gens.
Base de code open source
Tout le projet est ouvert sur GitHub, avec le support des modèles d'OpenAI, Anthropic, Google, DeepSeek et OpenRouter. Vous pouvez lancer vos propres parties, changer la sélection de modèles, ajuster les règles et réutiliser les journaux, ce qui fait du benchmark un point de départ sur lequel bâtir, et pas seulement un objet à regarder.
Avantages et inconvénients
Avantages
- Teste les modèles sur la négociation, la confiance et la planification longue, le versant social de l'IA que les benchmarks de connaissances ignorent
- Le code open source vous laisse lancer vos propres parties et y placer n'importe quel modèle
- Les parties produisent des données riches, messages, journaux privés et relevés d'ordres, réutilisables pour la recherche ou l'entraînement
- La visionneuse 3D et le direct rendent le comportement des modèles compréhensible sans bagage technique
- Les règles sont modifiables, vous pouvez donc sonder des questions comme le poids de l'honnêteté dans la victoire
Inconvénients
- C'est un benchmark de recherche sans produit auquel s'inscrire, vous ne pouvez donc pas simplement vous connecter et jouer une partie
- Regarder ou lancer des parties prend du temps, car une seule peut aller d'une heure à plusieurs dizaines
- Les résultats dépendent des modèles, des règles et des prompts, donc les comparaisons ne tiennent que si le dispositif reste identique
- Lancer des parties à grande échelle peut coûter cher, car chacune appelle plusieurs modèles de pointe de nombreuses fois
Questions fréquentes
C'est un benchmark d'Every où sept modèles d'IA de pointe jouent au Diplomacy les uns contre les autres. Les modèles négocient, forment des alliances et se trahissent pour contrôler une carte de l'Europe de 1901, et Every utilise les parties pour comparer leur façon de gérer la confiance et la stratégie.
Contenus associés
Découvrez des outils, des compétences et des articles liés à AI Diplomacy.
Alternatives à AI Diplomacy
BinkBink
BinkBink · AutresBinkBink est une plateforme de jeux en ligne gratuite et un créateur de jeux par IA qui permet à n'importe qui de transformer une courte description textuelle en un jeu de navigateur jouable. Vous pouvez plonger dans des centaines de jeux créés par la communauté. Ou décrivez votre propre idée, jouez-y en quelques secondes, puis partagez-la avec vos amis. Vous voulez créer votre propre jeu ? Pas besoin de coder. Aucun moteur à installer, aucun téléchargement, aucune prise de tête.
Audiogen
Audiogen Inc. · AutresAudiogen est un générateur de musique par IA conçu par Audiogen Inc., une petite équipe de recherche qui a passé environ deux ans et demi à entraîner son propre modèle de musique générative et à bâtir une interface web autour. Au lieu d'une simple zone de texte, cet outil de musique par IA transforme la timeline en une Station de Travail Audio Générative (GAW), pensée pour les débutants, où l'inpainting, l'extension, le remix et l'édition de pistes fonctionnent davantage comme de la peinture sur une toile. Le produit est encore en bêta, l'accès passe donc par une liste d'attente ou une invitation. Les formules payantes ne sont pas encore publiées.
Aiml API
AIMLAPI OÜ · AutresAiml API est une API unifiée de modèles d'IA qui place plus de 1000 modèles d'OpenAI, Google, Anthropic et d'autres derrière un seul point d'accès et une seule facture. Vous écrivez du code contre un unique schéma compatible OpenAI, puis vous passez d'un modèle de chat, d'image, de vidéo ou d'audio à un autre en changeant une chaîne de modèle. Elle convient aux développeurs et aux petites équipes qui veulent un accès multimodèle sans jongler avec une douzaine de comptes de fournisseurs distincts, et elle supprime le casse-tête habituel de la facturation quand on teste plusieurs prestataires. Une seule clé couvre tout.