AI Diplomacy
Every · その他
AI Diplomacy は Every のオープンソースベンチマークで、7つのAIモデルが「ディプロマシー」で対戦し、同盟と裏切りを繰り返しながらヨーロッパの覇権を争う。
AI Diplomacy について
What Is AI Diplomacy
AI Diplomacy は、Every が作った AI Diplomacy ベンチマークだ。古典的なボード戦略ゲーム「ディプロマシー」を土台にした大規模言語モデルのゲーム評価であり、モデルがどう交渉し、どう計画し、どう騙すかを試す。7つのAIモデルが1901年ヨーロッパの7大国の席に着き、1ゲームを通じて互いに駆け引きをしながら地図の支配権を奪い合う。Every がこれを作ったのは、普通のテストでは答えが出ない疑問に向き合うためだ。局面が厳しくなり、協力も裏切りも等しく有効な手であるとき、どのモデルなら本当に信頼できるのか。
仕掛けは、ディプロマシーが名高い所以をそのまま突いている。本物のボードゲームでは誰も単独では勝てない。ほかのプレイヤーを説得して味方につける必要があり、ルールは誰にも約束を守らせない。この交渉と背後からの一刺しの組み合わせが、AIにとって難所になる。相手の意図を読めず、説得力のある会話も続かないモデルは早々に脱落するからだ。対戦を眺めながら、Every ははっきりした差を見つけた。OpenAIのo3は長い欺瞞を組み立て、AnthropicのClaude系は負けるとしても平和を選び続け、DeepSeekのR1は真っ先に劇的な脅しを放った。
これは何で、何でないかを押さえておきたい。研究用のベンチマークであり、眺めて楽しむ見せ物であって、登録して使う製品ではない。コードはGitHubで公開され、対戦はTwitchで配信された。だからこのオープンソースAIベンチマークの主な使い方は、観る、各ゲームを研究する、あるいは自分でコードを走らせることだ。測っているのはプレッシャー下でのモデルの振る舞いであり、その振る舞いもモデルの能力のほんの一部にすぎない。
Getting Started
- every.to/diplomacy のAI Diplomacyページを開き、録画された対戦と結果のまとめを読む
- Twitchの配信を観て、モデルがターンごとに交渉し裏切り合う様子を追う
- プロジェクトの制作過程を扱った記事を読み、ベンチマークの設計判断を知る
- GitHubからオープンソースのコードを取得し、自分の対戦を走らせ、モデルを差し替えて自分のやり方で試す
AIツール情報
AI Diplomacyの料金、対応プラットフォーム、性能を簡単に確認できます。
こんな人におすすめ
このツールが最も力を発揮するユーザー、タスク、シーン。
ユーザー
- AI研究者と評価担当者：このベンチマークをどのモデル群にも当てはめ、各モデルがどう交渉し計画するかを読める。すでに最先端モデルの評価を回していて、社会的推論のテストを足したいチームに向く
- AIを追いかけるのが好きな人：7つの最先端モデルが駆け引きする様子は、無機質な順位表を追いたくなる題材に変える。技術的な知識は要らない
- モデル選びに悩むプロダクトチーム：結果からは、プレッシャー下で戦略を保てるモデルが分かる。信頼と長期の計画が用途で重要なときに役立つ
- 手を動かしたい開発者：コードは公開されているので、自分のモデル構成で対戦を走らせ、プロンプトやログを覗ける
タスク
- 交渉力をモデル間で比べる：1ゲーム走らせ、持ちこたえる同盟を組むモデルと、相手に翻弄されるモデルを見分ける。手軽なAIの交渉力評価になる
- 嘘と信頼を試す：モデルがどれだけ頻繁に相手を騙し、それが得になるかを観察する。多くのベンチマークが扱わないAIの嘘を見るテストだ
- 長期の計画に負荷をかける：1ゲームは数十ターンに及ぶこともあり、計画が破綻する前にどこまで保つかが見える
- 学習データを作る：各ゲームはメッセージの記録、私的な日誌、命令のログを残し、後のトレーニングに使える
- 新しいルールで測る：条件を変え、たとえば嘘を禁じて、順位がどう動くかを確かめる
シーン
- 一般の人も本当に観るベンチマークが欲しい：AI Diplomacyは数万人の視聴者に配信され、モデル評価をイベントに変えた
- 知識テストでは高得点なのに、協力が要る場面での振る舞いが分からない：対戦はそのモデルの社会的な本能をすぐに晒す
- 技術に詳しくない相手に今のモデルの違いを伝えたい：同盟と裏切りの1ゲームは、点数表よりもうまく要点を伝える
- 多段階の計画を担うエージェントにどのモデルを信頼するか決めたい：対戦データは、破綻する前にどこまで保つかを示す
主な機能
7つのモデル、1つのゲーム
各ゲームは7つの最先端言語モデルを1901年ヨーロッパの大国の席に据え、1つが地図を制するまで競わせる。生きた6人の相手と1ゲームを丸ごと戦うのは、孤立した問いに答えるのとは別種の試練であり、このAIエージェントの戦略ゲームが測るものの核心だ。
交渉と私的な日誌
モデルは毎ラウンド、メッセージを送ることに時間を使う。公開のものも私的なものもあり、相手を協力に誘う。どのモデルも私的な日誌を持ち、目標と他のプレイヤーへの見立てを書き込む。この記録からは、モデルが何を言ったかと、言いながら何を考えていたかが同時に見える。
関係の追跡
モデルは各相手を敵から味方までの尺度で採点し、ゲームが進むにつれてその点数を更新する。この履歴が、誰と組むか、誰を裏切るかを決めさせ、観る側には各モデルがどう信頼を築き、どう焼き払うかがはっきり見える。
欺瞞と裏切りの分析
システムはモデルが約束したことと実際にやったことを突き合わせる。そして裏切りと嘘を印付け、意図的なものと偶発的なものに分ける。プレッシャー下でモデルがどれだけ正直か気になる人にとって、これは直接答えを出す機能だ。
インタラクティブな3Dビューア
EveryはThree.jsライブラリでブラウザ上の3Dインターフェースを作った。部隊の移動、戦闘のアニメーション、流れ続けるチャットとともにゲームを再生し、情報の濃い戦略ゲームでも一目で追える。この観やすさが、ベンチマークが多くの人に届いた大きな理由だ。
オープンソースのコードベース
プロジェクト全体がGitHubで公開され、OpenAI、Anthropic、Google、DeepSeek、OpenRouterのモデルに対応する。自分のゲームを走らせ、モデルの顔ぶれを入れ替え、ルールを調整し、ログを再利用できる。ベンチマークは眺めるだけでなく、その上に積み上げられる土台になる。
メリットとデメリット
メリット
- 交渉、信頼、長期の計画でモデルを試す。知識型のベンチマークが見落とすAIの社会的な側面だ
- オープンソースのコードにより、自分のゲームを走らせ、好きなモデルを入れられる
- 各ゲームはメッセージ、私的な日誌、命令のログという豊富なデータを生み、研究やトレーニングに再利用できる
- 3Dビューアと配信により、技術に詳しくない人でもモデルの振る舞いを理解できる
- ルールを変えられるため、正直さが勝敗にどれだけ効くかといった問いを探れる
デメリット
- 登録できる製品のない研究用ベンチマークで、ログインして1ゲーム遊ぶことはできない
- 観るにも走らせるにも時間がかかり、1ゲームは1時間から数十時間に及ぶこともある
- 結果はモデル構成、ルール、プロンプトに左右されるため、設定を固定して初めて比較が成り立つ
- 大規模に走らせると費用がかさむ。1ゲームごとに複数の最先端モデルを何度も呼び出すからだ
よくある質問
Everyのベンチマークで、7つの最先端AIモデルが互いに「ディプロマシー」を戦う。モデルは交渉し、同盟を結び、裏切り合って1901年ヨーロッパの地図を争い、Everyはその対戦で信頼と戦略への対応を比べる。
関連コンテンツ
AI Diplomacyに関連するツール、スキル、記事を探す。
AI Diplomacyの代替ツール
BinkBink
BinkBink · その他BinkBinkは無料のオンラインゲームプラットフォームであり、AIゲームメーカーでもある。短いテキストの説明を、誰でも遊べるブラウザゲームに変えられる。コミュニティが作った数百本のゲームにすぐ飛び込める。あるいは自分のアイデアを説明すれば、数秒で遊べて、そのまま友達と共有できる。自分のゲームを作りたい？プログラミングは要らない。エンジンの設定も、ダウンロードも、面倒なこともない。
Audiogen
Audiogen Inc. · その他Audiogenは、Audiogen Inc.が開発したAI音楽生成ツールだ。小さな研究チームが約2年半かけて自社の生成型音楽モデルを訓練し、その周りにWebインターフェースを設計した。このAI音楽ツールは単なるテキストボックスではなく、タイムラインを初心者に優しい生成型オーディオワークステーション（Generative Audio Workstation、略してGAW）へと変える。そこではインペインティング、延長、リミックス、ステム編集が、キャンバスに絵を描くように機能する。製品はまだベータ版で、アクセスは順番待ちリストか招待で行う。有料プランはまだ公開されていない。
Aiml API
AIMLAPI OÜ · その他Aiml APIは、OpenAI、Google、Anthropicなどの1000以上のモデルを1つのエンドポイントと1つの請求にまとめる統合AIモデルAPIだ。単一のOpenAI互換スキーマに対してコードを書き、モデル文字列を変えるだけでチャット、画像、動画、音声のモデルを切り替えられる。十数の事業者アカウントを使い分けずにマルチモデルへアクセスしたい開発者や小規模チームに向き、複数ベンダーを試すときに付きまとう請求の手間もなくす。1つの鍵ですべてをまかなえる。