AI Diplomacy

AI Diplomacy는 Every가 만든 AI Diplomacy 벤치마크다. 고전 보드 전략 게임 디플로머시를 토대로 한 대규모 언어 모델 게임 평가이며, 모델이 어떻게 협상하고 계획하며 속이는지를 시험한다. 일곱 AI 모델이 1901년 유럽 일곱 강대국의 자리에 앉아 한 판 내내 서로를 겨누며 지도를 장악하려 한다. Every가 이걸 만든 이유는 일반 시험으로는 답이 나오지 않는 물음에 답하기 위해서다. 판세가 팽팽해지고 협력과 배신이 똑같이 유효한 수일 때, 이 모델 중 어느 것을 정말 믿을 수 있는가.

구성은 디플로머시가 유명해진 바로 그 지점을 파고든다. 진짜 보드게임에서는 누구도 혼자 이기지 못한다. 상대를 설득해 편으로 만들어야 하고, 규칙은 누구에게도 약속을 지키라고 강제하지 않는다. 이 협상과 뒤통수치기의 조합이 AI에게는 난관이다. 상대의 의도를 읽지 못하고 설득력 있는 대화도 못 이어가는 모델은 일찍 탈락한다. 경기를 지켜보며 Every는 뚜렷한 차이를 발견했다. OpenAI의 o3는 긴 속임수를 짰고, Anthropic의 Claude 모델은 지면 지더라도 평화를 계속 골랐으며, DeepSeek의 R1은 곧바로 극적인 위협을 던졌다.

이게 무엇이고 무엇이 아닌지는 짚고 넘어갈 만하다. 연구용 벤치마크이자 구경거리이고, 가입해서 쓰는 제품은 아니다. 코드는 GitHub에 공개됐고 경기는 Twitch로 생중계됐다. 그래서 이 오픈소스 AI 벤치마크의 주된 사용법은 보거나, 판마다 분석하거나, 코드를 직접 돌려보는 것이다. 압박 아래에서 모델이 어떻게 행동하는지를 재는 것이고, 그 행동은 모델이 할 수 있는 일의 일부일 뿐이다.

Getting Started

1. every.to/diplomacy의 AI Diplomacy 페이지를 열어 녹화된 경기를 보고 결과 정리를 읽는다
2. Twitch 생방송을 보며 모델이 턴마다 협상하고 배신하는 과정을 따라간다
3. 프로젝트를 어떻게 만들었는지 다룬 글을 읽고 벤치마크 설계 결정을 살핀다
4. GitHub에서 오픈소스 코드를 받아 직접 경기를 돌리고 모델을 바꿔가며 원하는 방식으로 시험한다