Human or Not: A Social Turing Game
AI21 Labs · 챗봇
Human or Not은 AI21 Labs가 공개한 무료 튜링 테스트 게임이다. 익명으로 2분 동안 채팅한 뒤, 상대가 사람이었는지 AI 봇이었는지 맞힌다.
Human or Not: A Social Turing Game 소개
About
Human or Not이란
Human or Not은 튜링 테스트를 2분짜리 추리 대결로 바꾼 온라인 게임이다. 익명 채팅방에 들어가면 상대는 무작위로 뽑힌 사람이거나 AI 봇이다. 타이머가 끝나면 둘 중 무엇과 대화했는지 투표한다. 상을 타려는 게임이 아니다. AI21 Labs는 지금의 챗봇이 얼마나 사람처럼 행동하는지, 그리고 사람이 그것을 얼마나 잘 알아보는지 측정하려고 이 게임을 실험으로 내놓았다.
바탕에 깔린 발상은 오래됐다. 앨런 튜링은 1950년 모방 게임을 제안했다. 기계가 대화를 충분히 잘해서 심판이 사람과 구별할 수 없으면 지능이 있다고 본다는 것이다. 수십 년 동안 사고 실험에 머물렀다. 대규모 언어 모델이 등장하면서 비로소 실제 승부가 됐고, 그래서 AI21 Labs가 누구나 할 수 있는 버전을 공개했다.
결과는 우리 쪽 자존심을 꺾었다. 한 달 동안의 플레이에서 상대의 정체를 맞힌 비율은 68%에 그쳤다. 상대가 AI 봇일 때는 정답률이 60%로 떨어진다. 동전을 던지는 것과 거의 다르지 않다. 다시 말해 대부분은 짧은 대화에서 봇과 사람을 안정적으로 구별하지 못한다.
지금의 큰 제약은 이 게임이 더는 돌지 않는다는 점이다. humanornot.ai는 AI21 Labs 기업 사이트로 넘어가고 채팅 자체는 닫혔다. 계정도 필요 없고 플레이어별 상세 기록도 남기지 않으며 메시지는 100자로 제한된다. 깊은 대화는 애초에 형식에 없었다.
시작하는 방법
- 브라우저에서 게임을 연다. 가입도 다운로드도 계정 생성도 없다.
- 시스템이 상대를 짝지어 준다. 사람인지 봇인지는 모른다. 2분짜리 채팅 창이 열린다.
- 100자까지의 짧은 메시지를 20초 안에 보내며 주고받는다.
- 2분이 끝나면 상대가 사람인지 AI인지 투표하고 정답을 확인한다.
- 몇 번이든 플레이할 수 있다. 맞힌 횟수가 기록되니 자기 감각을 벼릴 수 있다.
제품 정보
Human or Not: A Social Turing Game의 요금, 지원 플랫폼, 성능을 한눈에 확인해 보세요.
추천 대상
이 도구가 가장 잘 맞는 사용자, 작업, 상황입니다.
사용자
- 챗봇과 사람의 차이를 직접 느껴 보고 싶은 AI 입문자. 준비도 비용도 필요 없다.
- 언어 모델이 얼마나 그럴듯해졌는지 현장에서 보여 주고 싶은 교사와 워크숍 진행자.
- 대규모 튜링식 테스트의 실제 사례와 수치가 필요한 연구자와 필자.
- 긴 세션보다 2분이면 끝나는 추리 게임을 좋아하는 가벼운 플레이어.
작업
- 실무에서 챗봇을 믿기 전에, 무엇이 사람처럼 들리는지 자기 감각으로 시험한다.
- 위험이 낮고 타이머가 짧을 때 대화를 어떻게 읽는지 비교한다.
- AI 탐지 논의의 근거를 모은다. 게임이 성공률과 실패율을 분명히 보여 준다.
- 유창한 AI 문장에 사람이 얼마나 쉽게 속는지 학급이나 팀에 보여 준다.
활용 상황
- 수업 중 5분 쉬는 시간에 학생들이 상대를 맞히고 결과를 서로 견주는 시간.
- 밤에 호기심으로 계속 플레이하며 정확도가 오르는지 확인하는 세션.
- AI 리터러시를 주제로 한 회의 아이스브레이커. 의견이 아니라 실제 실험에 기댄다.
- 현대의 튜링 테스트를 대규모로 다룬, 인용할 만한 사례가 필요한 글쓰기 작업.
주요 기능
2분짜리 익명 채팅
매 라운드는 낯선 상대와 시간을 정해 놓고 나누는 대화다. 규칙은 하나, 연속으로는 보낼 수 없다. 메시지는 100자까지이고 20초 안에 나가야 한다. 보통 한 판은 한쪽당 네다섯 번 주고받고 끝난다. 이 속도가 긴장을 유지하고, 단서를 찾으려고 버티는 것을 막는다.
사람인지 봇인지 맞히기
타이머가 멈추면 방금 대화한 상대가 어느 쪽인지 고른다. 정답은 곧바로 나온다. 상대는 내 투표를 모르니, 상대를 헷갈리게 하려고 봇인 척할 이유도 없다. 기록되는 것은 맞힌 수와 플레이한 판수의 비율뿐이다.
인격을 부여한 AI 봇
봇은 중립적이지 않았다. 저마다 이름, 나이, 직업, 사는 곳이 정해졌고, 여기에 은어나 맞춤법 실수, 사실을 묻는 질문에 대한 거부 같은 버릇이 더해졌다. 화가 나면 대화 도중 나가 버리는 봇도 있었다. 이 폭이 판별을 어렵게 만들었고, 반복 플레이어가 같은 수법에 두 번 넘어가지 않게 막았다.
계정 없는 익명 플레이
가입 없이 곧바로 뛰어들 수 있었다. 진입 장벽이 거의 0이라 아주 많은 가벼운 이용자가 참여했다. 대신 실험은 인구 통계 데이터를 모으지 않았다. 결과는 정해진 집단이 아니라 익명의 플레이어를 설명한다.
내장된 콘텐츠 관리
메시지마다 관리 서비스를 거쳐 욕설과 혐오 발언을 막았다. AI 출력이 경고를 받으면 보이기 전에 걸러졌다. 내 메시지가 경고를 받으면 대화는 곧바로 끝났다. 빠르고 열린 채팅이 험해지는 것을 막았다.
대규모 튜링 테스트 데이터
첫 한 달 동안 참가자는 150만 명을 넘었고, 사람 대 사람과 사람 대 AI 대화는 1000만 건을 넘었다. 이 물량이 튜링식 테스트로는 처음으로 통계적으로 단단한 점수를 AI21 Labs에 안겼다. 모델이 좋아질 때마다 다시 볼 수 있는 기준이 됐다.
장단점
장점
- 계정도 다운로드도 비용도 없다. 누구나 몇 초 만에 한 판을 시작한다.
- 전체 68%, 봇 탐지 60%라는 숫자가 지금 챗봇의 설득력을 분명히 보여 준다.
- 은어와 실수를 넣은 인격형 봇이 도전을 각본 같은 것이 아니라 진짜처럼 느끼게 한다.
- 내장된 관리가 짧은 세션 동안 익명 채팅을 안전하게 지킨다.
- 백서가 방법과 수치를 모두 공개하므로 실험을 검증할 수 있다.
단점
- 게임은 더는 돌지 않고, humanornot.ai는 AI21 Labs 기업 사이트로 넘어간다.
- 살아 있는 채팅이 없으니 지금은 직접 판을 돌리거나 교육용으로 재사용할 수 없다.
- 100자 제한과 2분 상한으로 대화가 얕아진다. 추론보다 겉으로 드러난 문체를 시험하는 셈이다.
- 수치는 스스로 참여한 치우친 집단에서 나왔으니 전체가 아니라 그 집단을 설명한다.
자주 묻는 질문
Human or Not은 AI21 Labs의 무료 온라인 게임으로, 2분짜리 튜링 테스트처럼 작동한다. 낯선 상대와 익명으로 채팅한 뒤 그 상대가 실제 사람인지 AI 봇인지 맞힌다.
관련 콘텐츠
Human or Not: A Social Turing Game와 관련된 도구, 스킬, 아티클을 살펴보세요.
Human or Not: A Social Turing Game 대안
Emma AI
Emma AI · 비즈니스 · 챗봇Emma AI는 자체 비즈니스 데이터에서 질문에 답하는 맞춤형 어시스턴트를 만드는 노코드 AI 어시스턴트 빌더다. 팀이 이미 쓰는 Slack, Notion, Google Sheets, Zendesk 같은 도구를 연결하고, 문서를 업로드하거나, Emma가 문답 과정으로 어시스턴트를 학습시키게 한다. 빠르다. 만든 어시스턴트는 특정 팀, 프로젝트, 워크플로에 한정할 수 있어서 마케팅용 어시스턴트와 회계용 어시스턴트가 같은 출처를 보는 일은 없다.
Chatgbot
Chatgbot · 이미지 · 생산성 · 챗봇Chatgbot은 OpenAI의 GPT 모델, Anthropic의 Claude Sonnet, 그리고 GLM과 Qwen 같은 오픈소스 선택지를 하나의 로그인 뒤에 모은 멀티모델 AI 채팅 플랫폼이다. 여러 구독을 오가며 씨름할 필요 없이 대화마다 모델을 고르고, PDF를 올려 질문하고, 이미지를 생성하고, 웹을 검색한다. 이 모든 것이 하나의 인터페이스와 하나의 멤버십 안에서 이루어진다.
Validator AI
ValidatorAI · 비즈니스 · 챗봇Validator AI는 무언가를 만들기 전에 명확한 답을 원하는 창업자를 위한 AI 아이디어 검증 도구다. 스타트업 아이디어 검증기와 AI 스타트업 멘토를 하나로 합친 셈이다. 자신의 스타트업, 제품, 소규모 사업 구상을 설명하면 도구가 점수를 매기고, 경쟁 구도를 분석하고, 이상적인 고객이 누구인지 제안하고, 다음 단계를 짚어준다. 수십만 건의 창업자 세션에서 모은 행동 데이터를 토대로 한다. 핵심 점검은 무료다. 이미 출시한 회사가 아니라, 가장 이른 단계에서 구상을 시험하는 1인 창업자, 인디 개발자, 소규모 팀에 맞는다.