Human or Not: A Social Turing Game
AI21 Labs · チャットボット
Human or NotはAI21 Labsが公開した無料のチューリングテストゲームだ。匿名で2分間チャットし、相手が人間だったかAIボットだったかを当てる。
Human or Not: A Social Turing Game について
About
Human or Notとは
Human or Notは、チューリングテストを2分間の当て合いに変えたオンラインゲームだ。匿名チャットに放り込まれ、相手はランダムな人間かAIボットのどちらか。タイマーが切れたら、自分がどちらと話していたかを投票する。賞品を狙うゲームではない。AI21 Labsは、今のチャットボットがどれだけ人間らしく振る舞えるか、そして人間がそれを見抜けるかを測る実験として公開した。
土台にある考え方は古い。アラン・チューリングは1950年、模倣ゲームを提唱した。機械が会話を十分にうまくこなし、審判が人間と区別できなければ、それは知的とみなす、というものだ。何十年も思考実験のままだった。大規模言語モデルが登場し、ようやく現実の勝負になった。そこでAI21 Labsは誰でも遊べる版を公開した。
結果はこちらの自信をへし折るものだった。1か月のプレイで、相手の正体を当てられたのはわずか68%だった。相手がAIボットの場合、正解率は60%まで落ちる。コインを投げるのとほとんど変わらない。つまり多くの人は、短い会話ではボットと人間を安定して見分けられない。
今の大きな制約は、このゲームがもう動いていないことだ。humanornot.aiはAI21 Labsの企業サイトへ転送され、チャット自体は閉じている。アカウントも不要で、プレイヤーごとの詳しい履歴も残らず、1メッセージは100文字まで。深い会話はそもそも形式に含まれていなかった。
遊び方
- ブラウザでゲームを開く。登録もダウンロードもアカウント作成も要らない。
- システムが相手を割り当てる。人間かボットかはわからない。2分間のチャット画面が開く。
- 100文字までの短いメッセージを20秒以内に送り、やり取りを続ける。
- 2分が終わったら、相手が人間かAIかを投票し、答え合わせを見る。
- 何度でも遊べる。正解数が記録されるので、自分の勘を鍛えられる。
AIツール情報
Human or Not: A Social Turing Gameの料金、対応プラットフォーム、性能を簡単に確認できます。
こんな人におすすめ
このツールが最も力を発揮するユーザー、タスク、シーン。
ユーザー
- チャットボットと人間の差を自分の体で確かめたい、AI初心者の好奇心旺盛な人。準備も費用もいらない。
- 言語モデルがどれだけ説得的になったかを、その場で見せたい教師やワークショップの主催者。
- 大規模なチューリング式テストの実例と数字が欲しい研究者やライター。
- 長いセッションより、2分で終わる当てゲームを好むライトなプレイヤー。
タスク
- 仕事でチャットボットを信用する前に、何が人間らしく響くかを自分の勘で試す。
- リスクが低くタイマーが短いとき、自分が会話をどう読むかを比べる。
- AI検出の話の材料を集める。ゲームは成功と失敗の率をはっきり示す。
- 流暢なAIの文章に人がいかに簡単にだまされるかを、クラスやチームに見せる。
シーン
- 授業の5分休みに、生徒が相手を当てて結果を見せ合う。
- 夜に好奇心でだらだら遊び、成績が上がるか確かめる。
- AIリテラシーをテーマにした会議のアイスブレイク。意見ではなく実実験に基づく。
- 現代のチューリングテストを大規模に扱った、引用できる実例が要る執筆作業。
主な機能
2分間の匿名チャット
毎回、見知らぬ相手と時間制限つきで話す。唯一のルールは、2回続けて送れないことだ。メッセージは100文字まで、20秒以内に送る。ふつうの1ゲームは片側4、5往復ほどで終わる。この速さが緊張感を保ち、ヒントを探して粘ることを防ぐ。
人間かボットかを当てる
タイマーが止まったら、直前まで話していた相手がどちらかを選ぶ。答えはすぐ出る。相手はあなたの投票を知らないので、相手を混乱させようとボットのふりをする必要もない。記録されるのは、当てた数と遊んだ数の割合だけだ。
人格を与えられたAIボット
ボットは中立的ではなかった。それぞれに名前、年齢、仕事、住む場所が設定され、さらにスラングやスペルミス、事実を問う質問への拒否といった癖が加わった。怒らせると途中で抜けるものもいた。この振れ幅が判別を難しくし、何度も遊ぶ人が同じ手口に気づくのを防いだ。
アカウント不要の匿名プレイ
登録なしでそのまま参加できた。参入の壁はほぼゼロで、大勢の気軽な層が遊んだ。代わりに、実験は人口統計データを集めていない。結果が示すのは、定義された集団ではなく匿名のプレイヤーだ。
組み込みのコンテンツ管理
各メッセージは管理サービスを通り、虐待やヘイトスピーチを遮断した。AIの出力が警告を受けた場合は、表示される前に除かれた。自分のメッセージが警告を受けると、そこで会話は終わりになった。速く開かれたチャットが荒れるのを防いだ。
大規模チューリングテストのデータ
最初の1か月で、参加者は150万人を超え、人間同士と人間とAIの会話は1000万件を超えた。この量が、チューリング式テストとして初めて統計的に堅いスコアをAI21 Labsに与えた。モデルが進歩するたびに見直せる基準になる。
メリットとデメリット
メリット
- アカウントもダウンロードも費用も要らない。誰でも数秒で1ラウンド始められる。
- 全体68%、ボット検出60%という数字が、今のチャットボットの説得力をはっきり示す。
- スラングやミスを仕込んだ人格つきボットが、挑戦を台本っぽくなく本物に感じさせる。
- 組み込みの管理が、短いセッション中の匿名チャットを安全に保つ。
- ホワイトペーパーが手法と数字をすべて公開しており、実験を検証できる。
デメリット
- ゲームはもう動いておらず、humanornot.aiはAI21 Labsの企業サイトへ転送される。
- 生きたチャットがないので、今は自分でラウンドを回したり、教材として使い回したりできない。
- 100文字の制限と2分の上限で会話は浅くなる。推論よりも見かけの文体を試す形だ。
- 数字は自ら参加した偏りのある層から出ており、全体ではなくその層を表している。
よくある質問
Human or NotはAI21 Labsの無料オンラインゲームで、2分間のチューリングテストのように動く。見知らぬ相手と匿名でチャットし、その相手が実在の人間かAIボットかを当てる。
関連コンテンツ
Human or Not: A Social Turing Gameに関連するツール、スキル、記事を探す。
Human or Not: A Social Turing Gameの代替ツール
Knocket
Knocket (Tencent RTC team) · 生産性向上 · ビジネス · チャットボットKnocketは無料のライブチャット兼コンタクトページだ。訪問者はウェブサイト、アプリ、共有リンクから書き込み、こちらはTelegramか一つの受信トレイから返信する。
Agibot
Agibot · 生産性向上 · AIアシスタント · チャットボットAgibotはMac向けパーソナルAIエージェントだ。ウィンドウを閉じても動き続け、定時ルーティンを実行し、自分のAPIキーでTelegramやSlackから指示できる。
Melete
Melete · 生産性向上 · AIアシスタント · チャットボットMeleteはチーム向けAIワークスペースだ。エージェントがSlack、Notion、Linear、GitHubで調査し、下書きを書き、作業を実行する。共有メモリと承認の仕組みが人間の関与を保つ。