Chatbot Arena
Arena Intelligence Inc. · その他 · チャットボット
Chatbot Arena（現Arena）は、2つの匿名AIモデルに同じ質問を投げ、投票で公開ランキングを動かすサービスだ。無料で使え、テキスト、画像、動画、コードに対応する。
Chatbot Arena について
About
Chatbot Arenaとは
Chatbot Arenaは、相手が誰か分からないまま2つのAIモデルと同時に話せるサイトである。質問を打ち込むと両方が答え、しっくりきた方を選ぶ。どちらの企業の回答かは投票の直後に分かる。1票ずつが公開ランキングに積み上がり、モデル同士の力関係が数字で並ぶ。
2023年、カリフォルニア大学バークレー校の研究チームが、人の投票によるAIモデル比較を狙って研究用ツールとして始めた。狙いは固定された試験問題より確かな手がかりを得ることだった。静的なベンチマークは問題が漏れたり暗記されたり、すぐ古くなる。本物の人間が投げる本物の質問は、そう簡単には用意できない。この発想はそのまま会社となり、Arena Intelligence Inc.としてarena.aiで運営されている。旧ドメインのlmarena.aiは転送される。
このLLMランキングには割り切れない点もある。点数は大半が匿名の利用者集団の好みを映すもので、専門家の測定値ではない。その集団は新しいAIツールを試すのが好きな層に寄っている。投票は数秒で済むため、1票の重みは小さい。Arenaの収益はモデル開発企業や一般企業への評価サービス販売から来ており、批判者はここに利益相反を見る。同社は手法とデータを公開することで応じている。
はじめかた
- ブラウザでarena.aiを開く。登録なしで質問を送れる。ログインは履歴の保存や予約評価の利用に必要になる。
- モードを選ぶ。Battleは匿名の2モデルを出し、名前を伏せる。Side by Sideは自分で2つを指名する。Direct Chatは1つのモデルと普通に会話する画面だ。
- 質問を書き、ツールのアイコンでテキスト、画像、動画、ランディングページ制作などを切り替える。
- 2つの回答を読み、良い方を投票する。送信した瞬間に名前が出る。ランキングに効くのは匿名の状態で入れた票だけだ。
- あとでランキングを見れば、選んだモデルがテキスト、視覚、検索、画像、動画、WebDevのどこで何位か分かる。
AIツール情報
Chatbot Arenaの料金、対応プラットフォーム、性能を簡単に確認できます。
こんな人におすすめ
このツールが最も力を発揮するユーザー、タスク、シーン。
ユーザー
- AIの有料契約を迷っている人：無料でAIモデルの投票評価ができ、主要モデルを試せる、自分の質問にどれが合うか先に見られる。10分真面目に投票するほうが、スペック表を読むより判断材料になる。
- 出力の雰囲気を比べたい書き手や開発者：2つの回答を並べれば、口調や長さ、構成の差がはっきりする。1つのチャットボットではなく、別の意見が欲しい場面向けだ。
- 業界の動きを追うファン：ランキングと更新履歴を見れば、新モデルが出たときに順位が上がったか下がったか分かる。公開記事を全部読まなくても流れはつかめる。
- 製品に組み込むモデルを選ぶチーム：カテゴリ別のボードで候補を絞れ、公開データで順位を自分で確かめられる。宣伝文だけを信じる必要はない。
タスク
- 同じ指示を複数モデルで試す：同じ質問を2回投げて見比べ、的外れだった箇所の書き方を直す。
- 新モデルが発表どおりか確かめる：出荷前のモデルはBattleにコードネームで現れることが多い。宣伝が固まる前に実物を触れる。
- 画像や動画モデルの感触を短時間でつかむ：画像、編集、動画の各ボードも同じ投票方式だ。ピクセル単位の勝負ではなく、好みに合う生成器が分かる。
- 小さなサイトのコードを比べる：WebDevボードと制作タスクは生成ページを並べてくれる。ツールを決める前の確認に向く。
シーン
- どのアシスタントが賢いかで家族が言い争う：全員が同じ質問を打ち込み、結果に決めさせる。
- 2つの有料プランで迷う：日常の作業をまず無料のアリーナに通し、本当に役立ったモデルにだけ払う。
- 開発チームの提案会議：カテゴリのボードを開いて候補の位置を示す。大衆の好みと自分たちの作業量は別物だという前提も添える。
主な機能
匿名バトルモード
Battleはこのサイトの中心だ。1つの指示に対して、名前のない回答が2つ返る。投票すると両方の正体が同時に明かされるため、なじみのブランドをひいきしにくい。ランキングに反映されるのは名前が伏せられている間の票だけなので、盲検のまま保たれる。
Bradley-Terryによる順位付け
点数はBradley-Terryモデルから出る。一対比較のために作られた統計手法で、チェスのレーティングに近い考え方だ。試験の点ではなく、直接対決で勝つことで順位を上げる。さらにスタイル制御を掛け、長い回答や整った回答への偏りを差し引く。長さだけで勝てる仕組みにはなっていない。
カテゴリ別ボード
一枚の表ではない。テキスト、WebDev、視覚、検索、テキストから画像、画像編集、テキストから動画、画像から動画、動画編集、エージェントがそれぞれ別のボードを持つ。創作文章で首位のモデルがコードでは後れを取ることがあり、総合順位だけ見るとその差が見えなくなる。
公開前のコードネーム
開発企業は未公開の版を盲検テストに出す。多くは製品名ではなくコードネームで現れる。数カ月先に登場するモデルを先に触れ、企業側はまだ直せるうちに反応を得る。公開の条件を満たせば、そのスコアは後から正式名でボードに載る。
Side by SideとDirect Chat
すべてに投票が必要なわけではない。Side by Sideは比べたい相手が決まっているときに2つを自分で指名できる。Direct Chatは1つのモデルを普通に使う画面だ。どちらも研究用に指示を集めるが、ランキングには影響しない。盲検のボードはきれいなまま残る。
制作、画像、動画のタスク
テキストだけのサイトではない。ランディングページ、ダッシュボード、小さなゲーム、ストアの制作を頼める。画像や短い動画を生成させ、出来たものを編集させることもできる。成果物の種類ごとにボードがあるので、文章はうまいが絵は苦手なモデルが1つの数字の裏に隠れることはない。
公開データと手法の論文
Arenaは投票データの多くをHugging Faceで公開し、手法の論文も出している。最初のChatbot Arenaの研究から、指示ごとのランキングまで幅広い。順位を鵜呑みにする必要はなく、データ、スタイル制御の考え方、ボードの方針を自分で読める。
メリットとデメリット
メリット
- 盲検投票でブランドへの偏りが消え、小さな研究室のモデルでも回答の質だけで上に来られる。
- 最先端モデルを無料で試せる。コードネームで出ている公開前の版まで含むのは、他ではなかなかない。
- テキスト、視覚、検索、画像、動画とボードが分かれているので、気になる能力だけを確かめられる。
- データと論文が公開されていて、研究者も購入検討者も宣伝ページではなく中身を検証できる。
- 投票は数秒で終わる。ざっとした比較なら数分で済む。
デメリット
- 順位は大衆の好みであり厳密な正しさの検証ではない。自信たっぷりの誤答でも高い点を取りうる。
- 投票は順序もなく、慌てて押しやすい。順位操作や指示の流出を指摘する研究も出ている。判定ではなく手がかりとして扱うべきだ。
- Arenaの収益はモデル開発企業から来る。順位を付ける会社が同じ顧客に評価を売っている構図になる。
- 入力した指示は収集され、一部は研究データセットとして公開される。機密情報はここに置くべきではない。
よくある質問
2つの匿名AIモデルが同じ指示に答え、どちらが良かったかを投票で決める無料サイトだ。その票がテキスト、画像、動画、検索、コードの公開ランキングを作る。
関連コンテンツ
Chatbot Arenaに関連するツール、スキル、記事を探す。
Chatbot Arenaの代替ツール
BinkBink
BinkBink · その他BinkBinkは無料のオンラインゲームプラットフォームであり、AIゲームメーカーでもある。短いテキストの説明を、誰でも遊べるブラウザゲームに変えられる。コミュニティが作った数百本のゲームにすぐ飛び込める。あるいは自分のアイデアを説明すれば、数秒で遊べて、そのまま友達と共有できる。自分のゲームを作りたい？プログラミングは要らない。エンジンの設定も、ダウンロードも、面倒なこともない。
Audiogen
Audiogen Inc. · その他Audiogenは、Audiogen Inc.が開発したAI音楽生成ツールだ。小さな研究チームが約2年半かけて自社の生成型音楽モデルを訓練し、その周りにWebインターフェースを設計した。このAI音楽ツールは単なるテキストボックスではなく、タイムラインを初心者に優しい生成型オーディオワークステーション（Generative Audio Workstation、略してGAW）へと変える。そこではインペインティング、延長、リミックス、ステム編集が、キャンバスに絵を描くように機能する。製品はまだベータ版で、アクセスは順番待ちリストか招待で行う。有料プランはまだ公開されていない。
Aiml API
AIMLAPI OÜ · その他Aiml APIは、OpenAI、Google、Anthropicなどの1000以上のモデルを1つのエンドポイントと1つの請求にまとめる統合AIモデルAPIだ。単一のOpenAI互換スキーマに対してコードを書き、モデル文字列を変えるだけでチャット、画像、動画、音声のモデルを切り替えられる。十数の事業者アカウントを使い分けずにマルチモデルへアクセスしたい開発者や小規模チームに向き、複数ベンダーを試すときに付きまとう請求の手間もなくす。1つの鍵ですべてをまかなえる。