LLM Arena
Arena Intelligence Inc. · ビジネス · その他
LLM Arenaは、AIモデルを匿名の対戦形式で比較し、良い回答に投票して、その票で更新される公開ランキングを確認できる無料のWebサービスだ。
LLM Arena について
About
LLM Arenaとは
LLM Arenaは、Arena Intelligence Inc.が運営するAIモデルの集合的なテスト場だ。同社はカリフォルニア大学バークレー校の研究から生まれた。指示を入力すると2つの匿名モデルが答え、利用者は好ましい方を選ぶ。この1票が、何百万件もの同じ比較からなる公開ランキングに反映される。
2023年にChatbot Arenaとして始まった。LMSYSのオープンモデル開発チームによる副次的な実験だったものが、研究室が新モデルを発表するたびに最初に開かれる場所になっていく。名称はLMArena、そしてArenaへと変わったが、仕組みは同じで、固定された問題集の代わりに実際の利用者によるブラインドテストを使う。
得られるのは、ある種の作業に対して人がどのモデルを好むかという素早い見立てだ。正しさの保証は得られない。投票が測るのは好みであり、自信たっぷりに書かれた誤答が1ラウンドを取ることもある。AIモデルランキングは複数ある判断材料の1つとして読み、結論として扱わない方がいい。
使い始める
- ブラウザでサイトを開く。対戦の開始に登録も支払いも要らない。
- モードを選ぶ。匿名の対戦ならBattle、名前で2モデルを選ぶならSide by Side、1モデルと話すならDirectだ。
- 指示を入力する。画像、動画、文書の回答が欲しいときは、先に該当するツールのアイコンを選ぶ。
- 2つの回答を読み、投票する。票を入れた直後にモデル名が表示される。
- 同じ画面で会話を続けるか、新しいラウンドを開いて別のモデル同士を比べる。
AIツール情報
LLM Arenaの料金、対応プラットフォーム、性能を簡単に確認できます。
こんな人におすすめ
このツールが最も力を発揮するユーザー、タスク、シーン。
ユーザー
- 新モデルを発売前に試したいAI好き：未公開版はコードネームで現れるため、正式公開の数週間前から触れる。ただし投票までは名前が伏せられる。
- 機能に組み込むモデルを選ぶ開発者：ランキングはタスク種別ごとに分かれているので、API課金の前に候補を絞れる。絞り込みに使い、その後に自分の指示で試すのがいい。
- 業界を追う研究者や記者：スコア、信頼区間、公開された投票データは引用できる。手法も公開されているため、主張を検証できる。
タスク
- 自分の指示で2モデルを比べる：Side by Sideなら同じ画面に並ぶ。2つのチャットを開いて回答をコピーするより速い。
- ブランドの先入観を外したブラインドテスト：Battleでは相手が分からないので、見慣れたロゴが代わりに口を挟めない。
- 発表内容が実際に伴っているかの確認：公開された週にいくつか指示を投げ、票が集まった後の位置を見る。
- 領域別のランキング確認：テキスト、Web開発、画像生成、動画、視覚、文書、検索にそれぞれ順位表がある。コーディングに強いモデルが総合点に埋もれない。
シーン
- クライアント案件のモデル選び：AIモデル比較の表から候補を3つに絞り、実際の要件で試してから見積もりを出す。
- 発表週の動きを追う：研究室がモデルを公表すると、Arenaランキングは投票が集まる数日で動くことが多い。
- 授業やワークショップでの利用：参加者は各自のノートPCで対戦を開ける。インストールは不要で、好みの議論が具体的になる。
主な機能
匿名のBattleモード
Battleモードでは名前を伏せた2モデルが提示される。指示を書き、2つの回答を読み、良い方か引き分けか両方ダメかを選ぶ。名前は投票直後に表示され、公式ランキングに数えられるのは匿名中の票だけだ。
Bradley-Terry評価とスタイル制御
順位はBradley-Terryモデルから算出する。一対比較のための統計手法で、チェスのEloレーティングに近い考え方だ。さらにスタイル制御をかけ、長さやmarkdownの使い方といった書式の癖を補正する。長いだけで勝つ回答を防ぐためである。各スコアには信頼区間が付き、僅差にどれだけ意味があるかが分かる。
複数モダリティのランキング
Arenaランキングは1つの表ではない。総合、テキスト、Web開発、画像からWeb、テキストから画像、画像編集、テキストから動画、画像から動画、動画編集、視覚、文書、検索、エージェント、アラインメント指数が別々の表になっている。視覚寄りやコード中心の仕事では、この分かれ方が効く。
Side by Sideと直接チャット
Side by Sideは名前で選んだ2モデルを並べ、Directは1モデルだけと会話する。どちらもモデルが隠れていないため公開ランキングには反映されない。それでも手元でのAIモデル比較には使えるし、指示は研究用のデータに入る。
コードネームの未公開モデル
研究室は公開前に複数の版をArenaで試す。だから果物や気象現象の名前を冠したモデルに出会うことがある。コードネームの版が提供元の公開基準とプラットフォームのポリシーを満たせば、後日そのスコアが正式名で掲載される。利用者は早く触れ、研究室は発売前に反応を得る。
オープンデータと研究への公開
Arenaは匿名化した投票データをHugging Faceで公開し、手法の背景にある論文も示す。最初のChatbot Arenaの研究、Arena-Hard、RouteLLM、Search Arenaなどだ。順位を再現したい人も、独自の選好モデルを学習したい人も、素材に手が届く。
メリットとデメリット
メリット
- 無料で登録不要。1分あればブラインドテストを1回回せる。
- 未公開モデルをコードネーム越しに先取りできる。閉じたベータ以外では珍しい。
- 手法が公開され投票データも開かれているため、LLMベンチマークのスコアがどう出たかを追える。
- テキスト、コード、画像、動画、文書、検索で表が分かれ、ニッチな強みが埋もれない。
- 投票は費用ゼロで1クリック。標本数は大半の学術研究よりはるかに大きい。
デメリット
- 票が測るのは好みで正確さではない。流暢な誤答が読みにくい正答を上回ることがあり、首位は信頼性の証明にならない。
- 投票する層は英語圏のAI愛好者に偏る。他の言語や専門領域についてランキングが語れる範囲は限られる。
- 会話は匿名化された後に公開研究データへ入ることがある。顧客データ、個人情報、機密事項は対戦に貼らないこと。
- Side by SideとDirectの票はランキングに数えられず、流入と指示の傾向が週ごとに変わればスコアも動く。
よくある質問
実際の指示でAIモデルを比較し、コミュニティが作るランキングを読むために使う。サブスクやAPI課金の前にモデルを試せて、新製品が順位表をどう動かすかも追える。
関連コンテンツ
LLM Arenaに関連するツール、スキル、記事を探す。
LLM Arenaの代替ツール
Knocket
Knocket (Tencent RTC team) · 生産性向上 · ビジネス · チャットボットKnocketは無料のライブチャット兼コンタクトページだ。訪問者はウェブサイト、アプリ、共有リンクから書き込み、こちらはTelegramか一つの受信トレイから返信する。
shippedit.me
Krawlup · マーケティング · ビジネスshippedit.me は現在 Krawlup へ転送される。SEO、AEO、表示速度を毎週監査し、修正内容を MCP 経由で AI コーディングエージェントに渡すウェブプラットフォームだ。
Ayven
Alknoma · 生産性向上 · ビジネスAyvenはAlknomaのAIコントロールセンターだ。普通の言葉で伝えた目標を日付入りの計画に変え、チームのメンバーとAIエージェントに仕事を割り振り、判断が自分の領分であるときだけ承認を求める。