Chatbot Arena
Arena Intelligence Inc. · Sonstiges · Chatbot
Chatbot Arena, heute Arena, zeigt zwei anonyme KI-Modelle, die dieselbe Frage beantworten, und Ihr Votum verschiebt das öffentliche Ranking. Der Dienst ist kostenlos und deckt Text, Bild, Video und Code ab.
Über Chatbot Arena
About
Was ist Chatbot Arena
Chatbot Arena ist eine Website, auf der Sie mit zwei KI-Modellen gleichzeitig sprechen, ohne zu wissen, welche das sind. Sie tippen eine Frage, beide antworten, und Sie wählen die Antwort, die Ihnen mehr zusagt. Erst nach dem Votum zeigt sich, welche Firma hinter welcher Antwort steckt. Jedes Votum speist ein öffentliches Ranking, das die Modelle im Vergleich sortiert.
Das Projekt startete 2023 als Forschungswerkzeug eines Teams der University of California in Berkeley, gedacht als LLM-Ranking aus echten Nutzervoten. Die Gruppe suchte ein besseres Signal als feste Prüfungen: Statische Tests werden geleakt, auswendig gelernt oder veralten, während echte Menschen mit echten Fragen deutlich schwerer vorzubereiten sind. Aus der Idee wurde das Unternehmen Arena Intelligence Inc., das die Seite heute unter arena.ai betreibt und lmarena.ai dorthin umleitet.
Die Sache hat Kehrseiten, und ein KI-Modell-Ranking trägt sie mit. Die Note spiegelt den Geschmack einer überwiegend anonymen Menge, nicht die Messung einer Expertenrunde, und diese Menge neigt zu Menschen, die gern neue KI-Werkzeuge ausprobieren. Abstimmen dauert Sekunden, ein einzelnes Votum wiegt also wenig. Arena verdient Geld mit dem Verkauf von Evaluierungen an Labore und Unternehmen, ein Konflikt, den Kritiker ansprechen und den das Unternehmen mit veröffentlichten Methoden und Datensätzen beantwortet.
Erste Schritte
- Öffnen Sie arena.ai im Browser. Eine Frage lässt sich sofort abschicken; ein Konto brauchen Sie nur für gespeicherte Verläufe und geplante Evaluierungen.
- Wählen Sie einen Modus. Battle liefert zwei anonyme Modelle ohne Namen. Side by Side lässt Sie beide Gegner selbst bestimmen. Direct Chat öffnet ein einzelnes Modell für ein normales Gespräch.
- Schreiben Sie die Anfrage und wechseln Sie über das Werkzeugsymbol zwischen Text, Bild, Video und Bauaufgaben wie einer Landingpage.
- Lesen Sie beide Antworten und stimmen Sie für die bessere ab. Die Namen erscheinen direkt mit dem Votum, und nur blind abgegebene Stimmen zählen.
- Schauen Sie danach ins Ranking, um zu sehen, wo Ihre Wahl auf dem Text-, Vision-, Such-, Bild-, Video- oder WebDev-Board steht.
Produktinformationen
Ein kurzer Überblick über Preise, unterstützte Plattformen und die Leistung von Chatbot Arena.
Am besten für
Die Nutzer, Aufgaben und Szenarien, für die dieses Tool am besten passt.
Nutzer
- Wer kurz vor einem KI-Abo steht
- Autorinnen und Entwickler, die KI-Modelle vergleichen wollen
- Wer die Branche verfolgt
- Produktteams, die ein Modell als Grundlage wählen
Aufgaben
- Eine Anweisung gegen mehrere Modelle testen
- Prüfen, ob ein Release hält, was die Ankündigung verspricht
- Schnell ein Bild vom Stand bei Bild- und Videomodellen gewinnen
- Code für eine kleine Seite vergleichen
Szenarien
- Eine Familienstreitfrage, welcher Assistent der klügste ist
- Die Wahl zwischen zwei bezahlten Tarifen
- Eine Präsentation im Entwicklerteam
Wichtigste Funktionen
Anonymer Battle-Modus
Battle ist der Kern der Seite. Sie senden eine Anfrage und erhalten zwei Antworten ohne Modellnamen. Das Votum deckt beide Identitäten zugleich auf, was es schwerer macht, eine vertraute Marke zu bevorzugen. Nur Stimmen, die bei verdeckten Namen abgegeben wurden, fließen ins Ranking, damit das Board blind bleibt.
Bradley-Terry-Ranking
Die Punkte stammen aus einem Bradley-Terry-Modell, einer statistischen Methode für Paarvergleiche, die den Wertungssystemen im Schach nahesteht. Statt einer Prüfungsnote steigt ein Modell durch gewonnene Duelle. Dazu kommt eine Stilkontrolle, die den Vorteil längerer oder polierterer Antworten herausrechnet, damit Länge allein nicht gewinnt.
Boards nach Kategorie
Eine einzige Tabelle gibt es nicht. Text, WebDev, Vision, Suche, Text zu Bild, Bildbearbeitung, Text zu Video, Bild zu Video, Videobearbeitung und Agent haben jeweils ein eigenes Board. Das zählt, weil ein Modell an der Spitze beim kreativen Schreiben in Code zurückfallen kann, und wer nur auf den Gesamtplatz schaut, übersieht diese Lücke.
Codenamen vor dem Release
Labore geben unveröffentlichte Versionen zum Blindtest weiter, und sie erscheinen vor dem Start oft unter einem Alias. Sie kommen Monate vor der Veröffentlichung an ein Modell heran, und die Teams bekommen Rückmeldung, solange sich noch etwas ändern lässt. Erfüllt das Modell die Regeln für eine Veröffentlichung, erscheint sein Wert später unter dem echten Namen im Board.
Side by Side und Direct Chat
Nicht jede Aufgabe braucht ein Votum. Side by Side lässt Sie beide Kontrahenten benennen, wenn Sie schon wissen, was Sie messen wollen, und Direct Chat öffnet ein einzelnes Modell für den normalen Gebrauch. Beide Modi sammeln Anfragen für die Forschung, keiner verändert das Ranking, so bleibt das blinde Board sauber.
Bau-, Bild- und Videoaufgaben
Die Seite geht über Text hinaus. Ein Modell baut eine Landingpage, ein Dashboard, ein kleines Spiel oder einen Shop, erzeugt ein Bild oder ein kurzes Video oder bearbeitet sein Ergebnis. Jede Ausgabefamilie hat ihr eigenes Board, ein Modell, das gut schreibt aber schlecht zeichnet, versteckt sich also nicht hinter einer einzigen Zahl.
Offene Daten und veröffentlichte Methoden
Arena gibt einen großen Teil seiner Stimmen auf Hugging Face frei und veröffentlicht Arbeiten zur Methode, von der ursprünglichen Chatbot-Arena-Studie bis zu Rankings für einzelne Anfragen. Sie müssen das Ranking nicht glauben: Daten, Stilkontrolle und Board-Richtlinie lassen sich nachlesen.
Vor- und Nachteile
Vorteile
- Das blinde Votum nimmt Markenvorlieben heraus, sodass ein Modell aus einem kleinen Labor durch die Qualität seiner Antworten nach oben kommen kann.
- Kostenloser Zugang zu Spitzenmodellen, auch zu Vorabversionen unter Codenamen, ist anderswo kaum zu finden.
- Getrennte Boards für Text, Vision, Suche, Bild und Video erlauben es, genau die Fähigkeit zu prüfen, die Sie brauchen.
- Veröffentlichte Daten und Methodenpapiere lassen Forschende und Einkäufer das Ranking überprüfen statt einer Marketingseite zu vertrauen.
- Ein Votum dauert Sekunden, ein grober Vergleich ist also nur Minuten entfernt.
Nachteile
- Das Ranking zeigt Publikumsgeschmack, keine sorgfältige Prüfung auf Richtigkeit, eine selbstsichere falsche Antwort kann also gut abschneiden.
- Stimmen fallen ungeordnet und schnell, zu Manipulation und durchgesickerten Anfragen gibt es veröffentlichte Arbeiten, sehen Sie den Wert daher als Signal und nicht als Urteil.
- Arena verdient an Modelllaboren, das Unternehmen, das rankt, verkauft denselben Kunden also auch Evaluierungen.
- Was Sie eintippen, wird erfasst und teils in Forschungsdatensätzen veröffentlicht, sensible Angaben gehören woanders hin.
Häufige Fragen
Chatbot Arena ist eine kostenlose Website, auf der zwei anonyme KI-Modelle dieselbe Anfrage beantworten und Ihr Votum entscheidet, welches besser war. Diese Stimmen bauen das öffentliche Ranking für Text, Bild, Video, Suche und Code.
Ähnliche Inhalte
Entdecke passende Tools, Skills und Artikel zu Chatbot Arena.
Alternativen zu Chatbot Arena
Odyssey 3
Odyssey · SonstigesOdyssey-3 ist Odysseys fundamentales Weltmodell. Es simuliert Physik in Echtzeit, macht aus einer Eingabe eine interaktive Umgebung und lässt sich an Roboter, Autos und Spiele anpassen.
JarvisCore
Prescott Data · Coding · Produktivität · SonstigesJarvisCore ist eine Open-Source-Laufzeit in Python, in der KI-Agenten als gleichrangige Peers in einem Mesh arbeiten, Aufgaben aus einem gemeinsamen Register übernehmen und externe Dienste über einen Zero-Trust-Broker erreichen.
Clef
Cloudflare · Business · SonstigesClef ist Cloudflares Open-Source-Entscheidungsmodell für Workers AI. Es liefert kalibrierte Wahrscheinlichkeiten für typisierte Fragen statt Text, damit Agenten schnell klassifizieren, routen und handeln.