ComputeArena
Base Compute Pty. Ltd. · Coding · Sonstiges
ComputeArena ist eine Community-Benchmark-Plattform für lokale KI. Sie sammelt KI-Durchsatzmessungen von echten Maschinen und ordnet Modelle danach ein, wie schnell sie Prompts vorverarbeiten (Prefill) und Tokens erzeugen (Decode) auf bestimmten Chips. Sie installieren eine CLI unter macOS oder Linux, starten ein Modell offline und reichen den signierten Bericht ein, wenn Sie ihn teilen möchten. Das Ergebnis ist eine Rangliste auf Basis von Hardware, die Menschen tatsächlich besitzen, und nicht auf Basis des Prüfstands eines einzelnen Labors.
Über ComputeArena
Was ist ComputeArena
ComputeArena beantwortet eine Frage, die Datenblätter offen lassen: Wie schnell läuft ein bestimmtes Modell auf der Hardware, die Sie besitzen? Statt Herstellerfolien zu vertrauen, sammelt die Plattform Messungen von Freiwilligen, die Modelle auf ihren eigenen Laptops, Desktops und Workstations starten. Jedes Ergebnis verweist auf einen signierten Bericht, der auf echter Hardware aus der Community erstellt wurde.
Die Plattform sortiert Ergebnisse nach Modell, Quantisierungsstufe und Chip, mit getrennten Werten für Prefill, also wie schnell das Modell Ihren Prompt liest, und Decode, also wie schnell es die Antwort schreibt. Diese Trennung ist wichtig, denn ein Chip, der lange Prompts gut verarbeitet, streamt nicht immer schnell Tokens.
Zwei Dinge verhindern eine pauschale Antwort. Erstens hängen die Ergebnisse von genauem Runtime, Quantisierung und Kontextlänge ab, sodass abweichende Setups nicht direkt vergleichbar sind. Zweitens liegt der Fokus auf dem Durchsatz und nicht auf der Antwortqualität, sodass die Plattform nicht sagt, welches Modell besser schreibt.
Erste Schritte
- Führen Sie den Installationsbefehl unter macOS oder Linux aus. Der Installer lädt die neueste stabile Version und braucht curl, tar und Python 3. Kein sudo.
- Wählen Sie eine Runtime im interaktiven Menü. ComputeArena unterstützt BaseRT und llama.cpp.
- Wählen Sie ein Modell und eine Quantisierungsstufe und starten Sie den Benchmark. Alles läuft offline.
- Warten Sie, bis der Lauf fertig ist, und prüfen Sie dann den gespeicherten Bericht auf Ihrer Maschine.
- Melden Sie sich an, wenn Sie die Benchmarks einreichen möchten, die öffentlich werden sollen.
Produktinformationen
Ein kurzer Überblick über Preise, unterstützte Plattformen und die Leistung von ComputeArena.
Am besten für
Die Nutzer, Aufgaben und Szenarien, für die dieses Tool am besten passt.
Nutzer
- Fans lokaler KI
- Hardware-Käufer
- Modell-Tüftler
Aufgaben
- Lokale LLM-Leistung messen
- Eine Quantisierungsstufe wählen
- Ein Hardware-Upgrade prüfen
Szenarien
- Entscheiden, ob eine Maschine ein Modell bequem hosten kann
- Runtimes auf einem Gerät vergleichen
- Ausreißer in einem Build erkennen
Wichtigste Funktionen
Trennung von Prefill und Decode
ComputeArena meldet zwei Werte pro Lauf: Prefill PP512 und Decode TG128. Prefill deckt ab, wie schnell das Modell Ihren Prompt liest, Decode, wie schnell es zurückschreibt. Die Trennung hilft zu sehen, welche Hälfte der Last ein Chip besser bewältigt.
Von der Community eingereichte Benchmarks
Die Ergebnisse stammen von Freiwilligen statt von einem einzigen Labor, sodass jeder Eintrag auf einen signierten Bericht verweist, der auf der Hardware des Beitragenden erstellt wurde, und die Rangliste zeigt, wer wann gemessen hat. So bekommen Sie eine Bandbreite echter Setups statt eines einzigen kontrollierten Prüfstands.
Filter nach Modell, Quantisierung und Chip
In der Rangliste können Sie Ergebnisse nach Modell, Runtime, Quantisierung und Chip eingrenzen. Bei Hunderten von Konfigurationen auf der ganzen Seite sind die Filter der schnellste Weg zu einem Vergleich, der zu Ihrer Maschine passt, und sie helfen Ihnen, einen Eintrag gegen den Chip abzuwägen, den Sie kaufen möchten.
Offline-Läufe mit optionalem Teilen
Die CLI führt den Benchmark ohne Konto aus, und Berichte bleiben auf Ihrer Festplatte, bis Sie sie einreichen möchten. Sie können so viel testen, wie Sie wollen, und nur die Läufe veröffentlichen, die Ihnen gefallen.
Wahl der Runtime
Beim Start eines Laufs wählen Sie zwischen BaseRT und llama.cpp. Schicken Sie dasselbe Modell durch beide. Zwei Läufe zeigen, wie stark der Software-Stack und nicht nur das Silizium Ihren Durchsatz verändert.
Chip-Abdeckung bei Apple und dedizierten GPUs
Die Einträge decken Apple-Metal-Chips und dedizierte GPUs über Backends wie Vulkan ab. Diese Mischung lässt Sie einen integrierten Apple-Chip gegen eine dedizierte Grafikkarte bei ähnlichen Lasten vergleichen.
Öffentliche Beitragsprofile
Beitragende haben Profile, sodass Sie die Einreichungen einer bestimmten Person verfolgen oder die Historie hinter einem Ergebnis prüfen können. Das bringt etwas Verbindlichkeit in Zahlen, die sonst frei schweben würden.
Vor- und Nachteile
Vorteile
- Die Werte stammen von echter Hardware vieler Beitragender, sodass Sie eine realistische Bandbreite statt eines einzelnen Laborergebnisses bekommen.
- Die Trennung von Prefill und Decode ist nützlicher als ein einziger gemischter Wert.
- Das ist das Argument. Für Benchmarks ist kein Konto nötig, und Berichte bleiben privat, bis Sie sie einreichen.
- Das Filtern nach Modell, Quantisierung und Chip macht den Vergleich unkompliziert.
Nachteile
- Ergebnisse sind nur dann streng vergleichbar, wenn Runtime, Quantisierung und Kontextlänge übereinstimmen, sodass Sie das Setup hinter jedem Eintrag prüfen müssen.
- Es wird nur der Durchsatz gemessen, was bedeutet, dass die Ausgabequalität gar nicht bewertet wird, sodass es Ihnen nicht hilft, das klügere Modell für Ihre Aufgabe zu wählen.
- Vorerst nur Desktop. macOS und Linux werden unterstützt, ohne Windows-Weg auf der Schnellstartseite.
Häufige Fragen
Es ist eine Community-Benchmark-Plattform für lokale KI. Menschen starten Modelle auf ihren eigenen Maschinen und reichen Durchsatzwerte ein, die nach Modell, Quantisierung und Chip eingestuft werden. Sie richtet sich an alle, die wissen wollen, wie schnell ein Modell auf echter Hardware läuft, sei es ein Laptop auf dem Schreibtisch oder eine Workstation im Schrank.
Ähnliche Inhalte
Entdecke passende Tools, Skills und Artikel zu ComputeArena.
Alternativen zu ComputeArena
Forefront
Forefront · CodingForefront ist eine Webplattform zum Bauen mit Open-Source-KI. Sie lassen sich führende Open-Source-Sprachmodelle mit eigenen Daten feintunen, ihre Leistung bewerten und sie über eine API ausführen oder exportieren, um sie selbst zu hosten. Entwickler, die den Komfort einer geschlossenen Plattform wollen, aber darauf bestehen, ihre Modelle und Daten zu besitzen, sind hier die Zielgruppe.
Startkit
StartKit.AI · CodingStartkit ist ein Boilerplate zum Bauen von KI-SaaS-Produkten und KI-Wrappern. Man kann es sich als KI-Startup-Boilerplate vorstellen, bei dem die langweiligen Teile schon verdrahtet sind: Authentifizierung, Zahlungen über Stripe und Lemon Squeezy, Nutzungslimits, transaktionale E-Mail und ein KI-API-Starter-Kit, das mit OpenAI, Anthropic, Groq oder Llama spricht. Man klont das Repository, setzt seinen Preis und kümmert sich um den Teil des Produkts, für den Menschen wirklich bezahlen. Es basiert auf Next.js über React und Tailwind, deshalb fühlt sich ein Großteil des Boilerplate-Codes schon vertraut an.
Testim
Tricentis · CodingTestim ist eine KI-gestützte Plattform für Testautomatisierung, mit der man End-to-End-Tests für Web-, Mobile- und Salesforce-Anwendungen baut und ausführt. Sie setzt auf maschinelles Lernen, um Tests stabil zu halten, wenn sich eine Oberfläche ändert, sodass Teams weniger Zeit mit der Reparatur kaputter Selektoren verbringen. Nicht schlecht für ein Tool für automatisierte Tests, das Sie heute schon nutzen können. Sie erstellen Tests, indem Sie Aktionen im Browser aufzeichnen, und fügen danach JavaScript hinzu, wenn Sie mehr Kontrolle brauchen. Für ein beschäftigtes QA-Team eine solide Wahl.