BaseRT
Base Compute · Coding · Sonstiges
BaseRT ist eine von Grund auf neu gebaute lokale LLM-Inferenz-Runtime für Apple Silicon, die auf Ebene der Metal-Kernel abgestimmt ist, um mehr Geschwindigkeit aus der Mac-Hardware zu holen als Allzweck-Engines wie MLX oder llama.cpp. Sie kommt als einzelne LLM-CLI `basert`, die Modelle von HuggingFace lädt, sie in das eigene `.base`-Format umwandelt und Sie lokal chatten oder eine OpenAI-kompatible API bereitstellen lässt. Entwickler, die schnelle, private KI direkt auf dem Gerät an einem Mac wollen, holen am meisten heraus, denn es gibt keine Cloud-Abhängigkeit, keine API-Schlüssel und keine Kosten pro Token.
Über BaseRT
Was ist BaseRT
BaseRT ist eine lokale Inferenz-Runtime von Base Compute, einem kleinen KI-Labor mit Standorten in Melbourne und Berlin. Das Projekt ist von Grund auf gebaut, statt an bestehende Engines angebaut zu werden, und daher stammen die Geschwindigkeitsgewinne, die das Team dem Prefill zuschreibt: bis zu 6,4-mal schneller als llama.cpp und 3,9-mal schneller als MLX, mit einem Decode bis zu 1,33-mal höher als MLX auf einem Apple M5 Pro. Diese Werte stammen aus den eigenen Benchmarks von Base Compute, behandeln Sie sie also als Herstellerangaben und nicht als Ergebnisse eines unabhängigen Labors.
Die Runtime richtet sich an Entwickler und Hobbyisten, die Open-Source-Modelle auf ihrem eigenen Mac ausführen. Sie deckt den ganzen Ablauf ab: ein Modell laden, es in ein Format umwandeln, das die Engine schnell lädt, und dann entweder damit chatten oder es über HTTP bereitstellen. Alles bleibt auf Ihrem Rechner. Nichts geht an einen Anbieter.
Warum ist das wichtig? Weil es keine Kosten pro Token gibt, sobald das Modell lokal liegt. So einfach ist das.
Die wichtigsten Grenzen sind praktischer Natur. BaseRT läuft derzeit nur unter macOS, Windows und Linux sind als bald verfügbar angekündigt. Die Kern-Engine kommt als vorkompilierte Binärdatei und nicht als Open-Source-Code, Sie können die Kernel also nicht selbst neu bauen. Wenn Sie auf einer Nicht-Apple-Maschine arbeiten oder einen bis zum Silizium vollständig offenen Stack brauchen, ist das noch nichts für Sie. Zumindest noch nicht.
Erste Schritte
- Installieren Sie die CLI mit dem Einzeiler-Skript:
curl -LsSf https://basecompute.co/install.sh | sh. - Laden Sie ein Modell von HuggingFace mit dem Launcher, etwa
basert serve basecompute/gemma-4-E4B-it. - Wandeln Sie das Modell in das
.base-Format auf der Festplatte um, das die Runtime liest, oder laden Sie es darin. - Chatten Sie direkt mit dem Modell, oder richten Sie eine App auf den OpenAI-kompatiblen Endpunkt aus, den der Server bereitstellt.
- Optional installieren Sie das Plugin für den Coding-Agenten (
pi install git:github.com/basecompute/pi-basert), um einen lokalen Coding-Agenten gegen Ihr bereitgestelltes Modell laufen zu lassen.
Produktinformationen
Ein kurzer Überblick über Preise, unterstützte Plattformen und die Leistung von BaseRT.
Am besten für
Die Nutzer, Aufgaben und Szenarien, für die dieses Tool am besten passt.
Nutzer
- Mac-Entwickler
- Datenschutzorientierte Entwickler
- KI-Hobbyisten
Aufgaben
- Einen lokalen LLM bereitstellen
- Einen lokalen Coding-Agenten betreiben
- Benchmarking auf Apple Silicon
Szenarien
- Offline im Flugzeug oder Zug arbeiten
- Sensible Prompts verarbeiten
- Wiederkehrende API-Rechnungen senken
Wichtigste Funktionen
Nativer Metal-Inferenz-Kernel
BaseRT ist von Grund auf für Apples Metal-Framework auf Apple Silicon gebaut, statt aus CUDA- oder CPU-Code portiert zu werden. Die Engine bettet ihre Metal-Kernel in eine vorkompilierte libbaseRT.dylib ein, sodass die Runtime so mit der GPU spricht, wie Apple es vorsieht. Genau daher stammen in der Praxis die Geschwindigkeitswerte: ein bis zu 6,4-mal schnellerer Prefill als llama.cpp und ein bis zu 33 % schnellerer Decode als MLX bei manchen Modellen, laut den Benchmarks von Base Compute.
OpenAI-kompatible Bereitstellung
Das Tool basert-serve macht aus jedem geladenen Modell einen HTTP-Server, der das Format der OpenAI-API spricht. Bestehende Tools, SDKs und Skripte, die bereits auf api.openai.com zielen, lassen sich also mit einer Konfigurationsänderung auf Ihren lokalen Endpunkt umlenken. Sie sparen sich Umschreibungen und behalten eine vertraute Schnittstelle, während das eigentliche Modell auf Ihrem Rechner bleibt.
Mehrsprachige Bindings
Neben der CLI bietet BaseRT eine C-API in baseRT.h mit Bindings für Python, Node, Rust und Swift. Wenn Sie Inferenz lieber direkt in eine App einbetten, statt einen Server aufzurufen, können Sie die Engine mit diesen Bindings aus der Sprache ansprechen, die Ihr Projekt bereits nutzt. Das ist der Unterschied zwischen einem Kommandozeilentool und einer Bibliothek, auf der Sie aufbauen.
HuggingFace-Modellhub und Konverter
Der Befehl basert vereint einen Modellhub und einen Konverter. Sie laden die Gewichte direkt von HuggingFace, und das Tool wandelt sie in das .base-Format auf der Festplatte um, das die Runtime lädt. So bleibt das Einrichten bei ein paar Befehlen statt einer manuellen Export-Kette, und es funktioniert mit gängigen quantisierten Builds wie Q4 und Q8.
Integration eines lokalen Coding-Agenten
Base Compute liefert ein Plugin (pi-basert), das einen Coding-Agenten direkt mit einem von BaseRT bereitgestellten Modell verbindet. Sie führen drei Befehle aus. Das war's. Am Ende haben Sie einen Agenten, der Code liest und schreibt, ohne etwas an eine entfernte API zu senden. Für Teams, die Angst haben, Quellcode an gehostete Anbieter zu verlieren, ist das der wichtigste Anwendungsfall.
Betrieb ohne Kosten und ohne Konto
Keine Anmeldung, kein API-Schlüssel, kein Nutzungszähler. Sobald ein Modell auf Ihrer Festplatte liegt, kostet jedes Token nichts, weil die einzige verbrauchte Ressource Ihre eigene Hardware ist. Wo ist also der Haken? Es gibt praktisch keinen. Für Vielnutzer, die sonst pro Token zahlen würden, summiert sich die Ersparnis schnell.
Vor- und Nachteile
Vorteile
- Prefill- und Decode-Geschwindigkeiten, die MLX und llama.cpp auf demselben Mac schlagen, laut Herstellerangaben.
- Vollständig lokale Inferenz, sodass Prompts und Daten Ihr Gerät nie verlassen.
- Der OpenAI-kompatible Server lässt bestehende Tools mit minimalen Änderungen funktionieren.
- Bindings für Python, Node, Rust und Swift öffnen das Projekt für viele Stacks.
- Keine Konten, keine API-Schlüssel und keine Kosten pro Token nach dem Einrichten.
Nachteile
- Vorerst nur macOS, Windows- und Linux-Nutzer müssen also warten.
- Die Kern-Engine ist eine vorkompilierte Binärdatei statt Open Source, was die Anpassung begrenzt.
- Die Benchmarks sind Herstellerangaben, unabhängige Ergebnisse fehlen noch.
- Das Einrichten setzt Sicherheit im Terminal voraus, was weniger technische Nutzer abschreckt.
Häufige Fragen
BaseRT führt große Sprachmodelle lokal auf Macs mit Apple Silicon aus. Sie nutzen es, um mit offenen Modellen zu chatten, sie über eine OpenAI-kompatible API bereitzustellen oder lokale LLM-Inferenz über die C-API-Bindings in eine App einzubetten.
Ähnliche Inhalte
Entdecke passende Tools, Skills und Artikel zu BaseRT.
Alternativen zu BaseRT
Base Code
Base44 (Wix) · Coding · ProduktivitätBase Code ist eine geteilte Cloud-Entwicklungsumgebung von Base44. Das Team beschreibt Änderungen an einem bestehenden GitHub-Repository im Chat, prüft sie in der Vorschau und reicht sie als Pull Request ein.
Google EmbeddingGemma 2
Google DeepMind · Schreiben · Bilder · CodingGoogle EmbeddingGemma 2 ist ein offenes Modell mit 740 Millionen Parametern, das Text, Code, Bilder, Audio und Videobilder in Vektoren eines gemeinsamen 768-dimensionalen Raums umwandelt und auf Handys und Notebooks läuft.
GitGlow
GitGlow · Coding · ProduktivitätGitGlow ist ein Git-Client für den Desktop, der Ihren Code und die Änderungen Ihrer KI-Agenten in einer Review bündelt, damit Sie vor dem Ausliefern sehen, was die Maschine verlässt.