BrowserAI

BrowserAI lädt Modelle direkt über WebGPU und WebAssembly in den Browser, die Inferenz läuft also auf der Hardware des Nutzers. Die Bibliothek bringt einsatzbereite Gewichte aus den Familien Llama, Qwen, Gemma, SmolLM2, Phi und DeepSeek mit, dazu Embedding-Modelle für die Suche. Sie rufen loadModel mit einem Namen und einer Quantisierungseinstellung auf, den Rest übernimmt die Bibliothek. Auf einem passenden Rechner kommen Antworten nahezu in nativer Geschwindigkeit zurück, weil die GPU die Hauptarbeit leistet.

Sprache ist ein Kernteil der Bibliothek, kein Zusatz. Ein Whisper-Modell transkribiert aufgenommenes Audio, und Kokoro verwandelt Text in einen abspielbaren Audiopuffer, mit Auswahl an Stimmen und Geschwindigkeit. Ein eingebauter Recorder nimmt das Mikrofon auf, Sie bauen also einen Sprachassistenten, ohne einen weiteren Dienst dazwischenzuschalten. Da beide lokal laufen, bleibt das Audio genauso auf dem Gerät wie der Text.

Statt Freitext zu parsen und auf das Beste zu hoffen, übergeben Sie ein JSON-Schema und fragen ein JSON-Objekt ab. Das Modell liefert Daten in dieser Form, die direkt in Ihre Anwendung passen. Das zählt bei Agenten und Formularen, wo eine fehlerhafte Antwort den Ablauf brechen würde. Das Ergebnis ist ein sauberes Objekt, das Sie prüfen und speichern können.

Die Bibliothek bindet Sie nicht an eine Laufzeitumgebung. Sie wechselt zwischen den Engines MLC, Transformers, Flare und Demucs, jede für eine andere Aufgabe geeignet. MLC und Flare decken die Textgenerierung über WebGPU und WASM ab, Transformers kümmert sich um Sprache und Stimme, Demucs trennt Audio in Spuren. Die API bleibt über sie hinweg gleich, ein Wechsel der Engine erfordert also kein Umschreiben des Codes.

Ein Modell kann einen Tab einfrieren, wenn es den Hauptthread blockiert, und BrowserAI vermeidet das, indem die Inferenz in einem Web Worker läuft. Die Oberfläche bleibt reaktionsfähig, während das Modell rechnet, und die Ausgabe kommt Token für Token, sodass der Nutzer Fortschritt sieht. Ein Web Worker plus Streaming macht aus einem schweren lokalen Modell etwas, das sich wie eine gewöhnliche Web-App anfühlt.

BrowserAI enthält eine Datenbank im Browser auf Basis von IndexedDB und SQLite, die Gespräche, Embeddings und zwischengespeicherte Modelldateien hält. Dieser Speicher sorgt dafür, dass die Seite nach dem ersten Download weiterläuft, auch ohne Internet. In einer Chat-App übersteht der Verlauf ein Neuladen, ohne Server zum Abgleichen.