Nexa
Nexa AI (acquired by Qualcomm) · Coding · Marketing
Nexa ist ein Open-Source-SDK für KI auf dem Gerät. Es führt LLMs, VLMs und Sprachmodelle lokal auf NPU, GPU oder CPU eines Qualcomm-Geräts aus, ohne Cloud und ohne Abrechnung pro Token.
Über Nexa
What Is Nexa
Nexa ist die Softwarelinie für lokale KI von Nexa AI, einem Startup zweier Stanford-Absolventen. Das Team baute zuerst die kleinen Octopus-Modelle und packte die Arbeit am Deployment später in das Nexa SDK, ein Toolkit, das offene Modelle auf Handys, Notebooks und Edge-Boards bringt, ohne gemietete Cloud-GPUs.
Die Grundidee ist ein Edge-KI-Toolkit mit einer klaren Regel: zuerst die NPU, dann die GPU, zuletzt die CPU. Diese Reihenfolge zählt auf echter Hardware. In Qualcomms Messungen auf einem Galaxy S25 Ultra erreichte ein kleines Granite-Modell 92 Token pro Sekunde auf der Hexagon-NPU gegenüber 40 Token pro Sekunde auf der CPU, bei bis zu 9-fach besserer Energieeffizienz.
Qualcomm hat Nexa AI im Jahr 2026 übernommen. Die alte Domain nexa.ai leitet heute auf den Qualcomm AI Hub weiter, und das Repository NexaAI/nexa-sdk zeigt auf qualcomm/GenieX. Bestehende Nexa-SDK-Projekte laufen in GenieX weiter, der Community-Ausgabe von Qualcomm GENIE, die unter BSD-3-Clause erscheint und seit Juli 2026 als Developer Preview verfügbar ist.
Die Grenze liegt in der Hardware. GenieX läuft nur auf Snapdragon-Chips, also auf Windows-on-ARM-Notebooks, Snapdragon-Android-Handys und Linux-ARM64-Boards. Ein Intel-Notebook, ein Mac oder ein iPhone laufen damit nicht.
Erste Schritte
- Installieren Sie die CLI unter Windows ARM64 über die Release-Seite auf GitHub oder starten Sie das Ein-Zeilen-Skript unter Linux ARM64.
- Laden Sie ein Modell: entweder einen GGUF-Build von Hugging Face, ModelScope oder Docker Hub oder ein vorkompiliertes Paket aus dem Qualcomm AI Hub.
- Starten Sie einen Chat mit geniex infer und dem Modellnamen oder rufen Sie geniex serve auf, um einen OpenAI-kompatiblen Endpunkt auf Port 18181 bereitzustellen.
- Unter Android fügen Sie com.qualcomm.qti:geniex-android zum Gradle-Build hinzu und nutzen die Beispiel-Chat-App in qualcomm/ai-hub-apps als Ausgangspunkt.
Produktinformationen
Ein kurzer Überblick über Preise, unterstützte Plattformen und die Leistung von Nexa.
Am besten für
Die Nutzer, Aufgaben und Szenarien, für die dieses Tool am besten passt.
Nutzer
- Android-Entwickler
- Besitzer von Windows-on-ARM-Notebooks
- Edge- und IoT-Ingenieure
Aufgaben
- Einen Offline-Chatassistenten ausliefern
- Bildmodelle auf dem Handy nutzen
- Einen Cloud-API-Aufruf durch einen lokalen Endpunkt ersetzen
Szenarien
- Außendienst ohne verlässliches Netz
- Daten, die das Gerät nicht verlassen dürfen
- Prototypen auf Qualcomm-Hardware vor dem Produktaufbau
Wichtigste Funktionen
Lokale Inferenz mit der NPU zuerst
GenieX schickt die Arbeit an die Hexagon-NPU, wenn Modell und Chip das zulassen, und fällt sonst auf die Adreno-GPU oder die CPU zurück. Der Unterschied ist nicht theoretisch: Qualcomms veröffentlichte Zahlen zeigen mehr als die doppelte Token-Rate auf der NPU gegenüber der CPU bei einem kleinen Modell und deutlich weniger Energie pro Token. Inferenz auf dem Gerät ist hier der ganze Zweck, und wer ein LLM lokal ausführen will, ohne Server im Raum, bekommt genau diese Verteilung.
Zwei Laufzeiten hinter einem Befehl
Das SDK enthält llama.cpp für GGUF-Dateien und Qualcomm AI Engine Direct für vorkompilierte Pakete pro Chipsatz. Der llama.cpp-Pfad verteilt die Last auf NPU, GPU und CPU und lässt damit Raum zum Ausprobieren. Der Weg über AI Engine Direct ist auf passenden Chips schneller, bindet das Modell aber an ein Paket, das für genau diesen Chip gebaut wurde.
Modelle aus vier Quellen
Die CLI akzeptiert Hugging Face, ModelScope, Docker Hub und den Qualcomm AI Hub, womit die übliche Runde aus Herunterladen, Konvertieren und Quantisieren entfällt. Bei GGUF-Dateien wählen Sie die Präzision Q4_0, wenn Sie den NPU-Pfad wollen, weil andere Präzisionen auf langsameren Recheneinheiten landen.
OpenAI-kompatibler Server auf localhost
Eine lokale KI-Laufzeit wird schneller übernommen, wenn sie ein Protokoll spricht, das Sie ohnehin nutzen. geniex serve stellt einen REST-Endpunkt auf 127.0.0.1:18181 im selben Chat-Completions-Format wie OpenAI bereit, und jede Client-Bibliothek mit eigener Basis-URL läuft unverändert weiter.
Python-API im Stil von transformers
Das Python-Paket bildet die Aufrufe from_pretrained und generate nach, die Hugging-Face-Nutzer kennen, inklusive Streaming-Ausgabe. Wer schon einmal ein Modell in Python geladen hat, ist in wenigen Minuten produktiv, und dasselbe Skript läuft auf dem Notebook wie auf dem Edge-Board.
Bindings für Kotlin und Java unter Android
Das Android-Artefakt legt den C-Kern für App-Entwickler zugänglich aus, und Qualcomm veröffentlicht eine Beispiel-Chat-App mit Modellauswahl für GGUF und AI-Hub-Pakete. Dieses Beispiel deckt die unangenehmen Teile ab: Modell-Download, Speicherung und Bildeingabe für Bildmodelle.
Docker-Image für Linux-Geräte
Unter Linux ARM64 enthält der Container die CLI und die Laufzeitbibliotheken, das Gerät braucht also nur Docker, um Modelle auszuführen. Für Industriehardware ist das der kürzeste Weg, weil Compiler und Treiber dann nicht auf dem Gerät installiert werden müssen.
Vor- und Nachteile
Vorteile
- Kostenlos und Open Source unter BSD-3-Clause, ein kommerzielles Produkt darf es also ohne Gebühr pro Arbeitsplatz oder Token ausliefern.
- Installation und Modell-Download dauern Minuten statt eines Arbeitstags voller Treibersuche auf Embedded-Hardware.
- Dieselbe Laufzeit deckt Windows, Android und Linux ab, ein Codebestand wandert also vom Notebook über das Handy zum Board.
- Der OpenAI-kompatible Server sorgt dafür, dass bestehender App-Code nach dem Tausch der Basis-URL meist weiterläuft.
Nachteile
- Nur Snapdragon. Kein Apple Silicon, kein Intel oder AMD x86, kein iOS, womit die meisten Consumer-Notebooks und jedes iPhone herausfallen.
- Vorkompilierte Pakete hängen an einem Chipsatz, ein Wechsel der Snapdragon-Reihe bedeutet also, das Modell neu zu suchen oder neu zu bauen.
- Es ist eine Developer Preview, Schnittstellen und Paketierung können sich zwischen Versionen ändern.
- Die Dokumentation stützt sich auf CLI- und Python-Beispiele, bei Android oder Docker bleiben mehr Lücken zum Selbstfüllen.
Häufige Fragen
Nexa führt KI-Modelle direkt auf einem Gerät aus statt in der Cloud. Genutzt wird es für Offline-Chatassistenten, Bildverständnis auf dem Gerät, Spracherkennung und alle Funktionen, bei denen der Weg zu einem Server zu langsam, zu teuer oder schlicht nicht erlaubt ist.
Ähnliche Inhalte
Entdecke passende Tools, Skills und Artikel zu Nexa.
Alternativen zu Nexa
Base Code
Base44 (Wix) · Coding · ProduktivitätBase Code ist eine geteilte Cloud-Entwicklungsumgebung von Base44. Das Team beschreibt Änderungen an einem bestehenden GitHub-Repository im Chat, prüft sie in der Vorschau und reicht sie als Pull Request ein.
Google EmbeddingGemma 2
Google DeepMind · Schreiben · Bilder · CodingGoogle EmbeddingGemma 2 ist ein offenes Modell mit 740 Millionen Parametern, das Text, Code, Bilder, Audio und Videobilder in Vektoren eines gemeinsamen 768-dimensionalen Raums umwandelt und auf Handys und Notebooks läuft.
GitGlow
GitGlow · Coding · ProduktivitätGitGlow ist ein Git-Client für den Desktop, der Ihren Code und die Änderungen Ihrer KI-Agenten in einer Review bündelt, damit Sie vor dem Ausliefern sehen, was die Maschine verlässt.