Nexa
Nexa AI (acquired by Qualcomm) · Programmation · Marketing
Nexa est un SDK d'IA embarquée open source qui fait tourner des LLM, des VLM et des modèles vocaux sur le NPU, le GPU ou le CPU d'un appareil Qualcomm, sans cloud ni facturation au token.
À propos de Nexa
What Is Nexa
Nexa est la gamme logicielle d'IA locale de Nexa AI, une jeune entreprise fondée par deux anciens de Stanford. L'équipe a d'abord créé la famille de petits modèles Octopus, puis a transformé ce travail de déploiement en Nexa SDK, une boîte à outils pour installer des modèles ouverts sur des téléphones, des ordinateurs portables et des cartes embarquées sans louer de GPU dans le cloud.
Le principe tient en une règle : solliciter le NPU d'abord, le GPU ensuite, le CPU en dernier. Cet ordre compte sur du matériel réel. Dans les mesures publiées par Qualcomm sur un Galaxy S25 Ultra, un petit modèle Granite atteint 92 tokens par seconde sur le NPU Hexagon contre 40 sur le CPU, avec une efficacité énergétique jusqu'à 9 fois meilleure.
Qualcomm a racheté Nexa AI en 2026. L'ancien domaine nexa.ai redirige désormais vers Qualcomm AI Hub, et le dépôt NexaAI/nexa-sdk redirige vers qualcomm/GenieX. Les projets bâtis sur Nexa SDK continuent avec GenieX, l'édition communautaire de Qualcomm GENIE, publiée sous licence BSD-3-Clause et disponible en aperçu développeur depuis juillet 2026.
La limite est matérielle. GenieX ne fonctionne que sur du silicium Snapdragon, donc sur des portables Windows on ARM, des téléphones Android Snapdragon et des cartes Linux ARM64. Un portable Intel, un Mac ou un iPhone ne peuvent pas l'exécuter.
Pour bien démarrer
- Installez la CLI sous Windows ARM64 depuis la page des releases GitHub, ou lancez le script d'installation en une ligne sous Linux ARM64.
- Téléchargez un modèle : un GGUF depuis Hugging Face, ModelScope ou Docker Hub, ou un paquet précompilé depuis Qualcomm AI Hub.
- Ouvrez une conversation avec geniex infer suivi du nom du modèle, ou lancez geniex serve pour exposer un endpoint compatible OpenAI sur le port 18181.
- Sur Android, ajoutez com.qualcomm.qti:geniex-android à votre build Gradle et partez de l'application d'exemple de qualcomm/ai-hub-apps.
Informations sur le produit
Aperçu des tarifs, des plateformes compatibles et des performances de Nexa.
Idéal pour
Les utilisateurs, tâches et cas d'usage où cet outil convient le mieux.
Utilisateurs
- Développeurs Android
- Propriétaires de portables Windows on ARM
- Ingénieurs edge et IoT
Tâches
- Mettre en ligne un assistant de chat hors connexion
- Faire tourner des modèles de vision sur un téléphone
- Remplacer un appel d'API cloud par un endpoint local
Cas d'usage
- Travail de terrain sans réseau fiable
- Données qui ne peuvent pas quitter l'appareil
- Tester sur du matériel Qualcomm avant de fabriquer le produit
Fonctionnalités clés
Inférence locale qui commence par le NPU
GenieX envoie le travail au NPU Hexagon quand le modèle et la puce le permettent, puis retombe sur le GPU Adreno ou le CPU. L'écart n'a rien de théorique : les chiffres publiés par Qualcomm montrent plus du double de tokens par seconde sur le NPU par rapport au CPU avec un petit modèle, et une consommation par token bien plus faible. Une boîte à outils IA embarquée sert d'abord à exécuter un LLM en local, et l'inférence sur l'appareil sans serveur dans la pièce résume ici le produit.
Deux moteurs derrière une seule commande
Le SDK embarque llama.cpp pour les fichiers GGUF et Qualcomm AI Engine Direct pour les paquets précompilés par puce. La voie llama.cpp répartit la charge entre NPU, GPU et CPU, ce qui laisse de la marge pour expérimenter. Celle d'AI Engine Direct va plus vite sur les puces compatibles, mais lie le modèle à un paquet construit pour ce silicium précis.
Des modèles tirés de quatre sources
La CLI accepte Hugging Face, ModelScope, Docker Hub et Qualcomm AI Hub, ce qui évite la séquence habituelle de téléchargement, conversion et quantification. Pour les fichiers GGUF, choisissez la précision Q4_0 si vous voulez la voie NPU, car les autres retombent sur des unités de calcul plus lentes.
Un serveur compatible OpenAI en local
Un moteur d'IA local s'adopte plus vite quand il parle un protocole que vous utilisez déjà. geniex serve expose un endpoint REST sur 127.0.0.1:18181 au même format chat completions qu'OpenAI, et toute bibliothèque cliente acceptant une URL de base personnalisée continue de fonctionner.
Une API Python calquée sur transformers
Le paquet Python reprend les appels from_pretrained et generate que connaissent les utilisateurs de Hugging Face, sortie en streaming comprise. Qui a déjà chargé un modèle en Python est productif en quelques minutes, et le même script tourne sur un portable comme sur une carte embarquée.
Des liaisons Kotlin et Java pour Android
L'artefact Android enveloppe le cœur en C pour les développeurs d'applications, et Qualcomm publie une application de chat d'exemple avec sélecteur de modèles pour GGUF et paquets AI Hub. Cet exemple couvre les parties ingrates : téléchargement du modèle, stockage et entrée d'image pour les modèles de vision.
Une image Docker pour les appareils Linux
Sous Linux ARM64, le conteneur embarque la CLI et les bibliothèques du moteur, donc l'appareil n'a besoin que de Docker pour exécuter des modèles. C'est la voie la plus courte sur du matériel industriel, où installer compilateurs et pilotes sur la machine elle-même pose problème.
Avantages et inconvénients
Avantages
- Gratuit et open source sous BSD-3-Clause, donc un produit commercial peut le distribuer sans payer par poste ni au token.
- Installation et téléchargement des modèles prennent quelques minutes, loin de la journée passée à chercher des pilotes sur du matériel embarqué.
- Le même moteur couvre Windows, Android et Linux, ce qui permet à un seul code de passer du portable au téléphone puis à la carte.
- Le serveur compatible OpenAI fait que le code de l'application fonctionne souvent après un simple changement d'URL de base.
Inconvénients
- Snapdragon uniquement. Pas d'Apple silicon, ni d'Intel ou AMD x86, ni d'iOS, ce qui exclut la plupart des portables grand public et tous les iPhone.
- Les paquets précompilés sont liés à une puce, donc changer de gamme Snapdragon oblige à retrouver ou recompiler le modèle.
- C'est encore un aperçu développeur, avec des interfaces et un empaquetage qui peuvent bouger d'une version à l'autre.
- La documentation s'appuie sur des exemples CLI et Python, ce qui laisse plus de travail à ceux qui passent par Android ou Docker.
Questions fréquentes
Nexa sert à exécuter des modèles d'IA directement sur un appareil plutôt que dans le cloud. On l'utilise pour des assistants de chat hors ligne, la compréhension d'images sur l'appareil, la transcription vocale et toute fonction où envoyer des données à un serveur est trop lent, trop cher ou tout simplement interdit.
Contenus associés
Découvrez des outils, des compétences et des articles liés à Nexa.
Alternatives à Nexa
Base Code
Base44 (Wix) · Programmation · ProductivitéBase Code est un environnement de développement cloud partagé signé Base44. Votre équipe décrit des modifications sur un dépôt GitHub dans le chat, les vérifie en aperçu et les renvoie sous forme de pull requests.
Google EmbeddingGemma 2
Google DeepMind · Rédaction · Image · ProgrammationGoogle EmbeddingGemma 2 est un modèle ouvert de 740 millions de paramètres qui transforme texte, code, images, audio et images vidéo en vecteurs d'un même espace de 768 dimensions, sur un téléphone ou un ordinateur portable.
GitGlow
GitGlow · Programmation · ProductivitéGitGlow est un client Git de bureau qui place votre code et les modifications de vos agents IA dans une même revue, pour savoir ce qui quitte votre machine avant de livrer.