Nexa SDK
Nexa AI · Programación
Nexa SDK es un framework de inferencia de IA en el dispositivo de código abierto de Nexa AI que ejecuta modelos de texto, imagen y audio directamente en tu hardware, no en la nube. Admite backends de CPU, GPU y NPU en Windows, macOS, Linux, Android e iOS, y trae un servidor de API compatible con OpenAI para que las apps existentes apunten a él con muy pocos cambios de código. Piénsalo como un framework de IA local. Los desarrolladores lo eligen cuando necesitan inferencia de IA local que siga siendo rápida, funcione sin conexión y mantenga los datos del usuario en el dispositivo.
Acerca de Nexa SDK
Qué es Nexa SDK
Nexa SDK es un framework de inferencia creado por Nexa AI, un equipo de Silicon Valley que ahora trabaja codo con codo con Qualcomm en IA de borde. La idea es sencilla. En lugar de mandar cada prompt a un servidor remoto, ejecutas el modelo en el teléfono, el portátil o la placa IoT que tienes delante.
Ese enfoque resuelve tres problemas que aparecen una y otra vez en los despliegues de borde. Las llamadas a la nube necesitan una conexión estable, así que los dispositivos sin conexión se quedan colgados. Los datos sensibles salen del dispositivo, lo que descarta un montón de casos de uso en salud, finanzas y empresa. Y la latencia de ida y vuelta complica el trabajo en tiempo real, como la transcripción en vivo.
El precio a pagar es el hardware. Nexa SDK saca su velocidad de la aceleración, y las mayores ganancias vienen de una NPU, que muchos dispositivos antiguos no tienen. Solo con CPU, los modelos grandes van más lentos, y la memoria local limita el tamaño del modelo que puedes cargar. ¿Significa eso que los teléfonos viejos quedan fuera? No exactamente. Solo tienes que dimensionar el modelo al dispositivo. Si tu objetivo es un Snapdragon reciente, un Apple Silicon o un AI PC con Intel/AMD, verás el framework en su mejor versión.
Primeros pasos
- Instala la CLI. En Windows ARM64 usa el instalador, en macOS el pkg y en Linux el script de instalación de una línea.
- Descarga un modelo de Hugging Face. Los formatos GGUF, MLX y el propio .nexa de Nexa AI funcionan, y puedes empezar con algo pequeño como una build GGUF de Qwen3.
- Ejecútalo en local con un solo comando, por ejemplo
nexa inferseguido del nombre del repositorio del modelo. - Elige tu backend (NPU, GPU o CPU) según lo que tenga el dispositivo y prueba el rendimiento antes de publicar.
- Apunta tu app al servidor compatible con OpenAI que viene incluido si ya tienes código escrito contra esa API.
Información del producto
Un vistazo rápido a los precios, las plataformas compatibles y el rendimiento de Nexa SDK.
Ideal para
Los usuarios, tareas y casos de uso en los que esta herramienta encaja mejor.
Usuarios
- Desarrolladores móviles y de borde
- Equipos centrados en la privacidad
- Aficionados e investigadores de IA
Tareas
- Chat y generación en local
- Razonamiento multimodal
- Voz y transcripción
- Llamada a funciones en agentes
Casos de uso
- Crear una función de IA sin conexión
- Recortar costes de inferencia en la nube
- Despliegue en automoción e IoT
Funciones clave
Varios formatos de modelo en un solo runtime
Nexa SDK lee GGUF, MLX y el propio formato .nexa de Nexa AI, así que no quedas atado a una única fuente de modelos. GGUF funciona en Windows, Linux y macOS, mientras que MLX apunta a Apple Silicon. Esa flexibilidad significa que puedes descargar casi cualquier modelo reciente de Hugging Face y ejecutarlo sin buscar una build especial.
Aceleración con la NPU como prioridad
El framework trata la NPU como motor principal y recurre a la GPU o la CPU cuando hace falta. En hardware Qualcomm, las propias pruebas de Nexa AI muestran un modelo Granite pequeño alcanzando 92 tokens por segundo en la NPU frente a 40 en la CPU, con hasta 9 veces mejor eficiencia energética. Es una diferencia enorme. Se nota en respuestas más rápidas y más batería en los dispositivos que la gente lleva de verdad.
Servidor de API compatible con OpenAI
El SDK incluye un servidor que habla la API de OpenAI, con streaming y llamada a funciones basada en esquemas JSON. Si ya construiste contra esa interfaz, puedes redirigir tu app al servidor local y conservar casi todo tu código. Es el camino más corto de la inferencia en la nube a la inferencia en el dispositivo. Sin reescribir nada.
Soporte de modelos desde el día 0
Los modelos abiertos nuevos llegan al framework poco después de su lanzamiento, no un año después, que es una brecha conocida en muchas cadenas de herramientas NPU. Nexa AI cura su propia colección para obtener los mejores resultados, y el modelo OmniNeural-4B del equipo se creó específicamente para manejar texto, imágenes y audio en NPUs.
Cobertura multiplataforma y multibackend
Una sola base de código llega a Windows ARM64, macOS, Linux ARM64, Android e iOS, con backends CUDA, Metal, Vulkan y NPU de Qualcomm. Sin runtime separado por cada fabricante de chip. Los desarrolladores eligen un backend y mantienen el mismo código de inferencia entre dispositivos.
Soporte multimodal y de voz
Más allá de los LLM de texto, el SDK cubre modelos de visión y lenguaje, reconocimiento automático de voz, texto a voz y embeddings. La CLI incluso tiene un modo /mic para transcribir voz en vivo en el terminal. Útil para pruebas rápidas. Puedes probar una función antes de conectarla a una app.
Ventajas y desventajas
Ventajas
- Se ejecuta por completo en el dispositivo, así que los prompts y el contenido multimedia nunca salen del hardware.
- Un solo runtime abarca Windows, macOS, Linux, Android e iOS con backends NPU, GPU y CPU.
- El servidor compatible con OpenAI deja que las apps basadas en la nube cambien con cambios mínimos.
- Gratis y de código abierto, sin coste por token una vez el modelo está en local.
- Fuerte soporte de NPU en hardware Qualcomm, donde las ganancias de eficiencia son mayores.
Desventajas
- El mejor rendimiento depende de una NPU, así que los dispositivos antiguos o económicos recurren a una inferencia de CPU más lenta.
- La memoria local limita el tamaño del modelo, o sea que los modelos más grandes no caben en teléfonos ni en placas de borde pequeñas.
- La configuración tira a técnica. Dar con el backend y el formato de modelo correctos requiere algo de prueba y error.
Preguntas frecuentes
Sirve para ejecutar modelos de IA en local en teléfonos, PCs, coches y dispositivos IoT en lugar de en la nube. Los desarrolladores lo usan para chat sin conexión, voz en el dispositivo, comprensión de imágenes y cualquier función donde la privacidad o la latencia importen.
Contenido relacionado
Explora herramientas, habilidades y artículos relacionados con Nexa SDK.
Alternativas a Nexa SDK
Base Code
Base44 (Wix) · Programación · ProductividadBase Code es un entorno de desarrollo en la nube compartido de Base44. El equipo describe cambios sobre un repositorio de GitHub en el chat, los ve en una vista previa y los envía como pull requests.
Google EmbeddingGemma 2
Google DeepMind · Escritura · Imagen · ProgramaciónGoogle EmbeddingGemma 2 es un modelo abierto de 740 millones de parámetros que convierte texto, código, imágenes, audio y fotogramas de vídeo en vectores de un mismo espacio de 768 dimensiones, y funciona en móviles y portátiles.
GitGlow
GitGlow · Programación · ProductividadGitGlow es un cliente Git de escritorio que reúne tu código y los cambios de tus agentes de IA en una sola revisión, para que sepas qué va a salir de tu máquina antes de publicarlo.