Nexa

GenieX manda el trabajo a la NPU Hexagon cuando el modelo y el chip lo permiten, y baja a la GPU Adreno o a la CPU si hace falta. La diferencia no es teórica: los números publicados por Qualcomm muestran más del doble de tokens por segundo en la NPU frente a la CPU con un modelo pequeño, y un consumo por token mucho menor. La inferencia en el dispositivo es aquí todo el producto, y quien quiera ejecutar LLM en local sin servidor en la sala encuentra ese mismo reparto.

El SDK incluye llama.cpp para archivos GGUF y Qualcomm AI Engine Direct para paquetes precompilados por chipset. La ruta de llama.cpp reparte el trabajo entre NPU, GPU y CPU, lo que deja margen para experimentar. La de AI Engine Direct va más rápido en los chips compatibles, pero ata el modelo a un paquete construido para ese silicio exacto.

La CLI acepta Hugging Face, ModelScope, Docker Hub y Qualcomm AI Hub, así que te ahorras la ronda habitual de descargar, convertir y cuantizar. Con archivos GGUF, elige la precisión Q4_0 si quieres la ruta de NPU, porque otras precisiones acaban en unidades de cálculo más lentas.

Un entorno de IA local se adopta antes cuando habla un protocolo que ya usas. geniex serve expone un endpoint REST en 127.0.0.1:18181 con el mismo formato de chat completions que OpenAI, y cualquier librería cliente que acepte una URL base propia sigue funcionando.

El paquete de Python imita las llamadas from_pretrained y generate que ya conoce quien usa Hugging Face, incluida la salida en streaming. Quien haya cargado un modelo en Python se pone a trabajar en minutos, y el mismo script vale en un portátil o en una placa edge.

El artefacto de Android envuelve el núcleo en C para quien desarrolla apps, y Qualcomm publica una app de chat de ejemplo con selector de modelos para GGUF y paquetes de AI Hub. Esa muestra cubre las partes incómodas: descarga del modelo, almacenamiento y entrada de imágenes para modelos de visión.

En Linux ARM64 el contenedor incluye la CLI y las librerías del motor, así que el dispositivo solo necesita Docker para ejecutar modelos. Es la vía más corta en hardware industrial, donde instalar compiladores y controladores en la propia máquina es un problema.