Nexa

모델과 칩이 받쳐주면 GenieX는 연산을 Hexagon NPU로 보내고, 안 되면 Adreno GPU나 CPU로 내린다. 차이는 이론이 아니다. 퀄컴이 공개한 수치를 보면 소형 모델에서 NPU의 토큰 생성 속도가 CPU의 두 배를 넘고, 토큰당 전력 소모는 크게 낮다. 서버 없이 LLM 로컬 실행이 목적이라면 이 배분이 온디바이스 추론의 핵심이다.

SDK에는 GGUF 파일용 llama.cpp와 칩셋별 사전 빌드 번들용 Qualcomm AI Engine Direct가 함께 들어 있다. llama.cpp 경로는 NPU·GPU·CPU에 작업을 나누므로 실험 여지가 크다. AI Engine Direct는 지원 칩에서 더 빠르지만, 해당 실리콘 전용으로 만든 번들에 모델이 묶인다.

CLI는 Hugging Face, ModelScope, Docker Hub, Qualcomm AI Hub를 모두 받아들이므로 내려받고 변환하고 양자화하는 일상 절차를 건너뛸 수 있다. GGUF 파일로 NPU 경로를 쓰려면 정밀도는 Q4_0을 고른다. 다른 정밀도는 느린 연산 장치로 밀린다.

로컬 AI 런타임은 이미 쓰던 프로토콜을 지원할 때 도입이 빠르다. geniex serve는 127.0.0.1:18181에 REST 엔드포인트를 열고, OpenAI의 chat completions와 같은 형식으로 응답한다. base URL을 지정할 수 있는 클라이언트 라이브러리라면 수정 없이 붙는다.

Python 패키지는 Hugging Face 사용자에게 익숙한 from_pretrained와 generate 호출을 그대로 재현하고 스트리밍 출력도 지원한다. Python에서 모델을 읽어본 사람이라면 몇 분 만에 쓸 수 있고, 같은 스크립트가 노트북과 엣지 보드에서 모두 돈다.

안드로이드 아티팩트는 C 코어를 앱 개발자용으로 감싼 것이고, 퀄컴은 GGUF와 AI Hub 번들을 모두 고를 수 있는 샘플 채팅 앱도 공개했다. 모델 다운로드와 저장, 비전 모델용 이미지 입력 같은 번거로운 부분을 이 샘플이 처리한다.

Linux ARM64에서는 컨테이너에 CLI와 런타임 라이브러리가 들어 있어 기기에 Docker만 있으면 모델이 돈다. 컴파일러와 드라이버를 장비에 직접 설치하기 번거로운 산업용 하드웨어에서 가장 짧은 길이다.