NexaSDK for Mobile

SDK는 쓸 수 있는 프로세서에서 모델을 돌리고, 폰에 NPU가 있으면 그쪽에 기댄다. NPU는 AI 작업을 위해 만들어졌기 때문이다. Nexa AI에 따르면 소형 Granite 모델은 Snapdragon 8 Elite 폰의 NPU에서 초당 92 토큰을 냈고, CPU에서는 초당 40 토큰이었다. NPU에서는 에너지 효율이 최대 9배 좋다. 같은 작업에 전력을 덜 쓰는지는 기능을 켤지 끌지를 가르는 차이다.

NexaSDK for Mobile은 GGUF, MLX, Nexa AI 자체 .nexa 형식을 읽는다. 이 다양성은 모든 것을 직접 변환하는 대신 런타임이 알아듣는 형식으로 이미 존재하는 모델을 고를 여지를 준다. 양자화 모델은 폰에서 실용적인 선택이다. 메모리와 저장 공간이 빠듯하다.

런타임이 다루는 것은 텍스트만이 아니다. 비전과 오디오 모델을 지원하므로 앱은 같은 구성에서 사진을 읽고, 두 이미지를 비교하고, 녹음한 오디오를 다룬다. 여러 모달리티를 섞는 앱에게는 여러 번이 아니라 한 번의 통합이다.

SDK에는 OpenAI 인터페이스를 그대로 따른 API 서버가 들어 있다. JSON 스키마 함수 호출과 스트리밍도 포함한다. 이미 클라우드 모델과 통신하는 코드가 있다면 로컬 모델로 옮기는 일은 기기 위 서버를 가리키는 것으로 거의 끝난다. 클라우드와 온디바이스 AI를 저울질하는 팀에게 전환 비용을 낮춰 준다.

Qualcomm 통합은 Snapdragon 플랫폼의 Hexagon NPU, Adreno GPU, Oryon CPU를 겨냥하며 INT4와 INT8 같은 저정밀도 형식을 지원한다. 개발자는 기기마다 손으로 맞추는 대신 작업에 맞는 엔진을 고른다. Snapdragon NPU 추론이 Android 폰에서 값을 하는 지점이 여기다.

새로운 오픈 모델은 공개되는 대로 여러 하드웨어 백엔드에 추가된다. 최신 모델이 로컬로 돌기를 기다린다면 그 시점이 중요하다. 클라우드에서만 돌아가는 모델은 오프라인 앱에 도움이 안 된다.