Nexa
Nexa AI (acquired by Qualcomm) · 程式設計 · 行銷
Nexa 是開源的裝置端 AI 開發套件，讓 LLM、VLM 與語音模型直接跑在高通裝置的 NPU、GPU 或 CPU 上，不需要雲端，也沒有按 token 計費。
關於 Nexa
What Is Nexa
Nexa 是 Nexa AI 的裝置端 AI 軟體產品線，這家新創由兩位史丹佛校友創辦。團隊先做出 Octopus 系列的小型語言模型，接著把部署經驗整理成 Nexa SDK，一套讓開源模型進到手機、筆電與邊緣運算板卡的工具包，不必租雲端 GPU。
它的主張是一套邊緣運算 AI 工具包，規則很清楚：先用 NPU，再用 GPU，最後才輪到 CPU。這個順序在真實硬體上有差別。高通在 Galaxy S25 Ultra 上公布的測試中，小型 Granite 模型在 Hexagon NPU 上跑到每秒 92 個 token，CPU 只有每秒 40 個，能源效率最多好上 9 倍。
高通在 2026 年收購 Nexa AI。原本的 nexa.ai 網域現在導向 Qualcomm AI Hub，NexaAI/nexa-sdk 儲存庫則導向 qualcomm/GenieX。既有的 Nexa SDK 專案由 GenieX 延續，它是 Qualcomm GENIE 的社群版本，以 BSD-3-Clause 授權釋出，並在 2026 年 7 月推出開發者預覽版。
限制在硬體。GenieX 只跑在高通 Snapdragon 晶片上，也就是 Windows on ARM 筆電、Snapdragon 的 Android 手機與 Linux ARM64 板卡。Intel 筆電、Mac 或 iPhone 都無法執行。
開始使用
- 在 Windows ARM64 上從 GitHub releases 頁面安裝命令列工具，或在 Linux ARM64 執行單行安裝腳本。
- 下載模型：可從 Hugging Face、ModelScope 或 Docker Hub 取得 GGUF 檔，或用 Qualcomm AI Hub 預先編譯好的封裝。
- 用 geniex infer 加上模型名稱開啟對話，或執行 geniex serve，在 18181 埠開出相容於 OpenAI 的端點。
- 在 Android 上把 com.qualcomm.qti:geniex-android 加進 Gradle 設定，再以 qualcomm/ai-hub-apps 的範例對話 App 作為起點。
產品資訊
快速了解 Nexa 的定價、支援平台與效能。
適合對象
這項工具最適合的使用者、任務與情境。
使用者
- Android 開發者：Kotlin 與 Java 綁定讓你不用寫 C 就能把模型放進 App，不過想要可用的速度，最好搭配 Snapdragon 8 系列手機。
- Windows on ARM 使用者：Snapdragon X 筆電會變成一台本機推論主機，對話與影像模型都能跑，不需要雲端帳號。
- 邊緣運算與 IoT 工程師：Linux ARM64 這條路針對 Dragonwing 板卡，因此 kiosk、攝影機與機器人都能離線執行模型。
任務
- 推出離線對話助理：一行指令就能下載權重並在終端機開對話，很適合在建立介面之前先驗證模型表現。
- 在手機上跑影像模型：VLM 支援圖片輸入，照片分類或畫面描述都不必把檔案上傳到伺服器。
- 把雲端 API 呼叫換成本機端點：內建的 OpenAI 相容伺服器讓既有用戶端程式碼在換掉 base URL 後照常運作。
情境
- 沒有穩定網路的現場工作：巡檢人員與外送員直接從裝置取得回應，訊號中斷不會讓工具停擺。
- 資料不能離開裝置：病歷註記、法律草稿與內部文件都留在本機儲存空間，因為推論過程從不離開機器。
- 在量產前先在高通硬體上打樣：團隊可以在實際晶片上測模型，不必靠桌機 GPU 的結果推測。
主要功能
以 NPU 優先的本機推論
當模型與晶片支援時，GenieX 會把運算送到 Hexagon NPU，不支援才退回 Adreno GPU 或 CPU。差距不是理論值：高通公布的數據顯示，同樣的小模型在 NPU 上的 token 速率是 CPU 的兩倍以上，每個 token 的耗電也低得多。如果你的目標是在現場沒有伺服器的情況下跑 LLM，這樣的分配方式就是整個產品的核心。
一個指令背後有兩套執行引擎
套件同時包含處理 GGUF 檔的 llama.cpp，以及處理各晶片封裝的 Qualcomm AI Engine Direct。llama.cpp 這條路會把工作分給 NPU、GPU 與 CPU，實驗空間比較大。AI Engine Direct 在支援的晶片上更快，但模型會綁在專為該晶片建置的封裝上。
四種模型來源
命令列工具接受 Hugging Face、ModelScope、Docker Hub 與 Qualcomm AI Hub，省掉下載、轉檔、量化那一輪固定流程。用 GGUF 檔時，想走 NPU 就選 Q4_0 精度，其他精度會落到較慢的運算單元。
本機的 OpenAI 相容伺服器
一套本機 AI 執行環境如果講的是你已經在用的協定，導入速度會快很多。geniex serve 在 127.0.0.1:18181 開出 REST 端點，格式與 OpenAI 的 chat completions 相同，任何可以自訂 base URL 的用戶端函式庫都能直接運作。
仿 transformers 的 Python API
Python 套件重現 Hugging Face 使用者熟悉的 from_pretrained 與 generate 呼叫，也支援串流輸出。用 Python 載入過模型的人幾分鐘就能上手，同一份腳本在筆電或邊緣板卡都能跑。
Android 的 Kotlin 與 Java 綁定
Android 套件把 C 核心包給 App 開發者使用，高通也釋出範例對話 App，裡面有 GGUF 與 AI Hub 封裝的模型選擇器。範例處理了下載、儲存與影像模型輸入這些麻煩環節。
Linux 裝置用的 Docker 映像
在 Linux ARM64 上，容器已包含命令列工具與執行函式庫，裝置只要有 Docker 就能跑模型。對工業硬體來說這是最短的路，畢竟在機器上安裝編譯器與驅動程式很折騰。
優缺點
優點
- 以 BSD-3-Clause 開源免費釋出，商業產品可以直接搭載，不必付授權費或 token 費。
- 安裝與下載模型只要幾分鐘，比在嵌入式硬體上找驅動程式耗掉一整天好太多。
- 同一套執行環境涵蓋 Windows、Android 與 Linux，一份程式碼能從筆電走到手機與板卡。
- OpenAI 相容伺服器讓既有 App 程式碼通常只要改 base URL 就能繼續用。
缺點
- 只支援 Snapdragon。沒有 Apple 晶片、沒有 Intel 或 AMD x86、也沒有 iOS，等於排除多數消費級筆電與所有 iPhone。
- 預先編譯封裝綁定單一晶片，換到另一個 Snapdragon 等級就得重新找模型或自行編譯。
- 目前是開發者預覽版，介面與封裝方式在版本之間仍可能變動。
- 文件以命令列與 Python 範例為主，走 Android 或 Docker 的人要自己補更多細節。
常見問題
Nexa 用來在裝置上直接執行 AI 模型，而不是送到雲端。常見用途包括離線對話助理、裝置端的影像理解、語音轉錄，以及任何把資料送到伺服器會太慢、太貴或根本不被允許的功能。
相關內容
探索與 Nexa 相關的工具、技能與文章。
Nexa 替代方案
Base Code
Base44 (Wix) · 程式設計 · 生產力Base Code 是 Base44 推出的共享雲端開發環境。團隊在對話中描述對既有 GitHub 儲存庫的修改，看著預覽確認結果，再以 Pull Request 交回工程團隊。
Google EmbeddingGemma 2
Google DeepMind · 寫作 · 圖片 · 程式設計Google EmbeddingGemma 2 是 7.4 億參數的開源模型，能把文字、程式碼、圖片、音訊與影片畫面轉成同一個 768 維空間裡的向量，在手機與筆電上就能執行。
GitGlow
GitGlow · 程式設計 · 生產力GitGlow 是桌面版 Git 用戶端，把你自己的程式碼與 AI 代理程式的變更集中在同一份審查裡，讓你在交付前看清楚機器上究竟要送出什麼。