NexaSDK for Mobile
Nexa AI (acquired by Qualcomm) · 程式設計 · 其他
NexaSDK for Mobile 是一套開發工具包，直接在手機上執行 AI 模型，而不是在雲端伺服器上執行。它處理文字、影像與音訊模型，橫跨 Android 與 iOS 的 NPU、GPU 與 CPU 硬體，因此應用程式可以回答提示、轉錄語音或讀取影像，不必來回網路一趟。這套 SDK 免費且開源，對於想在裝置端做 AI 推論、又不想從零打造執行環境的團隊來說，是個實用的起點。
關於 NexaSDK for Mobile
NexaSDK for Mobile 是什麼
NexaSDK for Mobile 是 Nexa AI 推出的裝置端 AI 推論 SDK，這家公司於 2025 年被 Qualcomm 收購。它為應用程式開發者提供單一執行環境來跑本機 AI 模型，因此不必為手機裡的每一顆晶片分別撰寫加速程式碼。
訴求很簡單。雲端 AI 建置快，但回應慢、需要連線，還會把使用者資料送往別人的伺服器。在裝置上執行模型能一次解決這三點，而 SDK 負責最麻煩的部分：挑選正確的處理器，並讓推論保持高效。更少程式碼，更少意外。
最大的問題在硬體。效能提升最明顯的是 NPU，而這些效益取決於你是否有搭載受支援精度格式的新款 Snapdragon 晶片。在較舊或中階手機上，SDK 會退回使用 CPU 或 GPU。小模型在那裡仍能運作。大型語言模型則在速度與耗電上吃緊。它也是一款開發者工具，所以終端使用者從不直接接觸它。他們只會感受到應用程式回應是否夠快、會不會吃掉電池。
開始使用
- 從 Nexa AI 的 GitHub 儲存庫取得 SDK，或透過應用程式平台的套件管理器安裝。
- 挑選執行環境支援的模型格式，例如 GGUF、MLX 或 Nexa AI 自家的 .nexa 格式，並下載一個放得進手機記憶體的模型。
- 選擇推論用的運算引擎：想要速度與效率就選 NPU，想要涵蓋更多裝置就選 CPU 與 GPU。
- 透過 SDK 隨附、相容於 OpenAI 的 API 伺服器，把模型接進你的應用程式。
- 在真實裝置上測試，並在發布前留意記憶體與電池用量，因為桌機上的結果不會直接套用到手機。
產品資訊
快速了解 NexaSDK for Mobile 的定價、支援平台與效能。
適合對象
這項工具最適合的使用者、任務與情境。
使用者
- Android 與 iOS 開發者：如果你正在打造需要本機 AI 的應用程式，想要單一執行環境而不是逐晶片的程式碼，這最合適，前提是你有真實硬體可測試。
- 有隱私或離線需求的團隊：當使用者資料不能離開手機，或應用程式必須在沒有連線時運作，這就派得上用場。
- 原型開發者：在投入完整開發前先用手機試跑模型很方便，因為設定只要幾行程式碼。
任務
- 離線執行小型語言模型：像 Octopus 或 Granite 等級的輕巧模型，可以在裝置上回答提示，不需要伺服器。
- 語音轉錄：音訊模型在本機執行，所以語音留在手機上。
- 影像與視覺任務：讀取照片或處理多圖提示都能運作，不必上傳任何東西。
- 函式呼叫：內建的 API 伺服器支援以 JSON schema 為基礎的呼叫，適合代理風格的應用程式功能。
情境
- 把對話留在裝置上的筆記或聊天應用程式：本機 AI 推論意味著沒有提示會離開手機。
- 訊號不穩的現場工作：在沒有可靠連線時仍能回答問題的應用程式。
- 重視電池的功能：把工作交給 NPU，比同一個模型跑在 CPU 上更省電。
主要功能
橫跨 NPU、GPU 與 CPU 的單一執行環境
SDK 會在當下可用的處理器上執行模型，手機有 NPU 時就倚重它。這很重要，因為 NPU 就是為 AI 工作打造的。根據 Nexa AI 的說法，一款小型 Granite 模型在 Snapdragon 8 Elite 手機的 NPU 上達到每秒 92 個 token，對比 CPU 上的每秒 40 個 token，NPU 的能源效率最高好上 9 倍。同樣的任務用更少電力，就是一個功能你是開啟還是關掉的差別。
多種模型格式
NexaSDK for Mobile 可讀取 GGUF、MLX 與 Nexa AI 自家的 .nexa 格式。這種多樣性讓你有余地挑一個已存在、且執行環境看得懂的格式，而不必自己轉換全部。量化模型在手機上是實務首選。記憶體與儲存空間都很吃緊。
涵蓋文字、影像與音訊
執行環境處理的不只是文字。它支援視覺與音訊模型，所以應用程式能在同一套設定中讀取照片、比較兩張圖片，或處理錄下的音訊。對混合多種模態的應用程式來說，這是一套整合，而不是好幾套。
相容於 OpenAI 的 API 伺服器
SDK 隨附一個對應 OpenAI 介面的 API 伺服器，包括以 JSON schema 進行的函式呼叫與串流。如果你的程式碼已經在跟雲端模型對話，搬到本機模型大致上就只是把它指向裝置上的伺服器。對在雲端與裝置端 AI 之間權衡的團隊來說，這降低了轉換成本。
Snapdragon 上的硬體加速
Qualcomm 的整合瞄準 Snapdragon 平台上的 Hexagon NPU、Adreno GPU 與 Oryon CPU，並支援 INT4 與 INT8 等低精度格式。開發者挑選適合任務的引擎，而不是逐一為每台裝置手動調校。Snapdragon NPU 推論在 Android 手機上的價值就在這裡。
首日模型支援
新的開源模型一發布就會加入，橫跨不同的硬體後端。如果你正等一個新模型在本機執行，這個時程很重要，因為只能在雲端執行的模型幫不了離線應用程式。
優缺點
優點
- 免費且開源，試用沒有授權成本。
- 單一執行環境涵蓋 NPU、GPU 與 CPU，減少針對個別裝置的工作。
- NPU 上有實質的效率提升，並有公開的速度與功耗數據。
- 相容於 OpenAI 的伺服器，讓既有雲端程式碼更容易搬到本機模型。
- 在一套設定中處理文字、影像與音訊模型。
缺點
- 最佳效能需要新款 Snapdragon 手機，所以不同裝置間結果差異很大，較舊手機還會退回較慢的 CPU 或 GPU 推論。
- 大型模型受手機記憶體限制，而在 CPU 上跑大模型會耗電並拖慢回應。
- 它是開發者 SDK，所以沒有現成的應用程式讓非技術使用者直接打開使用。
常見問題
它在 Android 與 iOS 應用程式內本機執行 AI 模型。聊天、轉錄與讀取影像等功能都能運作，不必把資料送往雲端伺服器。當你想要快速回應、離線支援，或對使用者資料有更多掌控時就用它。
相關內容
探索與 NexaSDK for Mobile 相關的工具、技能與文章。
NexaSDK for Mobile 替代方案
Base Code
Base44 (Wix) · 程式設計 · 生產力Base Code 是 Base44 推出的共享雲端開發環境。團隊在對話中描述對既有 GitHub 儲存庫的修改，看著預覽確認結果，再以 Pull Request 交回工程團隊。
Google EmbeddingGemma 2
Google DeepMind · 寫作 · 圖片 · 程式設計Google EmbeddingGemma 2 是 7.4 億參數的開源模型，能把文字、程式碼、圖片、音訊與影片畫面轉成同一個 768 維空間裡的向量，在手機與筆電上就能執行。
GitGlow
GitGlow · 程式設計 · 生產力GitGlow 是桌面版 Git 用戶端，把你自己的程式碼與 AI 代理程式的變更集中在同一份審查裡，讓你在交付前看清楚機器上究竟要送出什麼。