RunAnywhere
RunAnywhere, Inc. · 程式設計 · 其他
RunAnywhere 用開源 SDK 在六個平台上讓 AI 模型在你自己的硬體上執行，另外提供相容 OpenAI 的雲端路徑來處理大型模型。
關於 RunAnywhere
What Is RunAnywhere
RunAnywhere 是一套裝置端 AI 推論環境，讓模型在你自己的硬體上執行。模型跟著你的應用程式一起出貨，在使用者自己的晶片上跑，提示词、音訊和圖片都不會離開這台機器。同一套底層既能當本機推論層，也能在你自己疊上一個助理時當離線 AI 助理。
它主打隱私和成本，兩者都站得住。沒有任何東西會自己送上雲端，所以醫師、記者或任何處理敏感文字的人都能把資料留在本機。本機執行也不必按 token 付費，因為算力來自你早就擁有的裝置。iOS 上的 RunAnywhere 應用程式把這個想法做成消費端版本，聊天、語音和朗讀在沒有連線時照樣運作。
限制也很實在。本機效能取決於硬體，手機上的小模型比不過雲端的旗艦模型。模型還得自己挑、自己下載，而且支援的硬體依後端而異，某個功能在這顆晶片上能跑，換一顆就可能缺席。
Getting Started
- 安裝你所用平台的 SDK，例如 iOS 與 macOS 的 Swift 套件，或網頁用的 npm 套件
- 註冊你需要的後端，像是文字用的 llama.cpp 或語音用的 Sherpa-ONNX
- 呼叫 RunAnywhere.initialize()，再用 RunAnywhere.capabilities() 查看這台裝置能跑什麼
- 下載或拉取一個模型，載入後呼叫你要的命名空間，例如 llm 或 stt
- 要跑更大的模型，就安裝 wally 命令列工具、登入主控台，再用 id 執行雲端上的模型
產品資訊
快速了解 RunAnywhere 的定價、支援平台與效能。
適合對象
這項工具最適合的使用者、任務與情境。
使用者
- 應用程式開發者：想在應用裡加入聊天、語音或視覺功能，又不想架一個雲端模型端點的人
- 重視隱私的開發者：處理病歷、法律文字或個人資料，不能把提示词送出裝置的團隊
- 在意成本的產品團隊：想靠使用者現有硬體執行推論、把按 token 計費的帳單壓下來的人
- 跨平台工程師：要用同一套核心把同一個 AI 功能送上 iOS、Android、網頁和桌面的人
任務
- 加入本機聊天：出貨一個在裝置端執行、能回答又能串流、不必連網的語言模型
- 語音轉文字：把音檔或即時麥克風的語音轉成文字，錄音留在裝置上
- 打造語音助理：把語音轉文字、語言模型和文字轉語音串成一個完整的對話迴圈
- 依文件回答問題：在本機對私有檔案執行檢索增強生成
- 需要時呼叫旗艦模型：把較吃重的請求送到相容 OpenAI 的雲端端點
情境
- 飛機上或訊號死角：應用程式在完全沒有連線時依然能回答和轉錄
- 受監管的工作場域：員工讀寫敏感文字，內容完全不離開這台機器
- 高用量的功能：一個按 token 計費會很貴的聊天或轉錄工具，改成在裝置上跑
- 跨平台上市：同一個 AI 功能從同一套共享核心登上六個平台
- 原型開發：開發者先用幾個指令拉一個小模型在本機跑，再決定要投入什麼硬體
主要功能
一套核心，六個平台 SDK
所有版本底下都是同一個 C++ 核心，所以不管你為 Swift、Kotlin、React Native、Flutter、Web 還是 Electron 編譯，行為都一致。每種語言在核心外面包一層原生介面，每個 SDK 都把同樣的命名空間掛在同一個 RunAnywhere 進入點上。同一段呼叫在各地讀起來幾乎一樣，你不必為每個平台重學 API。
涵蓋完整的 AI 能力
這套 API 用命名空間組織，涵蓋的遠不只文字。有負責生成與串流的 llm，負責語音的 stt 與 tts，處理完整對話的 voice，處理圖片加提示词的 vlm，對你自己的文件做檢索的 rag，旁邊還有 embeddings、rerank、lora、images、diarization 和 segmentation。單一套件把全部攤開，你只挑自己要的零件。
硬體加速後端
RunAnywhere 不是只靠 CPU。後端包含負責語言與視覺的 llama.cpp、負責語音的 ONNX 與 Sherpa、Apple MLX、透過 MetalRT 使用 Apple Neural Engine，以及透過 QHexRT 使用 Qualcomm Hexagon NPU。在 M4 Max 上，該公司測得 LLM 解碼每秒 658 個 token、語音轉文字延遲 101 毫秒，都是它自己在裝置端量到的數字。變數在於支援範圍：MLX 從不在模擬器上跑，QHexRT 只針對 arm64 的 Snapdragon 晶片。
預設就私密
推論在裝置上執行，除非你要求，否則什麼都不會離開。提示词、音訊和圖片都留在本機記憶體，這正是重視隱私的應用會選它的理由，想要私密 AI 的人不必再轉向雲端 API。雲端路徑是給大到筆電跑不動的模型用的，那是一個你得刻意做出的獨立選擇。預設把資料留在家裡，加入是明示的。
wally 命令列工具與雲端路徑
wally 命令列工具身兼兩職。在本機，它會拉取模型，例如約 640 MB 的 qwen3-0.6b，不需帳號就能離線執行。指向雲端時，它能透過相容 OpenAI 的 API 存取 RunAnywhere 硬體上的旗艦開源模型，以預付額度計費。你也可以把拉下來的模型用本機的相容 OpenAI 網址提供服務。同一件工具就把大小兩端都包了。
能力檢查與模型管理
SDK 會告訴你某台裝置實際上能跑什麼。呼叫 RunAnywhere.capabilities()，你會拿到已註冊的後端和一份不可用清單，於是你可以在使用者撞上之前先把功能收起來。models 命名空間負責權重的註冊、下載、載入與卸載。這些是沒什麼光采的底層活，但它能防止一個版本在根本跑不動的硬體上硬推語音功能。
優缺點
優點
- 在裝置上執行文字、語音、視覺與檢索，提示词和音訊預設都留在本機。
- 六個平台共用同一套核心，iOS、Android、網頁和桌面的 API 形式一致。
- wally 命令列工具同時涵蓋免費的離線執行，以及給大型模型用的相容 OpenAI 雲端路徑。
- 能力檢查與 models 命名空間讓你在推出功能前就清楚裝置能跑什麼。
- 免費方案加上本機推論，使用者在自己的硬體上完成的工作不必付 token 費。
缺點
- 本機品質取決於裝置，手機模型比不過雲端上執行的旗艦模型。
- 後端支援依晶片和平台而異，MLX 跳過模擬器，QHexRT 只限 arm64 的 Snapdragon。
- 模型要自己挑、自己下載、自己管理，比呼叫託管的 API 多一道工。
- 雲端路徑需要帳號和預付額度，所以不是固定月費訂閱。
常見問題
RunAnywhere 是一套讓 AI 模型在你自己的硬體上執行的推論環境。它提供六個平台的開源 SDK，把語言、語音和視覺模型放進你的應用程式，另有相容 OpenAI 的託管路徑，給大到筆電跑不動的模型使用。兩者都由同一家公司、同一套命令列驅動。
相關內容
探索與 RunAnywhere 相關的工具、技能與文章。
RunAnywhere 替代方案
Forefront
Forefront · 程式設計Forefront 是一個用來打造開源 AI 的網頁平台。你可以用自己的資料微調主流的開源語言模型、評估它們的表現，再透過 API 執行，或匯出後自行架設。想要封閉式平台的便利、卻堅持要自己擁有模型與資料的開發者，就是這裡的目標客群。
Startkit
StartKit.AI · 程式設計Startkit 是一套用來打造 AI SaaS 與 AI 包裝產品的樣板。可以把它想成一個 AI 新創樣板，把枯燥的部分都先接好了：驗證、Stripe 與 Lemon Squeezy 付款、用量限制、交易型電子郵件，以及一套能與 OpenAI、Anthropic、Groq 或 Llama 溝通的 AI API 啟動套件。你複製儲存庫、設定價格，然後專心在產品中使用者真正願意付費的部分。它建構於 React 與 Tailwind 之上的 Next.js，所以大部分的樣板程式碼對你來說並不陌生。
Testim
Tricentis · 程式設計Testim 是專為網頁、行動與 Salesforce 應用程式打造的 AI 測試自動化平台，用來建立並執行端到端測試。它靠機器學習在介面變動時維持測試穩定，團隊因此少花時間修補壞掉的定位器。對於一款今天就能開始使用的自動化測試工具來說，這表現不算差。你透過在瀏覽器錄製動作來建立測試，需要更多控制時再補上 JavaScript。對忙碌的 QA 團隊來說，這是個可靠的選擇。