BaseRT
Base Compute · 程式設計 · 其他
BaseRT 是專為 Apple Silicon 從零打造的本機 LLM 推論執行環境，在 Metal 核心層級調校，能從 Mac 硬體榨出比 MLX 或 llama.cpp 等通用引擎更快的速度。它以單一 `basert` LLM CLI 的形式提供，會從 HuggingFace 抓取模型、轉成自家 `.base` 格式，讓你可以在本機對話，或架出一個 OpenAI 相容的 API。想在自己的 Mac 上取得快速、私密、裝置端 AI 的開發者最適合用它，因為它不依賴雲端、不需要 API 金鑰，也沒有按 token 計費的成本。
關於 BaseRT
BaseRT 是什麼
BaseRT 是來自 Base Compute 的本機推論執行環境，這是一間據點橫跨墨爾本與柏林的小型 AI 實驗室。這個專案從零打造，而不是接在既有引擎上，團隊聲稱的 prefill 加速就是由此而來：比 llama.cpp 快上最多 6.4 倍、比 MLX 快上 3.9 倍，而在 Apple M5 Pro 上的 decode 最高比 MLX 快 1.33 倍。這些數字出自 Base Compute 自家的效能測試，所以請把它們當成廠商數據，而不是獨立實驗室的結果。
這個執行環境鎖定的是在自己 Mac 上跑開源模型的工程師與玩家。它包辦整個流程：抓一個模型、把它轉成引擎能快速載入的格式，接著你要嘛跟它對話，要嘛用 HTTP 把它開放出去。所有東西都留在你的機器上，不會送到任何供應商那裡。
這為什麼重要？因為模型一旦放在本機，就沒有按 token 計算的成本。就這麼簡單。
主要的限制很實際。BaseRT 目前僅支援 macOS，Windows 與 Linux 被列為即將推出。核心引擎以預先編譯的執行檔形式提供，而非開源程式碼，所以你無法自行重新編譯核心。如果你用的是非 Apple 機器，或需要一路開放到晶片層的完整開源堆疊，那它還不適合你。至少目前還不是。
開始使用
- 用一行指令安裝 CLI：
curl -LsSf https://basecompute.co/install.sh | sh。 - 透過啟動器從 HuggingFace 抓取模型，例如
basert serve basecompute/gemma-4-E4B-it。 - 把模型轉換或載入成執行環境所讀取的
.base磁碟格式。 - 直接跟模型對話，或把應用程式指向伺服器開出的 OpenAI 相容端點。
- 選擇性安裝程式開發代理外掛（
pi install git:github.com/basecompute/pi-basert），讓你對所服務的模型執行本機的程式開發代理。
產品資訊
快速了解 BaseRT 的定價、支援平台與效能。
適合對象
這項工具最適合的使用者、任務與情境。
使用者
- Mac 開發者：如果你用開源模型開發，又想要快速的本機執行環境，這很理想，前提是你用的是 Apple Silicon 而非 Intel Mac。
- 重視隱私的工程師：適合需要推論留在自己硬體上的人，因為 BaseRT 從不把資料送到雲端供應商。
- AI 玩家：對於想探索本機模型又不想按 token 付費的人是好選擇，前提是你對命令列流程不陌生。
任務
- 架設本機 LLM：把任何支援的模型以 OpenAI 相容端點開放出去，讓既有應用與腳本不必改程式碼就能呼叫。
- 執行本機程式開發代理：把程式開發代理指向所服務的模型，讓程式碼與提示詞全部留在你的機器上。
- 在 Apple Silicon 上做效能測試：在同一台 Mac 硬體上，比較 prefill 與 decode 的吞吐量與 MLX 或 llama.cpp 的差異。
情境
- 在飛機或火車上離線工作：因為模型在裝置上執行，沒有網路連線也能繼續使用。
- 處理敏感提示詞：在本機執行模型，讓私人文件與內部程式碼遠離第三方 API。
- 減少固定的 API 帳單：模型一旦下載完成，每個 token 在你已擁有的硬體上幾乎都是免費的。
主要功能
原生 Metal 推論引擎
BaseRT 是從底層為 Apple Silicon 的 Metal 框架打造，而不是從 CUDA 或 CPU 程式碼移植過來。引擎把 Metal 核心內嵌在預先編譯的 libbaseRT.dylib 中，因此執行環境是以 Apple 預期的方式與 GPU 溝通。實務上，速度數據就是由此而來：根據 Base Compute 的效能測試，prefill 比 llama.cpp 快上最多 6.4 倍，某些模型上的 decode 比 MLX 快上最多 33%。
OpenAI 相容服務
basert-serve 工具會把任何已載入的模型變成一個講 OpenAI API 格式的 HTTP 伺服器。這表示既有的工具、SDK 與腳本只要原本指向 api.openai.com，改個設定就能改指向你的本機端點。你不必重寫，就能拿到熟悉的介面，同時把真正的模型留在自己機器上。
多語言繫結
除了 CLI 之外，BaseRT 在 baseRT.h 中提供 C API，並有 Python、Node、Rust 與 Swift 的繫結。如果你偏好把推論直接嵌進應用程式，而不是去呼叫伺服器，這些繫結讓你能用專案原本就在用的語言呼叫引擎。這就是命令列工具與可往上堆疊的函式庫之間的差別。
HuggingFace 模型中心與轉換器
basert 指令內建模型中心與轉換器。你直接從 HuggingFace 抓權重，工具會把它們轉成執行環境所載入的 .base 磁碟格式。如此一來，設定就只要幾個指令，而不是一長串手動匯出流程，而且支援 Q4、Q8 等常見的量化版本。
本機程式開發代理整合
Base Compute 推出一個外掛（pi-basert），把程式開發代理直接接到 BaseRT 所服務的模型上。你只要跑三個指令，就這樣。最後你會有一個能讀寫程式碼、卻不把任何東西送到遠端 API 的代理。對於擔心原始碼外洩給代管供應商的團隊，這是最主要的使用情境。
零成本、免帳號運作
不用註冊、不用 API 金鑰、也沒有用量計量器。模型一旦放到你的磁碟上，生成每個 token 都零成本，因為唯一消耗的資源就是你自己的硬體。那有什麼陷阱嗎？基本上沒有。對於本來得按 token 付費的重度使用者來說，省下來的錢很快就累積起來。
優缺點
優點
- 根據廠商效能測試，在同一台 Mac 上，prefill 與 decode 速度勝過 MLX 與 llama.cpp。
- 完全本機推論，提示詞與資料永遠不離開你的裝置。
- OpenAI 相容伺服器讓既有工具只要極小的修改就能運作。
- Python、Node、Rust 與 Swift 的繫結讓它能對接多種技術堆疊。
- 設定完成後，沒有帳號、沒有 API 金鑰，也沒有按 token 的成本。
缺點
- 目前僅支援 macOS，Windows 與 Linux 使用者得再等等。
- 核心引擎是預先編譯的執行檔而非開源，限制了你能自訂的程度。
- 效能數據由廠商提供，目前還沒有獨立結果。
- 設定的過程假定你熟悉終端機，這會讓技術背景較弱的使用者卻步。
常見問題
BaseRT 在 Apple Silicon 的 Mac 上本機執行大型語言模型。你可以用它跟開源模型對話、以 OpenAI 相容 API 提供服務，或透過它的 C API 繫結把本機 LLM 推論嵌進應用程式。
相關內容
探索與 BaseRT 相關的工具、技能與文章。
BaseRT 替代方案
Base Code
Base44 (Wix) · 程式設計 · 生產力Base Code 是 Base44 推出的共享雲端開發環境。團隊在對話中描述對既有 GitHub 儲存庫的修改，看著預覽確認結果，再以 Pull Request 交回工程團隊。
Google EmbeddingGemma 2
Google DeepMind · 寫作 · 圖片 · 程式設計Google EmbeddingGemma 2 是 7.4 億參數的開源模型，能把文字、程式碼、圖片、音訊與影片畫面轉成同一個 768 維空間裡的向量，在手機與筆電上就能執行。
GitGlow
GitGlow · 程式設計 · 生產力GitGlow 是桌面版 Git 用戶端，把你自己的程式碼與 AI 代理程式的變更集中在同一份審查裡，讓你在交付前看清楚機器上究竟要送出什麼。