Parallax by Gradient
Gradient · 其他
Parallax by Gradient 是套完全去中心化的推論引擎，讓你自己打造 AI 叢集，在多台裝置上執行大型語言模型，無論這些裝置的硬體差異多大、實際擺在哪裡。你不必租用雲端 GPU，而是把已經擁有的機器串起來，從單一本機端點提供 Qwen、DeepSeek、GLM 等模型。
關於 Parallax by Gradient
Parallax by Gradient 是什麼
Parallax 是 Gradient 打造的一套開源分散式 AI 叢集框架。它把大型語言模型拆到多台機器上，讓它們一起跑推論，因此一台筆電、一台有 GPU 的桌機，以及家中網路另一頭的小型伺服器，可以像一台更大的機器那樣運作。整套系統採用點對點協定溝通，代表沒有必須持續在線的中央伺服器。這就是它的賣點。
它解決的問題說來簡單，相處起來卻很痛苦。要跑得動一套夠水準的 LLM，通常不是向雲端供應商按 token 付費，就是買一張昂貴到足以容納整個模型的 GPU。Parallax 走第三條路。它把模型逐層分片，把請求串流到手上的硬體，讓你更充分利用已經擺在桌上的裝置。提示詞與輸出都留在自己的機器上，如果你處理的內容不想交給第三方，這點就很重要。
最大的限制在於這是開發者工具，不是點一下就裝好的應用程式。你得熟悉終端機，而且在 Linux 上要有心理準備會碰到 Docker 或設定 GPU 驅動程式。這個專案也還年輕。0.0.1 版在 2025 年 10 月推出，所以有些粗糙之處在所難免，模型支援也一直變動。如果你想要的是開箱即用、零設定就能跑的東西，託管 API 會更適合你。
開始使用
- 透過複製儲存庫並執行
./install.sh來安裝用戶端，這會建立 Python 虛擬環境並編譯所需的二進位檔。Windows 使用者也可以改用獨立安裝程式。 - 用
source .venv/bin/activate啟用環境，並確認硬體相關的額外元件已被偵測到，因為 macOS 與 Linux 的 GPU 版本會安裝不同的後端元件。 - 用類似
parallax serve -m Qwen/Qwen3.5-0.8B的指令啟動本機節點，挑選一個能塞進合計記憶體的模型。 - 把更多機器加入同一個叢集，讓模型的各分片橫跨你新增的每一台裝置。
- 把應用程式或腳本指向本機端點，像對待任何 OpenAI 相容 API 那樣送出請求。
產品資訊
快速了解 Parallax by Gradient 的定價、支援平台與效能。
適合對象
這項工具最適合的使用者、任務與情境。
使用者
- 已經擁有幾台機器、又想在不付雲端帳單的情況下執行自架 LLM 工作負載的開發者，前提是他們不排斥從終端機操作。
- 處理敏感文字、寧可把推論留在本機硬體、也不想把提示詞送進託管 API 的重視隱私團隊。
- 對分散式 AI 叢集架構感到好奇，願意花一個下午設定的業餘玩家。
任務
- 為家用實驗室或小型辦公室代管共享的 LLM 端點，讓好幾個人把各自的工具指向同一台本機伺服器。
- 在真實硬體上測試與比較 Qwen、DeepSeek、GLM 等開放模型，而不是每跑一次基準測試就付費。
- 打造需要本機 AI 推論後端的代理與內部工具，不受供應商綁定，也沒有用量上限。
情境
- 用一台筆電加一台備用 GPU 桌機，擠出更大模型的週末專案。
- 在辦公室的機器上跑程式助理，讓任何原始碼都不離開大樓。
- 實驗管線平行模型分片，看看串起來的一般消費級硬體能走到多遠。
- 想在幾台混合機器上本機執行 LLM，完全跳過雲端的任何人。
主要功能
分散式模型分片
Parallax 用管線平行把模型拆到各裝置上，因此每台機器只持有網路的一部分，而非全部。這正是規格差很大的硬體能為同一個模型協同合作的原因。你可以新增節點來擴充叢集，框架會調整工作分配的方式。
硬體無關的叢集
這套引擎不要求機器規格一致。它處理了在設定與實際位置各異的節點之間路由請求這件麻煩事，而這正是去中心化架構的重點。一台 Mac、一台有 GPU 的 Linux 機器，以及一台 Windows 電腦，都能參與同一個叢集。
點對點通訊
節點透過 P2P 層 Lattica 互相溝通，因此網路中沒有單一故障點。要是某個節點掛掉，叢集不會跟著瓦解。這套設計讓「在任何地方」執行叢集不只是行銷話術。
跨平台支援
你可以在 Windows、Linux 與 macOS 上安裝 Parallax。GPU 後端倚賴 SGLang 與 vLLM，Mac 則透過 MLX LM 運作。各系統的安裝路徑不同，專案也提供 Windows 安裝程式，以及給 GPU 機器用的 Docker 映像。回報是真正的跨平台 LLM 代管：一個叢集、多種作業系統、不必改程式碼。
最佳化請求處理
在 Mac 上，Parallax 加入了分頁式 KV 快取管理與連續批次處理，這些技術能在服務大量請求的同時控制記憶體用量。請求排程會即時調整，決定哪個節點負責什麼，目標是讓整個叢集維持高吞吐量。
OpenAI 相容的服務
節點一旦跑起來，就會露出一個端點，讓你現有的工具幾乎像呼叫託管 API 一樣使用。也就是說，你已經打造好的應用程式、腳本與代理都不必重寫。專案也記錄了一條給 OpenClaw 的整合路徑。
優缺點
優點
- 免費且開源，因此沒有按 token 計費的帳單，還能直接讀懂推論的運作方式。
- 把你已經擁有的硬體變成可用的 LLM 叢集，規格不一致的機器也包含在內。
- 把提示詞與輸出留在自己的裝置上，對隱私與法規遵循有幫助。
- 跨平台支援代表 Mac 與 Linux GPU 機器能共用同一套部署。
- P2P 架構避開中央伺服器，因此沒有單一故障點。
缺點
- 設定屬於開發者等級。它不是一鍵應用程式，Linux 的 GPU 安裝還可能牽涉 Docker 或驅動程式。
- 專案仍在早期階段。模型支援會變動，偶爾也會出狀況。
- 效能完全取決於你的硬體；串起來的一般消費級裝置比不過雲端 GPU 叢集。
- 文件還在補齊，因此部分疑難排解得靠讀儲存庫或在 Discord 上發問。
常見問題
是的。Parallax by Gradient 開源且免費，沒有訂閱制。你只需負擔已經在跑的硬體與電費。沒有付費層級，所以「$0」的價格涵蓋整個產品。
相關內容
探索與 Parallax by Gradient 相關的工具、技能與文章。
Parallax by Gradient 替代方案
Odyssey 3
Odyssey · 其他Odyssey-3 是 Odyssey 的基礎世界模型，能即時模擬物理，把一段文字提示變成可互動的環境，並套用到機器人、汽車與遊戲上。
JarvisCore
Prescott Data · 程式設計 · 生產力 · 其他JarvisCore 是開源的 Python 執行環境，讓 AI 代理在網格上以對等節點運作、從共用帳本認領任務，並透過零信任代理服務存取外部系統。
Clef
Cloudflare · 商業 · 其他Clef 是 Cloudflare 推出、可在 Workers AI 上執行的開源決策模型。它針對設定好的題目回傳校準後的機率而非生成文字，讓代理程式快速分類、分流並採取行動。