Parallax by Gradient
Gradient · 其他
Parallax by Gradient 是套完全去中心化的推論引擎，讓你自己打造 AI 叢集，在多台裝置上執行大型語言模型，無論這些裝置的硬體差異多大、實際擺在哪裡。你不必租用雲端 GPU，而是把已經擁有的機器串起來，從單一本機端點提供 Qwen、DeepSeek、GLM 等模型。
關於 Parallax by Gradient
Parallax by Gradient 是什麼
Parallax 是 Gradient 打造的一套開源分散式 AI 叢集框架。它把大型語言模型拆到多台機器上，讓它們一起跑推論，因此一台筆電、一台有 GPU 的桌機，以及家中網路另一頭的小型伺服器，可以像一台更大的機器那樣運作。整套系統採用點對點協定溝通，代表沒有必須持續在線的中央伺服器。這就是它的賣點。
它解決的問題說來簡單，相處起來卻很痛苦。要跑得動一套夠水準的 LLM，通常不是向雲端供應商按 token 付費，就是買一張昂貴到足以容納整個模型的 GPU。Parallax 走第三條路。它把模型逐層分片，把請求串流到手上的硬體，讓你更充分利用已經擺在桌上的裝置。提示詞與輸出都留在自己的機器上，如果你處理的內容不想交給第三方，這點就很重要。
最大的限制在於這是開發者工具，不是點一下就裝好的應用程式。你得熟悉終端機，而且在 Linux 上要有心理準備會碰到 Docker 或設定 GPU 驅動程式。這個專案也還年輕。0.0.1 版在 2025 年 10 月推出，所以有些粗糙之處在所難免，模型支援也一直變動。如果你想要的是開箱即用、零設定就能跑的東西，託管 API 會更適合你。
開始使用
- 透過複製儲存庫並執行
./install.sh來安裝用戶端，這會建立 Python 虛擬環境並編譯所需的二進位檔。Windows 使用者也可以改用獨立安裝程式。 - 用
source .venv/bin/activate啟用環境，並確認硬體相關的額外元件已被偵測到，因為 macOS 與 Linux 的 GPU 版本會安裝不同的後端元件。 - 用類似
parallax serve -m Qwen/Qwen3.5-0.8B的指令啟動本機節點，挑選一個能塞進合計記憶體的模型。 - 把更多機器加入同一個叢集，讓模型的各分片橫跨你新增的每一台裝置。
- 把應用程式或腳本指向本機端點，像對待任何 OpenAI 相容 API 那樣送出請求。
產品資訊
快速了解 Parallax by Gradient 的定價、支援平台與效能。
適合對象
這項工具最適合的使用者、任務與情境。
使用者
- 已經擁有幾台機器、又想在不付雲端帳單的情況下執行自架 LLM 工作負載的開發者，前提是他們不排斥從終端機操作。
- 處理敏感文字、寧可把推論留在本機硬體、也不想把提示詞送進託管 API 的重視隱私團隊。
- 對分散式 AI 叢集架構感到好奇，願意花一個下午設定的業餘玩家。
任務
- 為家用實驗室或小型辦公室代管共享的 LLM 端點，讓好幾個人把各自的工具指向同一台本機伺服器。
- 在真實硬體上測試與比較 Qwen、DeepSeek、GLM 等開放模型，而不是每跑一次基準測試就付費。
- 打造需要本機 AI 推論後端的代理與內部工具，不受供應商綁定，也沒有用量上限。
情境
- 用一台筆電加一台備用 GPU 桌機，擠出更大模型的週末專案。
- 在辦公室的機器上跑程式助理，讓任何原始碼都不離開大樓。
- 實驗管線平行模型分片，看看串起來的一般消費級硬體能走到多遠。
- 想在幾台混合機器上本機執行 LLM，完全跳過雲端的任何人。
主要功能
分散式模型分片
Parallax 用管線平行把模型拆到各裝置上，因此每台機器只持有網路的一部分，而非全部。這正是規格差很大的硬體能為同一個模型協同合作的原因。你可以新增節點來擴充叢集，框架會調整工作分配的方式。
硬體無關的叢集
這套引擎不要求機器規格一致。它處理了在設定與實際位置各異的節點之間路由請求這件麻煩事，而這正是去中心化架構的重點。一台 Mac、一台有 GPU 的 Linux 機器，以及一台 Windows 電腦，都能參與同一個叢集。
點對點通訊
節點透過 P2P 層 Lattica 互相溝通，因此網路中沒有單一故障點。要是某個節點掛掉，叢集不會跟著瓦解。這套設計讓「在任何地方」執行叢集不只是行銷話術。
跨平台支援
你可以在 Windows、Linux 與 macOS 上安裝 Parallax。GPU 後端倚賴 SGLang 與 vLLM，Mac 則透過 MLX LM 運作。各系統的安裝路徑不同，專案也提供 Windows 安裝程式，以及給 GPU 機器用的 Docker 映像。回報是真正的跨平台 LLM 代管：一個叢集、多種作業系統、不必改程式碼。
最佳化請求處理
在 Mac 上，Parallax 加入了分頁式 KV 快取管理與連續批次處理，這些技術能在服務大量請求的同時控制記憶體用量。請求排程會即時調整，決定哪個節點負責什麼，目標是讓整個叢集維持高吞吐量。
OpenAI 相容的服務
節點一旦跑起來，就會露出一個端點，讓你現有的工具幾乎像呼叫託管 API 一樣使用。也就是說，你已經打造好的應用程式、腳本與代理都不必重寫。專案也記錄了一條給 OpenClaw 的整合路徑。
優缺點
優點
- 免費且開源，因此沒有按 token 計費的帳單，還能直接讀懂推論的運作方式。
- 把你已經擁有的硬體變成可用的 LLM 叢集，規格不一致的機器也包含在內。
- 把提示詞與輸出留在自己的裝置上，對隱私與法規遵循有幫助。
- 跨平台支援代表 Mac 與 Linux GPU 機器能共用同一套部署。
- P2P 架構避開中央伺服器，因此沒有單一故障點。
缺點
- 設定屬於開發者等級。它不是一鍵應用程式，Linux 的 GPU 安裝還可能牽涉 Docker 或驅動程式。
- 專案仍在早期階段。模型支援會變動，偶爾也會出狀況。
- 效能完全取決於你的硬體；串起來的一般消費級裝置比不過雲端 GPU 叢集。
- 文件還在補齊，因此部分疑難排解得靠讀儲存庫或在 Discord 上發問。
常見問題
是的。Parallax by Gradient 開源且免費，沒有訂閱制。你只需負擔已經在跑的硬體與電費。沒有付費層級，所以「$0」的價格涵蓋整個產品。
相關內容
探索與 Parallax by Gradient 相關的工具、技能與文章。
Parallax by Gradient 替代方案
BinkBink
BinkBink · 其他BinkBink 是一個免費的線上遊戲平台與 AI 遊戲製作工具，讓任何人都能把一段簡短的文字描述變成可玩的瀏覽器遊戲。你可以直接跳進數百款社群自製的遊戲。或者描述自己的想法，幾秒內就能玩，再分享給朋友。想建立自己的遊戲嗎？你不需要寫程式。不用設定引擎、不用下載、不必費心。
Audiogen
Audiogen Inc. · 其他Audiogen 是一款由 Audiogen Inc. 打造的 AI 音樂生成器。這支小型研究團隊花了約 2.5 年訓練自家生成式音樂模型，並圍繞它設計網頁介面。這款 AI 音樂工具捨棄單純的文字框，把時間軸變成對新手友善的生成式音訊工作站（Generative Audio Workstation，簡稱 GAW），其中的補繪、延伸、混音與音軌編輯，操作起來更像在畫布上彩繪。產品仍在 beta 階段，因此取用管道是候補名單或邀請碼。付費方案尚未公布。
Aiml API
AIMLAPI OÜ · 其他Aiml API 是一套統一的 AI 模型 API，把 OpenAI、Google、Anthropic 等超過 1000 個模型放在同一個端點與同一張帳單之後。你只要依照單一相容 OpenAI 的結構撰寫程式碼，接著改一個模型字串，就能在聊天、圖像、影片與音訊模型之間切換。它適合想取得多模型存取、又不想管理十幾個供應商帳號的開發者與小型團隊，也省去了測試多家廠商時常見的帳務麻煩。一組金鑰就能涵蓋全部。