Soup CLI
MePlay, Inc. · 程式設計
Soup CLI 是一套開源命令列工具，用來微調與後訓練大型語言模型。身為 LLM 微調工具，它把平常的設定工作收攏成單一流程：你寫一份 YAML 設定檔，執行 `soup train`，Soup 就會自行處理 GPU 偵測、批次大小與量化。這個專案鎖定的是想在本機微調模型、而不是租雲端 GPU 或跟訓練腳本搏鬥的人，而它的招牌功能「層串流」讓一個 8B 模型能在只有 4 GB VRAM 的筆電 GPU 上訓練。
關於 Soup CLI
什麼是 Soup CLI
Soup CLI（也以 soup-cli 這個 Python 套件名發布）是一套以命令列為核心的堆疊，涵蓋整個後訓練循環：資料清理、方法選擇、設定產生、評估與檢查點把關。它由 MePlay, Inc. 維護，並以 Apache-2.0 授權發布，所以你可以讀原始碼、fork，或把它放進自己的流程裡。
它解決的主要問題是摩擦。訓練過模型的人都知道那套流程：挑硬體、跟相依性衝突纏鬥、猜批次大小，然後在第 400 步除錯當機。Soup 把這些壓縮成一份它幫你寫好的設定檔。為什麼這重要？因為新手微調多半死在設定階段，而不是訓練本身。它的目標是開發者、研究人員與小型團隊，這些人想要一個能跑的微調，但不想變成基礎架構工程師。
最大的限制是硬體。訓練仍然需要 CUDA GPU，而在一般機器上跑真正的 7B 到 8B 工作，就代表要接受 QLoRA 與量化權重，而不是全精度訓練。這就是取捨。層串流這個讓小 GPU 變得可行的功能，目前仍標示為 BETA，必須手動開啟。
開始使用
- 安裝套件。用
pipx install "soup-cli[train]"或uv tool install "soup-cli[train]"。單純安裝soup-cli是一套不含 PyTorch 的輕量 CLI，所以要微調就得加上[train]這個額外項目。 - 產生設定檔。執行
soup init --template chat，建立一份用於聊天式微調的起始soup.yaml。 - 指向你的資料與基礎模型。編輯 YAML，設定資料集路徑與你想調整的模型。
- 開始訓練。執行
soup train，讓它偵測你的 GPU 並挑選設定。若模型大、顯示卡小，先設定stream_layers: true。 - 部署或匯出結果。用
soup serve把微調後的模型放在相容於 OpenAI 的 API 端點後面。
產品資訊
快速了解 Soup CLI 的定價、支援平台與效能。
適合對象
這項工具最適合的使用者、任務與情境。
使用者
- 獨立開發者與業餘玩家：只有一張消費級 GPU、想微調模型又不想付雲端運算費用的人。需要 CUDA 顯示卡、Apple Silicon 或 CPU。
- ML 工程師與研究人員：想要一套可重現的後訓練流程、以版本控管的 YAML 定義，而不是臨時腳本的團隊。
- 小型新創：推出自訂模型、寧可把權重與資料留在本機，也不想送到託管訓練服務的團隊。
任務
- 監督式微調：用自己的資料集，把基礎模型調整成聊天格式或特定領域。
- 偏好最佳化：執行 DPO、KTO、GRPO 或 BCO，讓模型對齊人類或獎勵偏好。
- 本機實驗：在投入更大規模的訓練之前，先測試模型到底能不能學會某項任務。
情境
- 只用筆電的工作流程：在 4 GB 的 GPU 上開啟層串流，訓練一個量化的 8B 模型。
- 私有微調：把專有資料與模型權重留在自己掌控的硬體上。
- 把微調後的模型變成服務：用 `soup serve` 架起相容於 OpenAI 的端點，供內部應用或展示。
主要功能
一份設定，一個指令
核心想法是一份 YAML 檔就能描述整個工作。你執行 soup init 產生起始設定，改幾個欄位，然後執行 soup train。Soup 會讀取設定、檢查你的 GPU，然後挑出合適的批次大小與量化設定。對曾經維護一整資料夾訓練 shell 腳本的人來說，這就是吸引人之處：設定檔就是說明文件。
給小 GPU 用的層串流
層串流是最受矚目的功能。Soup 不把整個凍結的基礎模型載入 VRAM，而是把它留在記憶體之外，一次餵一個解碼層給 GPU。在 4 GB 的 RTX 3050 Laptop 上，專案指出 8B 模型能以 3.32 GB 的峰值記憶體運行。成果驚人。問題在於它是選用功能、仍屬 BETA，而且吞吐量數字來自某個較舊版本，所以把那個速度當成下限，而不是承諾。
內建評估與檢查點把關
Soup 不只做到訓練。它會從你的設定推導出評估，並用這些評估來把關檢查點，所以退步的訓練會被標記出來，而不是悄悄存檔。對經常訓練的團隊來說，這比單純的速度更重要。你要的是一條會告訴你某個檢查點比上一個更差的流程。
相容於 OpenAI 的部署
soup serve 指令用一個指令就把訓練好的模型變成 API 服務。它會提供標準的 /v1/chat/completions、/v1/models 與 /health 端點，支援串流回應，還能切換到 vLLM 或 SGLang 後端以拉高吞吐量。LoRA 適配器可以直接部署，基礎模型會從適配器設定中解析出來，所以你不必先手動合併權重。
本機優先，不需雲端
一切都設計成在你已經擁有的硬體上運行。不需雲端。沒有強制帳號、沒有託管儀表板，除非你自己設定，否則資料不會離開你的機器。對處理敏感資料的團隊來說，這往往是勝過託管訓練服務的決定性因素。
資料工具與檢查指令
輕量的 soup-cli 安裝仍包含 soup data ... 與檢查指令，這些在沒有 PyTorch 的情況下也能運作。這表示你可以在完全沒有 GPU 的機器上清理與檢視資料集。先準備，之後再訓練。
優缺點
優點
- 以 Apache-2.0 開源，所以沒有供應商綁定，原始碼也完全可稽核。
- 單一份 YAML 設定檔就取代了微調通常需要的大部分腳本與設定工作。
- 層串流讓真正大型的模型能在小型消費級 GPU 上訓練。
- 部署與評估屬於同一個工具，而不是你得自己接起來的獨立工具。
- 完全可離線運作，讓資料與權重留在你自己的硬體上。
缺點
- 層串流這個招牌功能仍屬 BETA，而且必須手動啟用，所以不是設定一次就能不管的選項。
- 最佳效能預設要有 CUDA GPU；Apple Silicon 與 CPU 支援是實驗性的，而且很慢。
- 拆分式安裝會讓新手困惑，因為單純 `pip install soup-cli` 在你加上 `[train]` 額外項目之前無法訓練。
- 說明文件密集且綁定版本，所以舊指南的建議可能跟目前版本對不上。
常見問題
它是一套開源命令列工具，用來微調與後訓練大型語言模型。你用一份 YAML 檔定義工作並執行 soup train，它會幫你處理 GPU 偵測、量化與批次。
相關內容
探索與 Soup CLI 相關的工具、技能與文章。
Soup CLI 替代方案
Forefront
Forefront · 程式設計Forefront 是一個用來打造開源 AI 的網頁平台。你可以用自己的資料微調主流的開源語言模型、評估它們的表現，再透過 API 執行，或匯出後自行架設。想要封閉式平台的便利、卻堅持要自己擁有模型與資料的開發者，就是這裡的目標客群。
Startkit
StartKit.AI · 程式設計Startkit 是一套用來打造 AI SaaS 與 AI 包裝產品的樣板。可以把它想成一個 AI 新創樣板，把枯燥的部分都先接好了：驗證、Stripe 與 Lemon Squeezy 付款、用量限制、交易型電子郵件，以及一套能與 OpenAI、Anthropic、Groq 或 Llama 溝通的 AI API 啟動套件。你複製儲存庫、設定價格，然後專心在產品中使用者真正願意付費的部分。它建構於 React 與 Tailwind 之上的 Next.js，所以大部分的樣板程式碼對你來說並不陌生。
Testim
Tricentis · 程式設計Testim 是專為網頁、行動與 Salesforce 應用程式打造的 AI 測試自動化平台，用來建立並執行端到端測試。它靠機器學習在介面變動時維持測試穩定，團隊因此少花時間修補壞掉的定位器。對於一款今天就能開始使用的自動化測試工具來說，這表現不算差。你透過在瀏覽器錄製動作來建立測試，需要更多控制時再補上 JavaScript。對忙碌的 QA 團隊來說，這是個可靠的選擇。