Tensorfuse
Tensorfuse (Y Combinator W24, San Francisco) · 程式設計 · 其他
Tensorfuse 是無伺服器 GPU 平台，能在你自己的 AWS、Azure 或 GCP 帳戶裡部署、微調並自動擴充 AI 模型，權重與資料都留在你的 VPC 內。
關於 Tensorfuse
What Is Tensorfuse
Tensorfuse 是給「模型已經有了、但不想自己顧 Kubernetes」的團隊用的基礎設施。你把工具指向自己的雲端帳戶，它就在你的 EC2 機器上架好 Kubernetes 叢集、負載平衡器與自動擴充器，最後給你一行部署指令。
它賣的是省下來的維運工時，不是更便宜的顯示卡。GPU 時數照樣付給雲端廠商，Tensorfuse 收的是代管費用。運算、模型權重與資料集都待在你的 VPC 裡，提示詞與檢查點不會經過第三方帳戶。這一點在企業資安審查時往往是關鍵。
限制在於它不是託管端點。你需要有 GPU 配額的雲端帳戶、能建立資源的權限，還有一個裝得下應用或模型的 Dockerfile。想要五分鐘內就有模型端點、又不想碰雲端帳戶，找託管服務商會快得多。另外它沒有公開價目表，要比價之前得先跟業務談一輪。
Getting Started
- 建立叢集。登入後選擇雲端廠商，授予 Tensorfuse 列出的 IAM 權限，等它把環境建好。這步大約 25 到 30 分鐘。
- 安裝 Tensorkube CLI，再花 5 到 10 分鐘，把本機環境與叢集同步。
- 打包要跑的內容。FastAPI 應用或推論伺服器都放進 Dockerfile，密鑰與模型設定寫在環境檔案裡。
- 用 CLI 部署，設定最小與最大副本數，查看狀態直到端點正常回應。
產品資訊
快速了解 Tensorfuse 的定價、支援平台與效能。
適合對象
這項工具最適合的使用者、任務與情境。
使用者
- 種子輪到 A 輪的 ML 工程師：不必養一個平台團隊就能有自動擴充的推論服務，而融資未滿 50 萬美元的公司可申請六個月免費方案，代管費由方案吸收。
- 受監管產業的平台團隊：權重、提示詞與資料集都留在自己的 VPC，資安審查流程短得多，客戶資料也不會離開既有的合規邊界。
- 本來就在付 AWS 帳單的獨立開發者：只要有 GPU 配額和一個 Dockerfile，一行指令就能把模型送上線，費用併入既有的雲端承諾用量。
任務
- 提供開源權重 LLM：vLLM、SGLang、TensorRT-LLM 與 Dynamo 都以容器形式執行，應用程式原本呼叫的 OpenAI 相容介面不用改。
- 用私有資料微調：以 Axolotl、Unsloth 或自寫的訓練迴圈跑 LoRA 與 QLoRA，資料集直接從自己的 S3 bucket 讀取。
- 向量化、評測、標註這類批次工作：工作佇列只在執行時開 GPU，跑完就釋放，不必整晚掛著機器。
- 代管大量客戶專屬 adapter：多 LoRA 服務讓數千個 adapter 共用一張 GPU，每次請求再切換對應的那一個。
情境
- 換掉流量一大就變慢的 SageMaker 端點：自動擴充看的是實際請求量，不是固定的機器數量。
- 消化已簽約的 AWS 用量：GPU 時數算進既有雲端帳單，抵用金與企業折扣都能用上。
- 通過企業資安問卷：可以直接回答資料不離開自家帳戶，不必自己從零打造平台。
主要功能
在自家 VPC 內執行無伺服器推論
部署會跟著進來的流量擴充，請求停下來就縮回去。容器由你提供，vLLM、SGLang、TensorRT-LLM 或 NVIDIA Dynamo 都行，叢集、負載平衡與擴充規則交給 Tensorfuse。端點行為與你原本呼叫的託管 API 一致，換供應商不必重寫程式。
大型容器的快速冷啟動
冷啟動是多數無伺服器 GPU 服務最難看的地方。Tensorfuse 內建針對數 GB GPU 映像設計的容器執行環境，官方說法是可以秒級啟動。對你的意義是：閒置縮到零之後，第一個請求不會直接換來逾時。
一張 GPU 跑多個 LoRA
你可以在單張 GPU 上訓練並熱切換數千個 LoRA adapter。不必為每個客戶或每種任務各開一個端點，而是跑一個基礎模型，依請求載入對應的 adapter。做客戶客製化的團隊最划算，因為 adapter 數量不會再等於 GPU 數量。
用自己的訓練框架做微調
微調跑在你自己的雲端 GPU 上，框架可以是 Axolotl、Unsloth、Hugging Face 的函式庫，或自寫的訓練迴圈。資料集與產出的權重留在私有 S3 bucket。沒有專屬格式綁定，在筆電上試過的實驗，同一套腳本就能搬過來。
批次工作用的工作佇列
評測、資料回填、標註這類長工作不需要一個全天開著的端點。你用程式把工作排進佇列，設定最小與最大擴充數控制成本，再用一行指令查狀態。GPU 只在執行期間出現，跑完就消失，這正是按時計價該有的樣子。
與 IDE 同步的開發容器
不用 SSH 就能把本機程式碼接到雲端 GPU。你在編輯器裡繼續寫，改動即時同步到執行中的容器。想在真正部署前，先在真實硬體上驗證一次模型改動，這是最短的路。
優缺點
優點
- 模型權重、資料集與提示詞都留在自家雲端帳戶，面對資安審查時這是最有力的說法。
- GPU 時數計入既有的 AWS 帳單，承諾用量、抵用金與企業折扣都能抵。
- 任何容器都能跑，vLLM、SGLang、TensorRT-LLM 與自製 FastAPI 服務共用同一套部署流程。
- 叢集一小時內就能建好，擴充規則預先配好，不必自己刻。
- 多 LoRA 讓客戶專屬 adapter 的成本壓得很低，數千個共用一張 GPU。
缺點
- 第一次部署前需要有雲端管理權限與 GPU 配額，沒有基礎設施經驗的團隊會卡在門口。
- GPU 帳單仍由雲端廠商開出，最小副本掛著不動就是在燒錢，要自己調整數量。
- 沒有公開價目表，想跟託管 GPU 供應商比價，得先約業務談。
- Azure 與 GCP 的文件比 AWS 少很多，多雲團隊在首次部署會多花不少時間摸索。
常見問題
它在你自己的雲端帳戶裡安裝並維運一套無伺服器 GPU 架構。你給一個容器，它建好叢集、負載平衡器與自動擴充器，模型就在一個會隨流量擴充的 HTTP 端點後面服務。
相關內容
探索與 Tensorfuse 相關的工具、技能與文章。
Tensorfuse 替代方案
Base Code
Base44 (Wix) · 程式設計 · 生產力Base Code 是 Base44 推出的共享雲端開發環境。團隊在對話中描述對既有 GitHub 儲存庫的修改，看著預覽確認結果，再以 Pull Request 交回工程團隊。
Google EmbeddingGemma 2
Google DeepMind · 寫作 · 圖片 · 程式設計Google EmbeddingGemma 2 是 7.4 億參數的開源模型，能把文字、程式碼、圖片、音訊與影片畫面轉成同一個 768 維空間裡的向量，在手機與筆電上就能執行。
GitGlow
GitGlow · 程式設計 · 生產力GitGlow 是桌面版 Git 用戶端，把你自己的程式碼與 AI 代理程式的變更集中在同一份審查裡，讓你在交付前看清楚機器上究竟要送出什麼。