OpenFoundry
OpenFoundry (Arthur Chi, Tyler Lehman) · 程式設計
OpenFoundry 是一套開源 AI 部署平台，讓開發者在自己的雲端裡尋找、微調並執行開源模型，不必租用別人的 API。
關於 OpenFoundry
About
OpenFoundry 是什麼
OpenFoundry 來自舊金山的兩人團隊，2024 年由 Arthur Chi 與 Tyler Lehman 創立，背後有 50 萬美元資金。出發點說得沒錯：開源模型免費下載，執行起來卻很麻煩。官網承諾幫你挑到合適模型、點幾下滑鼠就完成微調，再送進自己的雲端，而這些正是託管 API 藏起來不給你看的工作。
現在真正下載得到的，是 Model Manager，一套以 MIT 授權釋出的 Python 命令列工具。它接收來自 Hugging Face 的模型、SageMaker 內建模型，或你手上既有的權重，然後在你的 AWS 帳號裡開一個 SageMaker 端點。設定只要兩道指令加一組金鑰，Hugging Face 部署到 AWS 不再是一場研究計畫。
動手花一個週末之前，有兩件事要先知道。部署只支援 AWS，而儲存庫最後一次提交停在 2024 年 5 月。openfoundry.ai 這個網域現在會跳轉到 Overheard，那是同批創辦人的另一項產品，所以請把程式碼當成真正的成品，託管平台則視為停擺狀態。
開始使用
- 建立 AWS 帳號，並產生 SageMaker 的存取金鑰。
- 複製 model_manager 儲存庫，執行
bash setup.sh，貼上金鑰並確認區域，預設是 us-east-1。 - 若打算部署 Llama 2 這類需要授權的模型，在設定腳本產生的
.env檔案裡補上HUGGING_FACE_HUB_KEY。 - 執行
python3 model_manager.py，選擇權重來源：Hugging Face、SageMaker，或自己的 S3 路徑與本機資料夾。小模型大約兩分鐘就能開好端點。 - 透過腳本、本機 FastAPI 伺服器或 SageMaker API 查詢端點。把工具寫進
/configs的 YAML 檔留著，下一次部署只要一道指令。
產品資訊
快速了解 OpenFoundry 的定價、支援平台與效能。
適合對象
這項工具最適合的使用者、任務與情境。
使用者
- 小型團隊的機器學習工程師：不必寫 Terraform 就能拿到可重複的 SageMaker 部署，當整條模型流程只有你一個人負責時，這點很實際。
- 獨立開發者：命令列工具免費、程式碼讀得懂，一個人一個下午就能把微調過的開源模型掛上端點。
- 資料不能外流的團隊：權重與推論請求都留在自家雲端帳號，這正是自行架設 AI 模型的根本理由。
任務
- 把原型從付費 API 搬走：把客戶端換成自己的端點、保留原本的提示詞邏輯，跑一個月真實流量後再比帳單。
- 架設內部語意搜尋服務：sentence transformer 類模型部署順利，也能直接透過內建的查詢伺服器回應。
- 在開源模型之間做選擇：平台原本就是圍繞「為用途挑模型」設計，只是這半套功能留在官網，沒有進到儲存庫。
情境
- 為堅持資料不離開自家 AWS 帳號的客戶做文件搜尋示範。
- 在資安團隊看得到日誌的 VPC 裡，執行 Llama 2 這類需要授權的模型。
- 從 CI 重複部署：提交 YAML、合併 pull request，管線就把端點重新建起來。
主要功能
先挑模型再投入
最初的賣點是從探索開始：描述用途、比較開源模型，再挑一個微調。那套流程放在託管產品裡，如今已不對新使用者開放。程式碼留下的是部署這一半，所以你得先在 Hugging Face 選好模型，再把名稱帶進命令列。
三種權重來源
可以從 Hugging Face 貼上完整模型名稱部署，例如 google-bert/bert-base-uncased；也能依框架從 SageMaker 模型目錄挑選；或用自己的檔案，給一條 S3 路徑或本機資料夾，工具會自動上傳。自有權重才是關鍵情境，多數團隊卡住的地方正是手動處理這一段。
YAML 設定與 CI 部署
每次部署都會寫出一份 YAML，記錄模型與端點。把檔案交回 --deploy，同一套堆疊就會再長出來，手動苦差事於是可以交給 CI 在合併時執行。開源模型部署之所以能重複，而不是一次性實驗，靠的就是這一步。
不用自己寫的查詢伺服器
uvicorn server:app 會起一個 FastAPI 服務，兩條路由：一條查端點資訊，一條做推論。可調整 temperature、top_k、top_p、最大 token 數與重複懲罰，測試模型時不必先接好客戶端函式庫。只支援文字模型。
你的雲端、你的帳單、你的資料
端點跑在你的 AWS 帳號與 SageMaker 額度上，資料不經過 OpenFoundry 的伺服器，採購與資料落地這類問題因此能早點結案。代價是就算沒有流量，計費錶也照樣在跑。
MIT 授權與讀得懂的程式碼
整套工具以 MIT 釋出，GitHub 上約有 350 顆星。你可以分支、依自家網路規則改寫部署路徑，或把 FastAPI 外層搬進自己的服務。不用註冊帳號、沒有按人頭收費、也不必排業務會議。
優缺點
優點
- MIT 授權的程式碼，讀得懂、可分支，廠商不再更新也能自己繼續跑。
- 從 Hugging Face 模型名稱到活著的端點只要幾分鐘，省下多數團隊會親手寫的 Terraform 與 ECS 設定。
- 權重與推論都留在自家 AWS 帳號，這是示範專案與通過資安審查之間的差別。
- YAML 設定加上 `--deploy` 參數，讓重複部署可以寫成腳本，也能接進 GitHub Actions。
- 現成的 FastAPI 查詢層，替每個新專案省下同樣的外層包裝。
缺點
- 只支援 AWS。Azure 與 GCP 列在待辦清單上，多雲環境的團隊只能自己分支或再等等。
- 內建查詢只處理文字模型，圖片、音訊與多模態得自備客戶端。
- 端點會按小時計費直到你刪除，而自動擴展無法從工具裡開關。忘記關掉的端點會實實在在燒錢。
- 儲存庫從 2024 年 5 月起就沒有動靜，官網也指向別處，你接手的是無人維護的專案，不是有支援的平台。
常見問題
不用。Model Manager 以 MIT 授權免費下載，託管平台也從來沒有公開定價。真正的支出是 AWS 帳單，每一個還開著的端點背後都有一台 SageMaker 執行個體在計費。
相關內容
探索與 OpenFoundry 相關的工具、技能與文章。
OpenFoundry 替代方案
Base Code
Base44 (Wix) · 程式設計 · 生產力Base Code 是 Base44 推出的共享雲端開發環境。團隊在對話中描述對既有 GitHub 儲存庫的修改，看著預覽確認結果，再以 Pull Request 交回工程團隊。
Google EmbeddingGemma 2
Google DeepMind · 寫作 · 圖片 · 程式設計Google EmbeddingGemma 2 是 7.4 億參數的開源模型，能把文字、程式碼、圖片、音訊與影片畫面轉成同一個 768 維空間裡的向量，在手機與筆電上就能執行。
GitGlow
GitGlow · 程式設計 · 生產力GitGlow 是桌面版 Git 用戶端，把你自己的程式碼與 AI 代理程式的變更集中在同一份審查裡，讓你在交付前看清楚機器上究竟要送出什麼。