OnDemand
OnDemand AI · 行銷 · AI 學習 · 其他 · 聊天機器人
OnDemand 是以 RAG 為核心的 AI 平台，團隊可在私有資料上打造 AI 代理程式，再用 API 發布，並有模型目錄與自帶模型的選項。
關於 OnDemand
About
OnDemand 是什麼
OnDemand AI 是一套人工智慧 PaaS，用途是把代理程式放進企業已經在跑的系統。你把平台接上自家文件與服務，挑一個模型，再把成果發布成代理程式、對話端點或工作流程。
檢索增強生成是產品的主軸，不是附加功能。幾乎每項工具都為了用公司資料回答問題，以及到外部系統執行動作而存在，因此檢索怎麼搭，比提示詞怎麼寫更影響結果。
限制主要在適用對象。OnDemand 假設使用者熟悉 API 與結構化資料，沒有面向一般消費者的 App，付費方案也按專案報價，官網不公開價目表。
開始使用
- 在 app.on-demand.io 註冊帳號，打開 Playground 先試模型，不必寫程式。
- 在後台產生 API 金鑰，對 https://api.on-demand.io/ 送出第一個請求。
- 上傳文件或連接資料來源，建立知識代理程式，讓回答來自這些內容。
- 加上工具、REST 代理程式或流程，再把整套設定發布成應用程式呼叫的端點。
產品資訊
快速了解 OnDemand 的定價、支援平台與效能。
適合對象
這項工具最適合的使用者、任務與情境。
使用者
- 後端與全端開發者：平台預設你會處理 API 金鑰、JSON 內容與請求頻率上限，適合不想自己接檢索與模型路由的人。
- 中型企業的 AI 工程師：BYOI 與 BYOM 保住既有的推論環境或調校過的模型，代理程式、資料與存取控制交給 OnDemand。
- 手上已有資料的產品團隊：客服工單、合約或內部 wiki 直接變成回答來源，不必另外開一個向量資料庫專案。
任務
- 用說明中心文章與歷史工單打造客服助理，回答以來源文件為依據。
- 把內部 REST 服務包成代理程式，讓一次對話請求就能查訂單狀態或開立工單。
- 在同一批私有資料上比較多個模型，再決定用哪家，因為同一個代理程式背後可以換模型。
情境
- 幾週內就要展示 AI 成效的試辦案：Playground 與預建代理程式省下開工期的搭建工作。
- 不能把文件送到陌生端點的受監管團隊：BYOM 跑在專用 GPU 上，推論留在自己控制的基礎設施。
- 收件、分類、分派這類多步驟的後勤作業，用一條流程取代一整串腳本。
主要功能
模型目錄與 Playground
OnDemand 內建文字、視覺與資料任務的託管模型目錄，Playground 讓你先比較再決定。同一個提示詞可以丟給多個模型，留下符合預算與延遲要求的那一個。想在動手建置前確認任務做不做得成，這是最快的方法。
BYOI 與 BYOM
Bring Your Own Inference 把 OnDemand 指向你已經在跑的端點。Bring Your Own Model 更進一步：用專用裸機 GPU 在 vLLM 上部署 Hugging Face 模型，私有權重用自己的權杖。調校過的模型因此能留在正式環境，不必搬資料，也不必付兩次主機費。
代理程式與連接器
代理程式把模型帶出對話框。REST 代理程式把 OpenAPI 結構描述變成可呼叫的動作，知識代理程式從索引文件回答，連接器則以 OAuth 接上外部服務。MQTT 的 IoT 代理程式與終端機代理程式涵蓋裝置與伺服器，流程碰到硬體時就派得上用場。
代理程式流程建構器
建構器把模型、代理程式與邏輯串成可重複的管線。節點負責分支、資料轉換與工具呼叫，多步驟工作因此跑成一條流程，而不是一排排程腳本。發布後的流程有獨立端點與執行紀錄，出錯時比較好追。
RAG 向量檢索與檔案處理
上傳的檔案會經過解析、切塊，存進平台代管的向量資料庫。回答建立在這些段落上，檢索設定也開放調整切塊大小與結果數量。檔案處理吃得下大檔，兩百頁的 PDF 不會卡住匯入。
API、Webhook 與無伺服器應用
每個物件都有 API：對話、代理程式、流程與執行，共用同一組基礎網址、金鑰與頻率上限。Webhook 在執行結束後把結果送回你的系統。無伺服器應用把小型函式放在代理程式旁邊，需要維運的服務因此少幾個。
優缺點
優點
- 檢索、代理程式、流程與 API 存取都在同一處，做一個 RAG 功能不必找四家廠商。
- 專用 GPU 上的 BYOM 對有隱私要求的團隊是可行選項，不是宣傳話術。
- Playground 把模型比較從好幾天縮短到一個下午。
- 發布後的流程看得到執行紀錄，代理程式答錯時有線索可查。
缺點
- 價格按專案報價，光看官網估不出月費，預算簽核會拖比較久。
- 平台預設使用者懂 API。非技術背景的人會覺得後台資訊密集，文件也偏開發者取向。
- 檢索品質仍取決於文件怎麼整理。來源結構鬆散時，回答會很肯定卻是錯的。
常見問題
OnDemand 用來把 AI 代理程式與檢索加進既有產品。常見做法包括以公司文件為底的回覆助理、呼叫內部 API 的對話端點，以及自動化的後勤流程。
相關內容
探索與 OnDemand 相關的工具、技能與文章。
OnDemand 替代方案
ngram 2.0
ngram · 影片 · 行銷ngram 2.0 是給團隊使用的 AI 影片生成器。一句描述、一段螢幕錄影或一個產品網址，就能變成配好旁白的解說影片、產品示範或 AI 虛擬主播影片，而且每個場景都還能修改。
shippedit.me
Krawlup · 行銷 · 商業shippedit.me 現在會轉向 Krawlup，這是一個每週稽核 SEO、AEO 與載入速度的網站平台，並透過 MCP 把修正交給 AI 編碼代理執行。
MePersona
MePersona, Inc. · 寫作 · 生產力 · 行銷MePersona 是為創作者設計的 AI 統一收件匣。它學習你的說話方式，在 12 個平台上草擬粉絲訊息回覆，只送出你核准的內容。