AnythingLLM
Mintplex Labs · 生產力
AnythingLLM 是在你自己電腦上執行的本機 AI 助理，能與文件對話、整理會議紀錄、執行代理任務。桌面版免費，雲端代管每月 50 美元起。
關於 AnythingLLM
About
AnythingLLM 是什麼
AnythingLLM 是 Mintplex Labs 開發的私有 AI 工作區。安裝之後，把資料夾、PDF、網頁或會議錄音指給它，接著就能針對這些素材提問。答案會附上引用來源，預設由跑在你硬體上的模型產出。
真正省下的是那些雜事。免費桌面版不用註冊、不用 API 金鑰、也不會每個月寄來 token 帳單。檔案留在自己的硬碟裡，處理合約、病歷或還沒發表的規格時，這一點差別很大。斷網也照樣能用，飛機上或管制嚴格的辦公室都不再是問題。
限制來自硬體與範圍。小型本機模型回答很快，推理卻不如頂尖模型，4B 模型擺在入門筆電上，遇到多步驟任務就開始出錯。AnythingLLM 的解法是讓你改接 OpenAI、Anthropic、Gemini 或區網上的伺服器，需要更強推理時就換過去。它做不到的，是把弱機器變成強機器。
開始使用
- 從 anythingllm.com 下載桌面版，或改用 Docker 映像自架 AI。單一檔案，不必裝相依套件，也不用登入。
- 挑一個模型。AnythingLLM 會依你的記憶體與顯示卡推薦一個裝得下的，也能直接幫你下載。想接雲端服務商金鑰，或連上區網的 LM Studio、Ollama、llama.cpp 都可以。
- 建立工作區，把文件丟進去。PDF、Word、試算表、程式碼、網址與音訊都會被解析，寫進本機 RAG 索引。
- 開始提問。答案會標出來源段落，採信之前先點開核對。
- 補上其他工具：網路搜尋、背景任務、會議助理，或直接用 AnythingLLM API 從自己的程式碼控制它。
產品資訊
快速了解 AnythingLLM 的定價、支援平台與效能。
適合對象
這項工具最適合的使用者、任務與情境。
使用者
- 重視隱私的專業人士：律師、臨床人員與財務人員可以直接查詢敏感檔案，不必上傳到任何地方。代價是運算落在自己的機器上，因此記憶體 16GB 以上的近期筆電才算實用門檻。
- 獨立研究者與分析師：一個工作區就能收攏整個專案的來源，引用會指回原始段落。需要大量整合歸納時，另外接雲端模型會更順。
- 小型 IT 團隊：Docker 版本讓每個人擁有獨立工作區，可設角色與管理權限，跑在既有硬體上。五到五十人的規模合適，五百人的大規模佈署就不適合。
任務
- 查詢文件庫：把一整批合約、技術手冊或一整年的客服工單載進來，一次問遍全部內容。本機 RAG 把索引留在硬碟，資料不會離開機器。
- 整理會議紀錄：內建的會議助理會在自己的電腦上錄音、轉文字並摘要，掛電話時待辦事項已經列好。它不加入通話，因此對方檢查參與者名單時看不到陌生機器人。
- 依內部素材起草文件：代理會讀取工作區、搜尋網路、寫出檔案，報告初稿因此帶著真實來源，而不是憑空生成。
- 為團隊架設私有助理：放在 VPN 後方的自架實例，讓同仁用到類似 ChatGPT 的介面，公司資料不必繞過第三方。
情境
- 在飛機上或管制廠區工作：模型、文件與對話紀錄都在本機，沒有連線也能繼續運作。
- 交易前先審閱敏感資料集：直接提問並取得引用，不需要簽資料處理協議，因為資料從未經過網路。
- 用不能上傳的素材寫東西：未發表的研究、原始碼或客戶資料留在自己硬碟裡建索引，你照樣能動筆。
主要功能
本機文件對話
每個工作區各有自己的文件集，AnythingLLM 會把 PDF、Office 檔、試算表、程式碼、音訊與網址轉成可搜尋的索引。答案裡夾帶引用，直接指向被引用的段落，核對說法只要一次點擊，不用回頭翻找。這是產品核心：離線與文件對話，資料放在自己的硬碟，沒有上傳這一步。
依硬體挑模型
桌面版內建以 llama.cpp 為底的引擎，由 AMD 的 Lemonade 管理，2026 年底取代原本的 Ollama 相依，下載更小、Windows 支援也更完整。首次啟動會檢查記憶體與顯示卡，推薦一個真的載得進去的模型。你可以照用，也能從 Hugging Face 下載 GGUF，或改接雲端服務商。換電腦之後這款 App 依然好用，靠的就是這種彈性。
會議助理
通話在自己的機器上錄音、轉文字、摘要，附上發言者標記與結尾的待辦清單。它靠系統音訊運作，不加入會議，因此任何平台都能用。差別很實際：參與者名單不會冒出陌生機器人，錄音也不會落到服務商的伺服器。轉錄結果會進到工作區索引，三週前的通話照樣能拿來提問。
代理與排程任務
代理能搜尋網路、讀取工作區文件、執行程式碼、寫出檔案。自訂工具用 JavaScript 就能組出來，背景任務則依排程送出提示詞，處理每天早上彙整新文件這類例行工作。Docker 版本另外開出 AnythingLLM API，用 HTTP 呼叫同樣的能力，腳本或其他應用都能觸發工作區。
自架多使用者佈署
Docker 映像把單機版變成共用伺服器。每位使用者有獨立工作區，管理者決定哪些模型與工具可見，整個介面也能換上你的品牌。Enterprise 版本再加上 SSO 與角色權限控管。企業想擁有私有 AI 工作區又不想自己從零打造，這是最短的路。
行動版與桌機配對
AnythingLLM Mobile 直接在 Android 手機上跑小型 GGUF 模型，離線也能用網路搜尋、文件檢索與排程任務。透過區網與桌機配對後，手機就能觸及完整工作區與更大的模型。對話、檔案與討論串保持同步，不需要帳號，也不經過第三方轉送。
優缺點
優點
- AnythingLLM Desktop 免費，不用帳號也不用 API 金鑰，進入成本是零。
- 文件、向量索引與對話紀錄都留在自己的機器，多數雲端工具要求的審查流程可以直接省掉。
- 模型選擇真的開放：本機 GGUF、區網伺服器或大型雲端服務商，可依工作區切換。
- Docker 版本提供使用者隔離、管理權限與白牌介面，跑在你已經付費的硬體上。
- 手機版透過自己的網路與桌機配對，行動存取不必再多開一個雲端帳號。
缺點
- 回答品質跟著硬體走。小型本機模型摘要沒問題，多步驟推理卻容易失手，反應出來就是籠統或不完整的答案。
- 部分主打功能落在付費方案。免費版涵蓋對話、RAG 與代理，會議助理與 Magic 系列功能屬於付費產品。
- 自架是實打實的伺服器工作：Docker、模型儲存、備份與升級都得自己顧，模型挑錯還會讓 App 看起來像壞了。
- 雲端代管每月 50 美元起，Basic 方案仍得自備 LLM 金鑰，標價不是全部帳單。
常見問題
它是一個處理自有檔案的本機 AI 助理。把文件放進工作區，提出問題，就會得到附引用的答案，模型跑在你的電腦或你掌控的伺服器上。會議、網路搜尋與代理把同一個工作區延伸到筆記與任務自動化。
相關內容
探索與 AnythingLLM 相關的工具、技能與文章。
AnythingLLM 替代方案
Base Code
Base44 (Wix) · 程式設計 · 生產力Base Code 是 Base44 推出的共享雲端開發環境。團隊在對話中描述對既有 GitHub 儲存庫的修改，看著預覽確認結果，再以 Pull Request 交回工程團隊。
Knocket
Knocket (Tencent RTC team) · 生產力 · 商業 · 聊天機器人Knocket 是免費的線上客服與聯絡頁面工具，訪客可從網站、App 或一條分享連結傳訊息，你在 Telegram 或單一收件匣就能回覆。
FloorGen
Vinit Kumar (FloorGen) · 生產力 · 中國 AIFloorGen 是瀏覽器上的平面圖製作工具，能把一句描述或一張草圖變成可編輯的 2D 平面圖與 3D 導覽。可匯出 PDF、DXF 或影片，不註冊也能開始畫。