LlamaIndex
LlamaIndex, Inc. · 行銷 · 其他
LlamaIndex 是一套開源資料框架，用來打造 RAG 應用與 AI 代理。你把私有檔案載入、建立索引，再把乾淨的上下文交給你原本就在用的模型。
關於 LlamaIndex
About
LlamaIndex 是什麼
LlamaIndex 是一套程式庫，位置在你的文件與語言模型之間。專案在 2022 年底以 GPT Index 之名問世，2023 年改成現在的名字，如今由舊金山的 LlamaIndex, Inc. 維護。程式碼採用 MIT 授權，你可以讀、可以分支，也可以直接放進商業產品裡，不必先問過誰。
它解決的問題很無聊，而且一直存在。模型認得公開網路，卻不認得你的合約、客服工單或實驗紀錄。LlamaIndex 提供的是管線：把這些檔案載入、切成節點、存進向量索引或關鍵字索引，等問題進來時再取回正確的片段。這個做法叫 RAG，而這套程式庫是多數團隊起步時會比較的兩個名字之一。
公司另外販售 LlamaParse 與 LlamaCloud，那是託管的文件解析、擷取與索引服務。這個切分很重要：框架本身不收費，但把一份掃描 PDF 變成可用文字的那部分屬於商業產品，以點數計價，而且不開源。
最主要的限制在於它給開發者用。開源這一側沒有拖拉式的視覺介面。你得寫 Python 或 TypeScript，自己設定金鑰，答案不對時也得自己回頭查檢索哪裡出了問題。
開始使用
- 先安裝核心套件
pip install llama-index-core，再裝對應模型的供應商套件，例如llama-index-llms-openai。 - 把 API 金鑰放進環境變數，或者把 Settings.llm 指向你本機執行的模型。
- 用 SimpleDirectoryReader 載入檔案，或改用 LlamaHub 上 Notion、Slack、S3、資料庫的連接器。
- 建立可持久化的索引，通常選向量索引，並存到磁碟，免得每次執行都重新算一次嵌入。
- 需要分支、重試或第二個代理時，把查詢引擎包進 Workflow，之後再部署成服務。
產品資訊
快速了解 LlamaIndex 的定價、支援平台與效能。
適合對象
這項工具最適合的使用者、任務與情境。
使用者
- 正在做第一個 RAG 應用的 Python 開發者：官方教學用幾十行程式就帶過載入、索引與查詢，但你得自備 API 金鑰或本機模型。
- 負責文件搜尋產品的 AI 工程師：檢索設定都是可以替換的物件，方便你用真實問題比較不同的切塊大小與重排模型。
- 被掃描紙本淹沒的資料團隊：LlamaParse 讀得懂一般 PDF 取字會弄壞的表格與手寫字，代價是消耗點數。
任務
- 回答內部文件相關問題：接上一個資料夾或雲端硬碟，建好索引，拿到的是附來源的答案，而不是一個靠猜的聊天視窗。
- 處理發票、合約與報告：擷取與分類的步驟把沒有結構的頁面轉成符合結構描述的 JSON，後續程式就不用再靠正規表達式硬拆文字。
- 打造多步驟的 AI 代理：事件驅動的工作流程把工作分派到各個步驟，你還能在不可逆的動作之前插入人工簽核。
- 測試檢索策略：混合搜尋、中繼資料篩選與重排模型都是獨立元件，可以個別量測，不必重寫整個應用。
情境
- 公司內部的知識庫試辦：核心框架免費，測試成本壓得很低，正好用來驗證檢索是否真的贏過一個搜尋框。
- 文獻與專利回顧：長篇 PDF 先經過文件解析，再由查詢引擎一次回答上百篇論文裡的問題。
- 還沒有基礎設施預算的早期產品：全部跑在本機的開放權重模型上，只付實際發出的模型呼叫費用。
主要功能
對接真實資料來源的連接器
LlamaHub 收納了數百個載入器與套件，涵蓋網路磁碟、Notion、Slack、Google Drive、SQL 資料庫與網頁爬取。它們都回傳同一種 Document 物件並附上中繼資料，所以無論文字來自哪裡，依日期或作者篩選的寫法都一樣。這種一致性省去你為每個來源各寫一個轉接層。
多種索引型態與混合檢索
你不會被綁在一種檢索方式上。向量索引處理語意相近的內容，關鍵字索引抓得到精確的名稱與編號，摘要索引則負責那些需要整份文件而非單一段落的問題。你可以用路由器把它們串起來，或用一個檢索器合併兩邊結果，再疊上一層重排。多數團隊在第一批爛答案出現之後，最後都走向混合檢索。
事件驅動的工作流程
Workflow 取代了過去那種硬梆梆的鏈式流程。每個步驟訂閱事件、往下傳遞有型別的結果，可以迴圈、分支，也可以停下來等人核准。因為它就是普通的非同步 Python，你可以先把部分輸出串給使用者，其餘的繼續跑。流程離開筆記本之後，還能直接部署成微服務。
以 LlamaParse 處理文件
LlamaParse 針對的是會讓一般載入器失效的檔案：掃描頁、密集表格、圖表與手寫內容。輸出可以是 Markdown、純文字、逐頁 JSON 或 XLSX，官方表示支援超過 130 種檔案格式與 80 種語言。解析模式按工作挑選，乾淨的數位 PDF 走便宜設定，品質差的掃描件再交給較慢的代理模式。
LlamaCloud 平台
LlamaCloud 把解析、擷取、分類、切分與索引收在同一組帳號與同一把 API 金鑰後面。你在網頁主控台試一份檔案、存下一組設定，之後在程式裡呼叫同一組設定即可。每個動作都扣點數，而快取過的重複解析不計費，這在你反覆調整提示詞或結構描述時很有感。
評估與追蹤
程式庫內建模組，可以用你自己的測試問題替答案的忠實度與相關性打分，也能接上 Arize Phoenix、LangSmith 這類追蹤工具。當有人問某次提示詞改動到底有沒有讓產品變好，你手上有數字可以回答。少了這個循環，調整檢索就只是憑感覺。
優缺點
優點
- 檢索是整個設計的重心，因此要跑出一條可用的 RAG 流程，需要的黏著程式碼比通用型代理框架少很多。
- 核心以 MIT 授權釋出，不收人頭費，你也完全可以自己架起整套系統。
- 模型與向量資料庫的供應商都能替換，不會被單一廠商的價格綁住。
- LlamaParse 讀得懂表格、圖表與掃描件，這些正是單純取字會變成亂碼的內容。
- Workflow 提供分支、重試與人工審核，全部留在同一套程式庫裡完成。
缺點
- 全部都要寫程式。期待視覺化建立工具的團隊，從第一天就得有開發者參與。
- 版本更新很快，API 也常改名，一年前的教學往往一匯入就報錯。
- LlamaCloud 以點數計費，1,000 點等於 1.25 美元，在拿真實檔案測試之前，每月花費很難估算。
- 最好的文件解析屬於付費且不開源的部分，完全開源的部署在 PDF 處理上會弱一截。
常見問題
框架免費，採 MIT 授權，Workflow 與 LlamaHub 的整合也包含在內。模型的 token 仍要付給供應商，LlamaCloud 或 LlamaParse 的用量則另外計費。
相關內容
探索與 LlamaIndex 相關的工具、技能與文章。
LlamaIndex 替代方案
ngram 2.0
ngram · 影片 · 行銷ngram 2.0 是給團隊使用的 AI 影片生成器。一句描述、一段螢幕錄影或一個產品網址，就能變成配好旁白的解說影片、產品示範或 AI 虛擬主播影片，而且每個場景都還能修改。
shippedit.me
Krawlup · 行銷 · 商業shippedit.me 現在會轉向 Krawlup，這是一個每週稽核 SEO、AEO 與載入速度的網站平台，並透過 MCP 把修正交給 AI 編碼代理執行。
MePersona
MePersona, Inc. · 寫作 · 生產力 · 行銷MePersona 是為創作者設計的 AI 統一收件匣。它學習你的說話方式，在 12 個平台上草擬粉絲訊息回覆，只送出你核准的內容。