Magentic-UI
Microsoft Research (AI Frontiers) · 程式設計 · 生產力
Magentic-UI 是微軟的開源研究原型,讓你即時操控一個網頁代理。它上網、執行程式、處理檔案,而你在過程中規劃、核准,隨時接手。

關於 Magentic-UI
About
Magentic-UI 是什麼
Magentic-UI 是微軟研究院的實驗性網頁代理。它會開啟瀏覽器,處理填表單、蒐集資料、瀏覽儀表板這類多步驟任務,並讓你盯著每一步。它不躲在黑箱裡,而是攤開自己的計畫、下一個點擊,以及剛讀過的那一頁。
這個專案從 Magentic-One 長出來,那是微軟的多代理團隊,底層則跑在該公司的代理框架 AutoGen 上。你得到一小組專家分工:負責規劃的協調者、操作瀏覽器的 WebSurfer、撰寫並執行 Python 或 Shell 的程式代理,以及處理檔案的代理。它以 MIT 授權釋出,所以你能讀程式碼、fork 出來,研究這些代理怎麼協同。
重點是搞清楚它算哪種產品。Magentic-UI 是研究原型,不是完成度高的辦公工具。沒有註冊頁面,任務失敗時也沒有廠商可以打電話。你得自己安裝,接上一個要付費的模型端點,然後接受有些任務就是會失敗。微軟把它定位給想研究或延伸人機互動的人,官方文件也直白點出它處理不好的任務。
開始使用
- 安裝 Python 3.12 與虛擬環境,再從 PyPI 裝上套件
- 在本機某個連接埠啟動伺服器,用瀏覽器打開
- 在初始設定中接上模型端點,可用 Azure AI Foundry、OpenAI,或自己代管的模型
- 建立一個任務工作階段,檢視代理提出的計畫,需要就修改,然後核准執行
- 盯著每一步,想插手就插手,並把計畫存起來,之後用在類似任務上
產品資訊
快速了解 Magentic-UI 的定價、支援平台與效能。
適合對象
這項工具最適合的使用者、任務與情境。
使用者
- AI 研究者:研究人機互動與代理監督的人,需要透明的測試環境,而不是封閉產品
- 開發網頁代理的工程師:想要 MIT 授權的底層,以及能自行延伸的多代理架構
- 自動化玩家:技術上手、願意在自己機器跑伺服器並接上自有模型金鑰的人
- 評估電腦操作代理的產品團隊:想先用真實案例摸清網頁代理的能耐,再決定要不要找廠商
任務
- 跨站研究:把好幾個頁面與檔案的資料蒐集到一份摘要,代理會不斷回頭更新
- 瀏覽器填表:一步步走完報帳表單、訂票流程與帳號註冊
- 比價與查庫存:比對食材、票券或商品的標價與供貨,再把結果整理起來
- 本機檔案整理:在一項大任務裡,順手排序、重新命名、搬移自己電腦上的檔案
- 搭配程式的分析:讓代理寫一段腳本,解析或畫出它從網路上蒐集到的資料
情境
- 任務中途需要判斷:代理停下來,你讀一下頁面,核准或改方向之後它才繼續
- 想先看再信任:先跑一個風險低的小任務,看過它的表現後再放寬核准設定
- 每週固定跑一次的研究流程:把成功的計畫存起來,下次直接重播,不必重做
- 幫團隊測試代理:給同事一套共用、透明的環境,讓他們看清電腦操作代理實際在做什麼
主要功能
協同規劃與計畫編輯器
動手之前,Magentic-UI 會先寫出逐步計畫交給你。你可以在計畫編輯器裡改步驟、增刪步驟,或直接用文字給回饋來引導方向。只有你核准後才會開始執行,所以壞策略在耗掉時間之前就能被修正。存下來的計畫也能在下次任務叫出來,不必從空白開始。
協同執行與即時接手
執行過程中,代理會說明它下一步要做什麼、剛看到什麼,例如即將點哪個按鈕、在頁面上讀到什麼。你隨時能把任務暫停、打一行修正,或直接接管瀏覽器自己做完這步,再把控制權交回去。這就是它和設定完就不管的自動化工具不同之處:你看得到、也能即時調整每個動作,所以始終留在流程裡。
敏感步驟的動作防護
代理的動作防護會在難以回復的操作前停下,等你點頭才進行,例如送出付款或寄出郵件。這些檢查點要多密集由你決定,從每個有風險的動作出手,到對信任任務放寬的設定。任何不可逆的事沒你同意就不會跑,這是整個專案背後的安全核心。
瀏覽器與程式碼的沙箱
瀏覽器工作階段和代理寫的程式碼都跑在 Docker 沙箱裡,與你機器的其他部分隔開。這層隔離很重要,因為代理會連上真實網站,萬一出錯,獨立環境能限制它在你系統上碰到的範圍。你也可以限定它能造訪哪些網站,讓它待在你設下的界線內。
架構在 AutoGen 上的多代理分工
Magentic-UI 把工作拆給專門的代理,而不是叫一個模型全包。協調者負責規劃與分派,WebSurfer 操作瀏覽器,程式代理撰寫並執行腳本,檔案代理處理文件與資料夾。因為它建在 AutoGen 上、又說 Model Context Protocol,你能把自己寫的工具和代理加進這個團隊。專案也和 Azure AI Foundry 的模型與代理整合。
計畫學習與重用
代理會從跑得順的經驗裡學。它能將完成的計畫存進一個收藏庫,之後再取用,可能是對類似任務自動挑選,也可能由你從清單手動拿。對於反覆出現的工作,像每週的資料抓取或固定表單,這能省下前置時間,也把代理導向你早已核准過的做法。重用,就是你陪它跑第一遍的回報。
平行執行多個任務
你可以同時跑好幾個任務工作階段,工作階段指示器會告訴你哪一個需要你出手、哪一個已經完成。由於代理在檢查點要靠你輸入,平行跑能讓你忙著核准,而不是枯等單一代理推進。這讓人在流程中的模式,更像是在監督一支小團隊。
優缺點
優點
- 以 MIT 授權免費開源,每一部分你都能讀、能改
- 設計上就透明:計畫、每個動作與時間軸都攤在眼前,你永遠知道代理在做什麼
- 風險動作有人為檢查點,你保有控制權,又不必盯著每一次點擊
- 瀏覽器與程式碼的沙箱,限制一步走錯時在你機器上能觸及的範圍
- 儲存與重用計畫,把一次順利的執行變成可重複的流程
缺點
- 它是研究原型,要有心理準備遇到粗糙之處,以及它乾脆做不完的任務
- 安裝假設你有技術底子:自己架設,還要接上一個付費的模型端點
- 沒有商業支援或服務水準協議,問題得靠文件與 GitHub issue 解決
- 模型品質決定結果,端點弱或便宜,代理的能力就明顯打折
常見問題
Magentic-UI 是微軟的開源研究原型,主打以人為中心的網頁代理。它上網、撰寫並執行程式碼,也處理檔案,同時攤開自己的計畫與動作,讓你檢視、暫停或接手。它的用途是研究與打造人機協作代理系統,不是當成完成品來辦公。
相關內容
探索與 Magentic-UI 相關的工具、技能與文章。
Magentic-UI 替代方案
Forefront
Forefront · 程式設計Forefront 是一個用來打造開源 AI 的網頁平台。你可以用自己的資料微調主流的開源語言模型、評估它們的表現,再透過 API 執行,或匯出後自行架設。想要封閉式平台的便利、卻堅持要自己擁有模型與資料的開發者,就是這裡的目標客群。
Startkit
StartKit.AI · 程式設計Startkit 是一套用來打造 AI SaaS 與 AI 包裝產品的樣板。可以把它想成一個 AI 新創樣板,把枯燥的部分都先接好了:驗證、Stripe 與 Lemon Squeezy 付款、用量限制、交易型電子郵件,以及一套能與 OpenAI、Anthropic、Groq 或 Llama 溝通的 AI API 啟動套件。你複製儲存庫、設定價格,然後專心在產品中使用者真正願意付費的部分。它建構於 React 與 Tailwind 之上的 Next.js,所以大部分的樣板程式碼對你來說並不陌生。
Testim
Tricentis · 程式設計Testim 是專為網頁、行動與 Salesforce 應用程式打造的 AI 測試自動化平台,用來建立並執行端到端測試。它靠機器學習在介面變動時維持測試穩定,團隊因此少花時間修補壞掉的定位器。對於一款今天就能開始使用的自動化測試工具來說,這表現不算差。你透過在瀏覽器錄製動作來建立測試,需要更多控制時再補上 JavaScript。對忙碌的 QA 團隊來說,這是個可靠的選擇。
