Magentic-UI
Microsoft Research (AI Frontiers) · コーディング · 生産性向上
Magentic-UIはMicrosoftのオープンソース研究プロトタイプで、リアルタイムに操作できるWebエージェントだ。閲覧やコード実行、ファイル操作をこなし、その間あなたが計画し、承認し、引き継ぐ。

Magentic-UI について
About
Magentic-UIとは何か
Magentic-UIはMicrosoft Researchによる実験的なWebエージェントだ。ブラウザを開き、フォーム入力やデータ収集、ダッシュボードの操作といった多段階のタスクを処理しながら、すべての動きをあなたに見せる。ブラックボックスに隠れず、計画と次のクリック、いま読んだページを開示する。
このプロジェクトはMicrosoftのマルチエージェントチームであるMagentic-Oneから生まれ、同社のエージェントフレームワークAutoGen上で動く。役割を分けた少人数の専門家チームが手に入る。計画を立てるオーケストレーター、ブラウザを操るWebSurfer、PythonやShellを書いて実行するコーダー、ファイルを扱うエージェントだ。MITライセンスで公開されているので、コードを読み、フォークし、エージェント同士がどう連携するかを調べられる。
見落とせないのは、これがどんな製品かという点だ。Magentic-UIは研究プロトタイプであって、完成した仕事用ツールではない。登録ページもなければ、タスクが失敗したときに連絡できるベンダーもない。自分で導入し、費用を払うモデルのエンドポイントをつなぎ、一部のタスクは失敗すると受け入れる。Microsoftは、人とエージェントの相互作用を研究したい人、その上に何かを作りたい人に向けて位置づけており、公式ドキュメントも苦手なタスクを率直に挙げている。
はじめかた
- Python 3.12と仮想環境を用意し、PyPIからパッケージをインストールする
- ローカルのポートでサーバーを起動し、ブラウザで開く
- 初期設定でモデルのエンドポイントをつなぐ。Azure AI Foundry、OpenAI、あるいは自分でホストするモデルを選ぶ
- タスクセッションを作り、エージェントが提案した計画を確認し、必要なら編集して実行を承認する
- 各ステップを見守り、必要なら介入し、計画を保存して似たタスクに使い回す
AIツール情報
Magentic-UIの料金、対応プラットフォーム、性能を簡単に確認できます。
こんな人におすすめ
このツールが最も力を発揮するユーザー、タスク、シーン。
ユーザー
- AI研究者:人とエージェントの相互作用や監督の仕組みを調べる人。閉じた製品ではなく透明な実験場を必要とする
- Webエージェントを作る開発者:MITライセンスの土台と、拡張できるマルチエージェント構成を求めるエンジニア
- 自動化好きのユーザー:自分のマシンでサーバーを動かし、手持ちのモデルキーをつなぐことに抵抗がない技術者
- コンピュータ操作エージェントを検討するプロダクトチーム:ベンダーを決める前に、実際の参考例でブラウザエージェントを見極めたいチーム
タスク
- 複数サイトの調査:複数のページやファイルから事実を集め、エージェントが何度も見返す1つの要約にまとめる
- ブラウザでのフォーム入力:経費精算、予約の流れ、アカウント登録を1ステップずつ進める
- 価格と在庫の確認:食材やチケット、商品の掲載情報を比べ、結果をひとまとめにする
- ローカルファイルの整理:より大きなタスクの一部として、自分のマシン上のファイルを並べ替え、改名し、移動する
- コードを使った分析:Webから集めたデータを解析・グラフ化するスクリプトをエージェントに書かせる
シーン
- 途中で判断が要るタスク:エージェントが止まり、あなたがページを読み、承認するか方向を変えてから再開する
- 信頼する前にまず見る:リスクの低いタスクから走らせ、挙動を確かめてから承認の設定を緩める
- 毎週繰り返す調査の流れ:うまくいった計画を保存し、次回は作り直さず再生する
- チームでエージェントを試す:同僚に共有できる透明な環境を渡し、コンピュータ操作エージェントが実際に何をするかを見せる
主な機能
計画エディタによる共同計画
何かに触れる前に、Magentic-UIはタスクの手順を段階的に書き出し、あなたに渡す。計画エディタで手順を編集し、追加や削除をし、あるいは文章でフィードバックを送って進め方を導ける。実行は承認後にしか始まらないので、見当違いの戦略を時間を浪費する前に直せる。保存した計画は次のタスクで呼び出せるため、白紙から始めずに済む。
共同実行とライブでの引き継ぎ
実行中、エージェントは次に何をするか、直前に何を見たかを告げる。クリックしようとしているボタンや、ページで読んだ内容などだ。いつでもタスクを一時停止し、修正を打ち込むか、ブラウザを自分で握ってそのステップをこなし、制御を戻せる。設定したら放置する自動化ツールとの違いはここにある。各動作をその場で見て操作できるから、あなたは輪の中にとどまる。
重要ステップでのアクションガード
エージェントのアクションガードは、支払いの送信やメールの送信など、取り消しにくい操作の前に実行を止め、あなたの承認を待つ。このチェックポイントをどれくらいの頻度で発動させるかはあなたが決める。危険な操作ごとに確認する設定から、信頼したタスク向けの緩い設定まで選べる。取り返しのつかないことは同意なしには動かない。これがプロジェクト全体を支える安全の考え方だ。
ブラウザとコードのサンドボックス
ブラウザセッションとエージェントが書くコードは、Dockerのサンドボックス内で動き、あなたのマシンの他の部分から切り離される。この分離が効くのは、エージェントが生きたサイトに到達するからだ。何か問題が起きても、独立した環境があなたのシステム上で触れられる範囲を狭める。訪問を許可するサイトを限定すれば、設定した境界の内側にとどまる。
AutoGen上のマルチエージェント構成
Magentic-UIは、1つのモデルにすべてを任せるのではなく、専門のエージェントに仕事を分ける。オーケストレーターが計画と委任を担い、WebSurferがブラウザを操り、コーダーがスクリプトを書いて実行し、ファイルエージェントが文書とフォルダを扱う。AutoGenを土台にし、Model Context Protocolを話すため、自作のツールやエージェントをチームに加えられる。Azure AI Foundryのモデルとエージェントとの連携も備える。
計画の学習と再利用
エージェントはうまくいった実行から学ぶ。仕上がった計画をギャラリーに保存し、後で取り出せる。似たタスクなら自動で、あるいは一覧から手動で選ぶ。毎週のデータ収集や定型的なフォームなど繰り返す作業では、準備の時間を削り、すでに承認したやり方へエージェントを寄せていく。再利用は、最初の1回を導いた見返りだ。
タスクの並行実行
複数のタスクセッションを同時に走らせられる。セッションの表示が、どれがあなたの入力を待ち、どれが終わったかを教える。エージェントはチェックポイントであなたの判断に頼るため、並行して走らせれば、1つのエージェントの進行を待つ代わりに承認作業で手が埋まる。ヒューマン・イン・ザ・ループの仕組みが、小さなチームを見張る感覚に近づく。
メリットとデメリット
メリット
- MITライセンスで無料のオープンソース。どの部分も読めて手を入れられる
- 設計からして透明。計画、各動作、時系列が見えるので、エージェントの行動を常に把握できる
- 危険な操作の人為チェックポイントで、毎クリックを見張らずに制御を保てる
- ブラウザとコードのサンドボックスが、誤りの及ぶ範囲をあなたのマシン内で抑える
- 計画の保存と再利用で、うまくいった1回が繰り返せる流れになる
デメリット
- 研究プロトタイプなので、粗さや、こなせないタスクを覚悟する必要がある
- 導入には技術的な慣れが要る。自分で立ち上げ、有料のモデルエンドポイントをつなぐ
- 商用サポートやSLAはなく、問題はドキュメントとGitHubのissueで解決する
- 結果はモデルの質に左右され、弱い安価なエンドポイントではエージェントの能力が目に見えて落ちる
よくある質問
Magentic-UIは、人を中心に据えたWebエージェントのためのMicrosoftのオープンソース研究プロトタイプだ。Webを閲覧し、コードを書いて実行し、ファイルを扱う。その間、計画と動作を開示するので、確認し、一時停止し、引き継げる。人とエージェントが協働する仕組みを研究し作るためのもので、完成した業務製品ではない。
関連コンテンツ
Magentic-UIに関連するツール、スキル、記事を探す。
Magentic-UIの代替ツール
Forefront
Forefront · コーディングForefrontはオープンソースAIで構築するためのウェブプラットフォームだ。主要なオープンソース言語モデルを自分のデータで微調整し、性能を評価し、API経由で実行したり、エクスポートして自分でホストしたりできる。クローズドなプラットフォームの手軽さを求めつつ、モデルとデータの所有権にはこだわる開発者が対象だ。
Startkit
StartKit.AI · コーディングStartkitは、AI SaaSとAIラッパー製品を作るためのボイラープレートだ。面倒な部分をあらかじめ配線済みにしたAIスタートアップボイラープレートと考えればいい。認証、StripeとLemon Squeezyの決済、利用制限、トランザクションメール、そしてOpenAI、Anthropic、Groq、Llamaと通信するAI APIスターターキットが含まれる。リポジトリをクローンして価格を設定し、ユーザーが実際にお金を払う部分に取りかかれる。ReactとTailwind上のNext.jsで作られているため、ボイラープレートコードの多くはすでに見慣れたものだ。
Testim
Tricentis · コーディングTestimは、Web・モバイル・Salesforceアプリ向けにエンドツーエンドテストを構築して実行するAIテスト自動化プラットフォームだ。機械学習を頼りに、インターフェースが変わってもテストを安定させ、チームが壊れたセレクターの修正に費やす時間を減らす。今日から使い始められる自動テストツールとしては悪くない。ブラウザで操作を録画してテストを作り、より細かい制御が必要なときはJavaScriptを足す。忙しいQAチームにとって堅実な選択肢である。
