UFO²

UFO² は画面越しではなくシステムの階層で Windows に食い込む。UI Automation、Win32、COM を組み合わせ、どの要素がボタンでどれがテキスト欄かといった画面の実際の構造を、画像からの推測ではなく読み取る。マイクロソフトは Excel を例に挙げる。表のデータをグラフに変える処理は、従来の RPA ツールが何度もクリックを模すところを、API 呼び出し一回で済ませられる。この深さが AgentOS という呼び名につながっている。

基盤は仕事を二種類のエージェントに分ける。中央の HostAgent が目的を読み、順序立ったサブタスクに分解し、必要なプログラムを起動して、状態機械で実行全体を束ねる。動いているプログラムごとに専用の AppAgent が付き、そのアプリの画面、API、分野の知識に通じる。この分担が構成を部品化したまま保つ。新しいプログラムへの対応は AppAgent を足すことであり、中核を書き直すことではない。

UFO² は何をするかだけでなく、どう動くかを選ぶ。アプリがネイティブ API を備えていれば、速度と正確さのためにそれを呼ぶ。備えていなければ、マウスとキーボードの操作に戻る。この混ぜ方が標準と非標準の画面の両方を覆う。画面しか見ないエージェントがつまずくのは、まさにそこだ。行儀のよいアプリでしか動かない道具と、画面が粗くても持ちこたえる道具の差になる。

画面を確実に読み取ることは Windows 自動化と GUI 自動化のどちらにとっても難所であり、UFO² は二つの手法を融合する。構造化されたコントロールは Windows UI Automation に任せ、UIA が取りこぼす部分、たとえば独自の要素やキャンバスに描かれた部品は視覚解析で補う。このハイブリッドな流れが標準と非標準の画面を支え、レイアウトが整っていないときの安定性につながるとマイクロソフトは説明する。エージェントが動く前に、画面に何があるかを決める層だ。

典型的なエージェントは一歩ごとに言語モデルへ往復し、それが積み上がる。UFO² は予測した複数の動作を一度のモデル呼び出しにまとめ、実行前に画面の現在の状態と突き合わせて確かめる。この方法で問い合わせを最大 51 パーセント減らせるとマイクロソフトは報告する。待ち時間と費用の両方が下がる。トークン単位で払う人にとって、この節約は売り文句の一部であって脚注ではない。

UFO² は作業中に引ける知識ベースを保つ。アプリのオフライン文書、オンライン検索、利用者の実演、過去の実行履歴をベクトルストアに混ぜ、必要な断片をその場で取り出す。結果として、毎回まっさらから始めるのではなく、見てきたものに頼るエージェントになる。人が使って覚えるのと同じ発想だ。マイクロソフトはこれを、時間とともに良くなるエージェントの土台と位置づける。

自分のデスクトップでエージェントを動かすと、たいていはマウスの主導権を失う。Windows で UFO² はこれをピクチャーインピクチャーのデスクトップで扱う。自動化は隔離された仮想デスクトップで走り、メイン画面と入力機器はそのまま使える。マイクロソフトは現行の文書でこれを近日対応と記しており、今日使えるものではなくロードマップ上にある。実現すれば、エージェントにマシンを任せるのをためらう最大の理由の一つが消える。