Vy by Vercept

Vyを特徴づけたのは、画面を読むことであり、その裏のコードではない。エージェントはスクリーンショットを撮り、視覚モデルに通し、ボタンや入力欄、メニューを外見から見分けた。だから目に見えるインターフェースを持つあらゆるソフトを扱えた。APIのないものも含む。固定の座標に頼らず、手順ごとに画面を判断し直すため、レイアウトの変化にも追随できた。

Vyは画面を起点にしたので、接するアプリごとに連携を用意する必要がなかった。自動化できる範囲は広がる。多くのデスクトップツールや社内ツールは公開APIを出していないからだ。代償は、画面を介した操作が素直なAPI呼び出しより遅く、扱いにくいことだ。ほかに取っかかりのないソフトなら、ピクセルを見るのが唯一の手段になる。

売り文句は、モデルが画面上のコントロールをどれだけ見つけられるかにかかっていた。Verceptの話では、そのモデルはScreenSpot v1で92%を記録した。実物の画面で指定された要素を見つけられるかを測る試験だ。この数字が重いのは、コンピュータ操作エージェントが正しいものをクリックできるかで決まるからだ。決済や削除のボタンで押し間違えれば、ただの不便では済まない。

VerceptはVyをクラウドのコンピュータ操作エージェントとして動かし、遠隔のマシンを操作できた。MacBookがよくある例だ。自分のノートPCを開いて見張る必要はない。エージェントが自分で掌握するマシンで作業するからだ。この構成は長い作業や反復作業に向く一方、誰がエージェントの行動を見られるのか、どんなデータが通るのかという当然の疑問も生む。

Vyは、手順を逐一スクリプト化するのではなく、望むことを平易な言葉で伝えて動かした。エージェントはその記述をクリックと打鍵の連なりに変えて実行した。自動化の技術的な壁は下がる。スクリプト言語を知らなくても動かせるからだ。曖昧な指示は失敗も招くので、タスクを明確に書くことが大事になる。

実物の画面は動く。メニューが開き、ダイアログが出て、ページの読み込みに合わせて中身もずれる。Vyは空間推論を頼りに、何がどこにあるかを追い、作業中に変わる画面についていった。これは画面自動化の難しいところであり、視覚ファーストのエージェントが存在する理由でもある。同時にこうしたエージェントがつまずく場面でもあり、だから見張りは作業の一部であり続けた。