Macの前を離れている間に、別のウィンドウが勝手にアプリを操作している。GoogleがmacOS版のGeminiに足したcomputer useは、そういう機能だ。ただし使える人は限られ、届かない場所もはっきりしている。
Gemini computer useは自分の画面を奪わない
Googleは11月19日、macOS版のGeminiアプリにcomputer useを追加すると発表した。TechCrunchと9to5Googleが同じ日に伝えている。合図は簡単だ。Geminiのチャットに「@Computer use」と書き足して用事を頼む。
動くのは自分のデスクトップではない。Geminiは隔離された別のウィンドウを開き、その中でメニューをたどり、フォームを埋め、クリックとキー入力を繰り返す。チャットの中にはライブのプレビューが出るので、何をしているかは覗ける。手元の画面とカーソルは自由なままだ。
これは以前のTask機能とは別物になる。TaskはGmailやカレンダーなど「Connected Apps」経由でしかローカルのファイルに触れなかった。computer useは、接続設定をしていないアプリにも手を伸ばす。
Gemini for Macが触れるのは、つないだ覚えのないアプリまで
対応範囲の広さがこの機能の売りだ。複数のアプリにまたがる作業を一続きで処理する。SiliconANGLEは、1つの仕事が数十の操作で構成され、デザインツールで作った素材をVisual Studio Codeで小さなアプリに仕立てるように、ある作業の成果物を次の仕事の材料にできると報じている。
「Connectors」には「Desktop」欄が増え、BlenderとAutodesk Fusionが並ぶ。既存のGitとObsidianも同じ場所にある。Blenderは国内の映像制作や3Dプリントの現場でも定番だ。
Googleが挙げた4つの例は、どれも面倒な事務作業
Googleの例は派手ではない。写真をまとめて色調整する。複雑な3Dシーンを組む。手元のPDFから重量や寸法、住所を抜き出し、複数箱の送料見積もりに流し込む。各地のライブダッシュボードから指標とスクリーンショットを集め、Googleスライドにまとめる。フォルダの服の写真を見て相場を調べ、出品情報を整える。
日本の読者に近いのは最後の例だ。メルカリやヤフオクの出品は、写真を撮る時間より、型番を調べ、傷を説明し、送料を入れる時間のほうが長い。
@Computer useを打った後に、どこで止まるか
どこまで任せていいのか? 任せる前に決めることがある。どのアプリに触らせるかは自分で選ぶ。手順はプレビューで全部見える。止めたければ1クリックで一時停止できる。ログインと支払いの場面では、Geminiの側から手を止めて確認を求める。GoogleのGeminiアプリ担当グループプロダクトマネージャー、Michael Friedmanはブログにこう書いた。「プライバシーと安全性は最初から組み込んである。触らせるアプリを選び、すべての手順をライブで見て、いつでも止められ、重要な操作の前には承認できる」
使えるのは米国英語のGoogle AI Plus、Pro、Ultraだけ
提供は11月19日から米国英語だ。対象はGoogle AI Plus、Pro、Ultraの加入者に限られる。他の国、他の言語、Windows版の予定は示されていない。日本語圏に向けた告知もない。
日本語の画面や日本語のPDFでどこまで正確に動くかは、まだ誰も確かめていない。英語の画面を前提にした指示が、日本語のメニュー名をどこまで読めるのかも分からない。
desktop agent競争では、Geminiが最後に来た
TechCrunchはGoogleの出遅れを指摘する。MetaのMuse for Macはローカルのアプリを操作できる。しかもクラウド上の仮想マシンで動く版があり、手元のPCの電源が切れていても作業が続く。OpenAIのDotsも近いことができるとSiliconANGLEは伝える。
Googleに欠けているのは、まさにその部分だ。今の作りでは、Macを開いている時間がそのまま作業時間になる。
Gemini for Macにまだない答え
分かっていないことは多い。Windows版とEU域の時期は不明。computer useを動かしているモデルの名前は公表されていない。長い仕事を最後まで終えられる割合を測った第三者のデータもない。
desktop agentと名乗る製品は増えた。30分の作業が最後の1手で止まれば、人間は最初からやり直すことになる。
まず試すなら、取り返しのつかない操作を含まない仕事から始めるといい。写真の整理、見積もりの下書き、スライドの叩き台。送金、削除、公開のボタンは、自分で押す。





