AIツール

Gemini for Macがcomputer useに対応、Macを別ウィンドウから操作

Macの前を離れている間に、別のウィンドウが勝手にアプリを操作している。GoogleがmacOS版のGeminiに足したcomputer useは、そういう機能だ。ただし使える人は限られ、届かない場所もはっきりしている。

佐藤健太佐藤健太
人気度:1,740
手前のアプリウィンドウの輪郭と、その背後で作業する2つ目のウィンドウ、両者を結ぶカーソルの軌跡

Macの前を離れている間に、別のウィンドウが勝手にアプリを操作している。GoogleがmacOS版のGeminiに足したcomputer useは、そういう機能だ。ただし使える人は限られ、届かない場所もはっきりしている。

Gemini computer useは自分の画面を奪わない

Googleは11月19日、macOS版のGeminiアプリにcomputer useを追加すると発表した。TechCrunchと9to5Googleが同じ日に伝えている。合図は簡単だ。Geminiのチャットに「@Computer use」と書き足して用事を頼む。

動くのは自分のデスクトップではない。Geminiは隔離された別のウィンドウを開き、その中でメニューをたどり、フォームを埋め、クリックとキー入力を繰り返す。チャットの中にはライブのプレビューが出るので、何をしているかは覗ける。手元の画面とカーソルは自由なままだ。

これは以前のTask機能とは別物になる。TaskはGmailやカレンダーなど「Connected Apps」経由でしかローカルのファイルに触れなかった。computer useは、接続設定をしていないアプリにも手を伸ばす。

Gemini for Macが触れるのは、つないだ覚えのないアプリまで

対応範囲の広さがこの機能の売りだ。複数のアプリにまたがる作業を一続きで処理する。SiliconANGLEは、1つの仕事が数十の操作で構成され、デザインツールで作った素材をVisual Studio Codeで小さなアプリに仕立てるように、ある作業の成果物を次の仕事の材料にできると報じている。

「Connectors」には「Desktop」欄が増え、BlenderとAutodesk Fusionが並ぶ。既存のGitとObsidianも同じ場所にある。Blenderは国内の映像制作や3Dプリントの現場でも定番だ。

Googleが挙げた4つの例は、どれも面倒な事務作業

Googleの例は派手ではない。写真をまとめて色調整する。複雑な3Dシーンを組む。手元のPDFから重量や寸法、住所を抜き出し、複数箱の送料見積もりに流し込む。各地のライブダッシュボードから指標とスクリーンショットを集め、Googleスライドにまとめる。フォルダの服の写真を見て相場を調べ、出品情報を整える。

日本の読者に近いのは最後の例だ。メルカリやヤフオクの出品は、写真を撮る時間より、型番を調べ、傷を説明し、送料を入れる時間のほうが長い。

@Computer useを打った後に、どこで止まるか

どこまで任せていいのか? 任せる前に決めることがある。どのアプリに触らせるかは自分で選ぶ。手順はプレビューで全部見える。止めたければ1クリックで一時停止できる。ログインと支払いの場面では、Geminiの側から手を止めて確認を求める。GoogleのGeminiアプリ担当グループプロダクトマネージャー、Michael Friedmanはブログにこう書いた。「プライバシーと安全性は最初から組み込んである。触らせるアプリを選び、すべての手順をライブで見て、いつでも止められ、重要な操作の前には承認できる」

使えるのは米国英語のGoogle AI Plus、Pro、Ultraだけ

提供は11月19日から米国英語だ。対象はGoogle AI Plus、Pro、Ultraの加入者に限られる。他の国、他の言語、Windows版の予定は示されていない。日本語圏に向けた告知もない。

日本語の画面や日本語のPDFでどこまで正確に動くかは、まだ誰も確かめていない。英語の画面を前提にした指示が、日本語のメニュー名をどこまで読めるのかも分からない。

desktop agent競争では、Geminiが最後に来た

TechCrunchはGoogleの出遅れを指摘する。MetaのMuse for Macはローカルのアプリを操作できる。しかもクラウド上の仮想マシンで動く版があり、手元のPCの電源が切れていても作業が続く。OpenAIのDotsも近いことができるとSiliconANGLEは伝える。

Googleに欠けているのは、まさにその部分だ。今の作りでは、Macを開いている時間がそのまま作業時間になる。

Gemini for Macにまだない答え

分かっていないことは多い。Windows版とEU域の時期は不明。computer useを動かしているモデルの名前は公表されていない。長い仕事を最後まで終えられる割合を測った第三者のデータもない。

desktop agentと名乗る製品は増えた。30分の作業が最後の1手で止まれば、人間は最初からやり直すことになる。

まず試すなら、取り返しのつかない操作を含まない仕事から始めるといい。写真の整理、見積もりの下書き、スライドの叩き台。送金、削除、公開のボタンは、自分で押す。

このニュースを共有

出典

関連AIニュース

テスト
AIツール

削除テスト

テスト用の記事で、公開後に削除する。

人気度:100
検索バーと、左から滑り込むアシスタントのサイドバー、その下に並ぶショートカットのチップ
AIツール

Google検索のトップページにGemini sidebar、検索ボタンはショートカットに

google.comを開くと、検索バーの下にあった「Google Search」のボタンが消えている。代わりにGeminiの入口が並び、左からは自分のAI Modeの履歴が滑り込んでくる。検索の玄関が、静かに作り替えられている。

人気度:1,790
金庫の扉に封じられたチャットの吹き出し、保持期間のダイヤル、薄れた二つの72時間タイマー
AIツール

Geminiは履歴を残したままAI学習を切れるようになった

保存するかどうかと、学習に使わせるかどうかは別の話だ。Geminiはその二つをようやく分けた。設定の意味と、延びた保持期間の中身を順に追う。

人気度:1,500
台座に積まれたライブラリの層、その上に固定されたバージョンタグ、上から流れ込む入力
AIツール

llama.cppがv1.0.0に、APIを壊すときは先に番号を上げる

3年半動いてきたライブラリが、初めて自分のインターフェースに番号を付けた。約束の中身は速度ではなく、壊すときに先に言うという一点だ。

人気度:1,200