AI產品

Gemini computer use 登上 Mac:背景視窗替你把工作跑完

Google 在 11 月 19 日把 computer use 放進 macOS 版的 Gemini app。它在一個獨立背景視窗裡替你點選單、填表單,你的螢幕與游標可以留在原來的工作上。

陳柏宇陳柏宇
熱度:1,740
前景是一個線條勾勒的應用程式視窗,後方有第二個視窗正在工作,一條游標路徑在兩者之間延伸

Google 在 11 月 19 日把 computer use 放進 macOS 版的 Gemini app。它在一個獨立背景視窗裡替你點選單、填表單,你的螢幕與游標可以留在原來的工作上。

Gemini for Mac 這次多了什麼:一個不必盯著的視窗

這次更新改的不是答案寫得好不好,而是 Gemini 能不能代替你的手去操作電腦。你在對話框交代一件事,它會另開一個背景視窗,在裡面移動游標、點按、打字,對象包括本機應用程式,也包括瀏覽器裡的網站。主畫面和滑鼠不必讓出來,這是它與螢幕鏡像、遠端桌面最直接的差別。視窗裡發生的每一步,對話中都有一個即時預覽可以看,出了差錯也來得及按停。游標留在你手上。

換句話說,這是一個會自己開視窗工作的助理,不是把畫面接過去的遙控器。

@Computer use 是啟動鍵,不是開關

要叫它動手,方式比想像中簡單:在提示詞裡加上 @Computer use。這個標記很像社群軟體裡標註朋友,只是被標註的對象換成一個會操作介面的代理。SiliconANGLE 的報導提到,一個任務可以包含數十個動作,前一個工作的產出還能當成下一個工作的材料,例如設計工具裡做好的視覺素材,接著被丟進 Visual Studio Code 變成一個小工具。

在設定的 Customize > Connectors 裡,會看到新的 Desktop 分類,裡面有 Blender 與 Autodesk Fusion,旁邊是原本就有的 Git 與 Obsidian。每一個 App 都可以個別決定要不要讓它碰。

舊版的 Task 功能(前身叫 Gemini Spark)只能透過 Gmail、Google 日曆這類已連接的服務摸到本機檔案。這次的差別在於,它直接面對沒有串接過的桌面程式。

desktop agent 的四個官方範例

Google 自己給了四個例子,剛好對應四種常見的桌面工作。第一個是設計與影像:批次調整照片的色彩,或把複雜的 3D 場景搭起來。第二個是文件:從本機 PDF 裡抓出重量、尺寸與地址,填進需要分箱的運費報價單。

第三個是簡報:跨地區把即時儀表板上的數字和截圖抓下來,組成一份 Google Slides。第四個是轉賣:分析本機資料夾裡的衣服照片,查一下行情,再把商品頁面鋪好。

四個例子有一個共通點:資料散在幾個沒有互相連通的程式裡,而人做的時候,大部分時間花在複製貼上。這也是 desktop agent 這個詞在這裡的實際意思,不是會聊天的助理,而是會搬資料的助手。

在台灣,接案設計師常把客戶照片放在本機資料夾,報價單另外用試算表開;香港的小型貿易公司則是 PDF 報價單與銀行表格來回填。這些流程正好落在它的示範範圍內,也解釋了為什麼 Google 選 Blender、Fusion 這類桌面軟體當第一批連接對象。

Gemini 的權限設計:選 App、看每一步、隨時暫停

使用者最想知道的是它會不會亂動。Google 的設計分成四層:選擇它能存取的 App、即時觀看每一步、隨時按暫停、關鍵動作先問你。Gemini app 的產品群組經理 Michael Friedman 在官方部落格把這四件事寫在同一句話裡。

隱私與安全是內建的:你選擇 Gemini 能存取哪些 App、即時觀看每一步、隨時暫停,並在關鍵動作發生前核准。

如果你的工作一半在瀏覽器、一半在本機程式,這種來回切換算不算它擅長的場景?從示範來看,答案是肯定的,因為它兩邊都能碰。

登入與付款是它會主動停下來的地方,敏感動作需要你確認。這個設計意味著,長時間任務不會變成沒人看管的黑箱,但也不代表你可以完全走開。遇到驗證碼或兩步驟驗證,它會等你回來。

Google AI Plus、Pro 與 Ultra 才有,而且只講英文

推送範圍寫得很清楚:11 月 19 日起在美國以英文推出,對象是 Google AI Plus、Pro 與 Ultra 的訂閱者。Google 沒有說其他市場或其他平台什麼時候會有。

對台灣與香港的讀者來說,實際情況是介面上還看不到這個選項,繁體中文介面也沒有時程。就算你訂了 AI Plus,跨區帳號與英文介面還是兩道門,這類功能通常先綁語言、再綁地區。

還有一件事需要說白:它不在免費層裡。沒有訂閱的人,這次更新等於不存在。

Gemini for Mac 與 Meta Muse、OpenAI Dots 差在哪

TechCrunch 的說法是 Google 在這條路上落後 OpenAI、Anthropic 與 Meta。這個判斷有依據:Meta 的 Muse for Mac 已經能操作本機 App,而且附一台雲端虛擬機,讓它在你的電腦關機時繼續工作;OpenAI 的 Dots 也提供類似能力。

Google 目前沒有雲端虛擬機這一塊。你的 Mac 闔上、斷網,背景視窗裡的工作就跟著停,隔天回來只會看到停在半途的預覽。差別在工作能不能過夜,這對跑長流程的人很實際。

往前兩天,Google 才擴大 Gemini Tasks 的推送範圍。把時間點排在一起看,這家公司在同一週補齊了 Mac 上的兩塊代理功能。

三個還沒有答案的問題

第一個是平台與地區。Windows 版、歐盟市場、非英文介面,Google 都沒有給日期。第二個是模型。官方沒有說背後是哪一個模型在跑,任何關於推理能力的推測都只能算推測。第三個最實際,是長任務的完成率。

如果你在美國、用的是英文介面,現在就能在對話裡打一次 @Computer use。先讓它整理一個資料夾,或把一份 PDF 的欄位填進表單,觀察它停下來問你的時機,再決定要不要把更長的工作交給它。

分享這則新聞

來源

相關 AI 新聞

一條搜尋列,左側滑出助理側欄,下方是一排捷徑標籤
AI產品

Google Search homepage 改版:搜尋框還在,Gemini 對話搬進左側欄

Google 把桌面版首頁重新排了一次。搜尋框底下那顆按鈕換成一排 Gemini 捷徑,左側多出一個可以收合的對話欄,改變的是你進站後的第一個動作。

熱度:1,790
對話泡泡封在金庫門內,旁有保留期旋鈕與兩個淡去的 72 小時計時器
AI產品

Gemini 把聊天記錄和 AI 訓練拆成兩個開關,保留期同時變成兩個月

以前在 Gemini 裡,刪掉聊天記錄是拒絕 AI 訓練的唯一辦法。現在這兩個決定分開了,但另一項保留期同時變長。

熱度:1,500
一層層函式庫堆在基座上,頂端扣著版本標籤鎖,資料流從上方灌入
AI產品

llama.cpp 站上 v1.0.0,這次改的是承諾不再偷偷動介面

一個很多人每天在用、卻很少人直接打開的推論引擎,終於有了版本號。這次公告沒有新模型也沒有速度數字,講的全是別人的程式碼會不會被無聲改壞。

熱度:1,200
藍色應用面板上有 @ 符號、一個圓與小型長條圖,旁邊寫著 Gemini 讀取 Wallet
AI產品

Gemini 讀得到 Google Wallet 的帳,卻一塊錢都動不了

Google 把錢包的消費紀錄接進 Gemini,你在對話裡 tag 一下就換來一張收支圖。它是唯讀的:看得見你的錢怎麼跑,卻不能轉帳、不能下單,也不能替你投資。

熱度:1,400