AI 제품

Gemini가 내 맥 앱을 대신 조작한다, 창은 따로 열린다

Google이 11월 19일 Gemini 맥 앱에 computer use를 붙였다. 채팅창에 한 줄을 더하면 Gemini가 별도 창을 열고 내 앱을 눌러 가며 일을 끝낸다. 문제는 그 창을 내가 지켜보지 않아도 된다는 점이다.

김민준김민준
인기 지수: 1,740
전경의 윤곽선 앱 창과 그 뒤에서 작동하는 두 번째 창, 두 창 사이를 잇는 커서 경로

Google이 11월 19일 Gemini 맥 앱에 computer use를 붙였다. 채팅창에 한 줄을 더하면 Gemini가 별도 창을 열고 내 앱을 눌러 가며 일을 끝낸다. 문제는 그 창을 내가 지켜보지 않아도 된다는 점이다.

Gemini computer use는 내 커서를 빌리지 않는다

채팅 입력창에 @Computer use를 적고 할 일을 붙이면 된다. Gemini는 화면 뒤에 새 창을 하나 열고, 그 안에서 메뉴를 열고 폼을 채우고 파일을 옮긴다. 내 커서와 열어 둔 창은 그대로 남는다. 진행 과정은 채팅 안의 미리보기 창으로 중계된다. 다른 문서를 쓰다가 눈만 돌리면 지금 몇 번째 단계인지 보인다.

조작이 내 화면에서 벌어지면 마우스를 잡을 수 없고, 다른 창을 열면 작업이 깨진다. 배경 창은 둘 다 피한다.

Gemini for Mac이 손대는 범위는 앱 하나로 끝나지 않는다

Gemini for Mac은 서로 연결된 적 없는 앱 사이를 오간다. 설정의 Customize 안 Connectors 목록에는 Desktop 항목이 새로 생겼고, Blender와 Autodesk Fusion이 여기에 들어간다. 기존 Git, Obsidian 연동 옆자리다.

SiliconANGLE에 따르면 한 작업은 수십 개 동작으로 이어진다. 한 번 만든 결과물을 다음 작업의 재료로 넘길 수도 있다. 디자인 도구에서 뽑은 시안을 Visual Studio Code에서 작은 앱으로 바꾸는 식이다. 앱끼리 API로 연결돼 있지 않아도 된다는 뜻이고, 이 기능이 겨냥하는 지점이 바로 거기다.

Google이 직접 든 Gemini computer use 예시 네 가지

Google은 디자인 앱에서 사진 수십 장의 색을 한 번에 맞추거나 3D 장면을 세우는 일을 첫 번째로 들었다. 두 번째는 로컬 PDF에서 무게와 치수, 주소를 뽑아 여러 상자로 나누는 배송 견적을 채우는 일이다.

세 번째는 지역별 대시보드에서 지표와 스크린샷을 모아 Google Slides 발표 자료를 만드는 것, 네 번째는 폴더에 쌓인 옷 사진을 분석해 시세를 조사하고 중고 판매 글을 올리는 것이다. 네 가지 모두 PDF, 브라우저, 스프레드시트, 슬라이드가 한 줄에 엮인다.

desktop agent가 멈추는 지점

Gemini 앱의 그룹 프로덕트 매니저 Michael Friedman은 블로그에서 "개인정보와 안전은 기본으로 들어 있다"고 썼다. 사용자가 앱을 고르고, 모든 단계를 실시간으로 보고, 언제든 멈추고, 중요한 동작은 미리 승인한다는 설명이 뒤따른다.

로그인과 결제에서는 Gemini가 스스로 멈춘다. 비밀번호를 넣거나 카드 정보를 다루는 단계에서 확인을 요구한다. 파일을 말없이 고쳐 두는 일이 없도록 설계했다는 얘기지만, 그 약속을 검증한 독립 테스트는 아직 없다.

Google AI Plus, Pro, Ultra 구독자만 열 수 있다

11월 19일부터 미국 영어 사용자에게만 열리고, 대상은 Google AI Plus, Pro, Ultra 구독자다. Google은 다른 언어나 다른 운영체제 일정을 밝히지 않았다.

한국어로 Gemini를 쓰는 사람은 당장 해당 사항이 없다. 언어 설정을 영어(미국)로 바꾸고 유료 등급을 쓰는 경우에만 시험해 볼 수 있다. 국내에서 Google AI Plus를 원화로 결제하는 사용자도 언어 조건을 먼저 확인해야 한다.

Gemini for Mac과 Meta Muse, OpenAI Dots의 차이

Google이 이 경쟁에 늦게 들어왔다. TechCrunch는 OpenAI, Anthropic, Meta가 이미 비슷한 기능을 내놓았다고 짚었다. Meta의 Muse for Mac은 로컬 앱을 다루면서 클라우드 가상 머신에서도 돌아, 맥이 꺼져 있어도 작업이 이어진다. SiliconANGLE은 OpenAI의 Dots도 비슷한 능력을 갖췄다고 전했다.

Gemini에는 그 부분이 없다. 맥을 덮으면 작업도 멈춘다. 카페에서 노트북을 닫고 이동하는 사람에게는 작지 않은 차이다.

Gemini computer use에 아직 없는 것

빈 자리는 두 갈래다. 긴 작업이 실제로 얼마나 자주 끝나는지 잰 독립 테스트가 없고, 지원 앱 목록이 Blender와 Fusion 같은 전문 도구에 몰려 있다.

예전 Task 기능은 Connected Apps를 거쳐야 로컬 파일에 닿았다. 이번 변경은 그 우회로를 없앤 셈이다. 다만 데모 영상과 실제 업무용 폴더 사이의 거리는 아무도 아직 재지 않았다.

지금 확인할 것은 하나다. Gemini 앱 설정의 Connectors에 Desktop 항목이 보이는가? 보이지 않으면 지역이나 언어 조건이 아직 맞지 않는 것이고, 보인다면 Blender나 Fusion처럼 손이 많이 가는 앱부터 맡겨 보는 편이 낫다. 실패해도 잃을 것이 적다.

이 소식 공유하기

출처

관련 AI 뉴스

왼쪽에서 밀려 들어오는 어시스턴트 사이드바와 아래쪽 바로가기 칩이 붙은 검색창
AI 제품

Google 검색 첫 화면에 Gemini 대화 기록이 붙었다

Google이 데스크톱 검색 첫 화면을 다시 만들었다. 검색창은 그대로인데 그 옆에 대화 기록이 붙었다. 회사가 첫 화면에서 권하는 다음 행동이 검색어 입력이 아닐 수 있다는 뜻이다.

인기 지수: 1,790
보관 기간 다이얼이 달린 금고 문 안에 봉인된 채팅 말풍선과 흐려진 72시간 타이머
AI 제품

Gemini, 기록은 남기고 학습은 끈다: 설정이 둘로 갈라졌다

Google이 Gemini의 채팅 기록 설정과 AI 학습 설정을 분리했다. 기록을 남기면서 학습은 거부할 수 있게 된 대신, 기록을 끈 대화의 보관 기간이 72시간에서 두 달로 늘어난다.

인기 지수: 1,500
받침대 위에 층층이 쌓인 라이브러리와 그 위에 잠긴 버전 태그, 위에서 흘러드는 데이터 흐름
AI 제품

llama.cpp, v1.0.0을 찍고 인터페이스 안정성을 약속했다

ggml-org 팀이 11월 13일 llama.cpp와 ggml을 v1.0.0으로 올렸다. 새 기능보다 눈에 띄는 것은 앞으로 공개 인터페이스를 예고 없이 깨지 않겠다는 약속이다.

인기 지수: 1,200
골뱅이 표시와 원, 작은 막대 차트가 있는 파란 앱 패널 옆의 Gemini가 Wallet을 읽는다는 문구
AI 제품

Gemini에 Google Wallet 연결, 지출 분석은 되고 송금은 없다

Gemini에 @Google Wallet을 불러 지난 분기 지출을 물으면 대화 안에서 차트가 그려진다. 돈은 움직이지 않는다. 읽고 세는 데까지만 쓰는 기능이다.

인기 지수: 1,400