Produit

Gemini peut désormais piloter votre Mac, dans une fenêtre que vous n'avez pas à regarder

Google a ajouté computer use à l'application Gemini for Mac le 19 novembre. Vous tapez @Computer use dans une conversation, et l'assistant travaille dans une seconde fenêtre pendant que vous gardez la vôtre. Le détail qui compte : tout le monde n'y a pas droit, et rien n'est annoncé pour l'Europe.

Julien MartinJulien Martin
Popularité : 1,740
Une fenêtre d'application schématisée au premier plan, une seconde fenêtre qui travaille derrière, et un tracé de curseur entre les deux

Google a ajouté computer use à l'application Gemini for Mac le 19 novembre. Vous tapez @Computer use dans une conversation, et l'assistant travaille dans une seconde fenêtre pendant que vous gardez la vôtre. Le détail qui compte : tout le monde n'y a pas droit, et rien n'est annoncé pour l'Europe.

Ce que @Computer use change dans Gemini for Mac

L'application de bureau de Google savait déjà lire vos fichiers, mais seulement par le détour des applications connectées. Elle sait désormais agir. Dans une conversation, vous ajoutez @Computer use à votre demande, et Gemini ouvre une fenêtre de travail séparée, avec un aperçu en direct intégré au fil de la discussion.

Votre écran reste à vous. Le curseur ne part pas fouiller vos menus, et votre traitement de texte ne passe pas au premier plan pendant que la tâche avance.

Pourquoi Gemini for Mac travaille dans une fenêtre à part

La distinction n'est pas cosmétique. Certains outils de ce genre prennent la souris et le clavier, ce qui interdit de travailler à côté. Ici, la fenêtre est isolée, et l'aperçu dans le chat montre ce qui s'y passe, étape par étape.

Résultat pratique : vous lancez un traitement long, vous ouvrez votre messagerie, et vous revenez voir l'avancement quand vous voulez. C'est la différence entre un assistant qui travaille à côté de vous et un assistant qui vous pousse hors de votre propre machine.

Ce que Gemini computer use enchaîne vraiment

Le périmètre annoncé dépasse les logiciels prévus pour l'IA. Gemini clique et tape dans les applications locales et dans les sites web : il ouvre des menus, remplit des formulaires, et gère des tâches en plusieurs étapes qui traversent des programmes jamais connectés entre eux.

SiliconANGLE rapporte que ces tâches peuvent compter des dizaines d'actions. Le même média signale que la sortie d'un premier travail peut servir d'entrée au suivant. Un visuel produit dans un outil de design peut ainsi devenir une mini-application dans Visual Studio Code.

Pour mesurer l'écart, il faut se souvenir de l'ancienne fonction Task, héritée de Gemini Spark. Elle atteignait des fichiers locaux, mais uniquement à travers des applications connectées comme Gmail ou Google Agenda. Ici, le point de départ est le bureau lui-même.

Les quatre exemples que Google met en avant

Google en donne quatre, tous présentés comme du travail réel.

Le premier porte sur l'image : étalonner une série de photos dans une application de design, ou monter une scène 3D complexe. Le deuxième concerne la logistique : extraire des poids, des dimensions et des adresses depuis des PDF locaux pour remplir des devis d'expédition à plusieurs colis. Le troisième construit une présentation Google Slides à partir de captures et d'indicateurs récupérés sur des tableaux de bord régionaux. Le dernier analyse des photos de vêtements dans un dossier local, cherche les prix pratiqués, puis prépare des annonces de revente.

La liste des applications accessibles s'allonge dans le même mouvement. Dans Customize > Connectors, une catégorie Desktop apparaît avec Blender et Autodesk Fusion, à côté des intégrations Git et Obsidian déjà en place.

Les garde-fous prévus par Google

Un outil qui clique à votre place pose une question simple : jusqu'où va son droit de toucher. La réponse tient en quatre mécanismes. Vous choisissez les applications accessibles, vous suivez chaque étape dans l'aperçu, vous mettez en pause d'un clic, et vous validez les actions sensibles avant qu'elles aient lieu.

Google annonce en plus une pause automatique sur les connexions et les paiements. Et si la tâche dérape au troisième clic ? La pause reste votre seul recours. Elle suppose de regarder l'aperçu au bon moment. Michael Friedman, chef de produit du groupe Gemini, résume la promesse dans le billet de blog : le contrôle vous revient, l'aperçu est permanent, et les actions importantes passent par votre accord.

La disponibilité de Gemini computer use : anglais américain d'abord

Pour un lecteur en France, rien à essayer. Le déploiement annoncé ne couvre ni la France ni le reste de l'Union européenne, et la langue de lancement est l'anglais américain. Une demande rédigée en français sort du cadre décrit par Google, et rien n'indique qu'elle soit couverte à court terme.

Le billet de blog ne mentionne ni le RGPD ni le traitement des données européennes. Il ne dit pas non plus si la fonction suivra le calendrier des autres nouveautés Gemini sur le Vieux Continent, ni si les applications accessibles seront les mêmes hors des États-Unis.

Gemini computer use face à Muse et Dots

La comparaison aide à situer la fonction. Meta propose Muse pour Mac, qui interagit lui aussi avec les applications locales, avec un avantage que Google n'a pas reproduit : une machine virtuelle dans le cloud qui continue de travailler quand l'ordinateur est éteint. OpenAI, avec Dots, offre une capacité proche selon SiliconANGLE.

TechCrunch rappelle que Google arrive après OpenAI, Anthropic et Meta sur ce terrain. Le même média note que l'entreprise a élargi le 17 novembre le déploiement de Gemini Tasks, deux jours avant cette annonce, ce qui donne la mesure du retard à combler.

Ce que Google ne dit pas sur son desktop agent

Trois absences décideront de l'usage réel. Aucun nom de modèle n'est associé à la fonction, donc impossible de savoir si la qualité du clic dépend d'un modèle rapide ou d'un modèle de raisonnement. Aucun test indépendant ne dit à quelle fréquence une tâche longue aboutit vraiment, alors que les dizaines d'actions rapportées multiplient les occasions de déraillement. Et personne ne sait ce que coûte une erreur en cours de route.

Reste la question du bureau qui ne s'éteint jamais. Meta l'a tranchée avec sa machine virtuelle. Google la laisse ouverte, et c'est elle qui séparerait un gadget de démonstration d'un vrai desktop agent. Aucun chiffre, en attendant, sur le taux de réussite.

Tester Gemini computer use sans risque

Si vous êtes aux États-Unis sur une offre éligible, commencez par une tâche réversible : un dossier de test, des copies de fichiers, un formulaire de démonstration. Regardez l'aperçu avant de valider, et coupez dès que le chemin diverge de ce que vous attendez.

La fonction est ambitieuse, la promesse est claire. Reste à mesurer le taux de réussite sur une vraie journée de travail.

Partager cet article

Sources

Actualités liées à l’IA

Une barre de recherche avec un panneau latéral d'assistant qui glisse depuis la gauche et des pastilles de raccourcis en dessous
Produit

Google installe votre historique de chat sur la page d'accueil de Search

La page d'accueil de Google garde son logo et sa barre centrée. Sous la barre, des raccourcis Gemini prennent la place du bouton Search ; à gauche, un panneau reprend vos recherches AI Mode et vos fils de discussion. Le moteur cesse d'être la seule porte d'entrée.

Popularité : 1,790
Des bulles de conversation scellées dans une porte de coffre, avec un cadran de conservation et deux minuteurs de 72 heures effacés
Produit

Gemini sépare l'historique et l'entraînement, mais garde plus longtemps

Un seul interrupteur décidait jusqu'ici si Gemini gardait vos conversations et si Google pouvait s'en servir pour entraîner ses modèles. Il y en a désormais deux, et la durée de conservation change aussi, dans l'autre sens.

Popularité : 1,500
Une pile de couches de bibliothèque sur un socle, avec une étiquette de version verrouillée au sommet et des flux venant d'en haut
Produit

llama.cpp passe en 1.0.0 et promet de ne plus casser son API

Le projet qui fait tourner des modèles ouverts sur un ordinateur ordinaire vient de se doter d'un numéro de version et d'une règle. Pour les applications qui s'appuient dessus, c'est peut-être la nouvelle la plus utile de l'année.

Popularité : 1,200
Un panneau d'application bleu avec un arobase, un cercle et un petit graphique à barres à côté des mots Gemini lit Wallet
Produit

Gemini lit vos dépenses Google Wallet, et ne peut toujours pas bouger un centime

Depuis le 13 novembre, une mention suffit dans une conversation Gemini pour obtenir un graphique de vos dépenses. Connecter Google Wallet prend quelques écrans, et l'opération ne donne aucun pouvoir de paiement à l'assistant. Voici comment ça marche, et ce que Google voit au passage.

Popularité : 1,400