UFO²

UFO² s'accroche à Windows au niveau du système et pas seulement par l'écran. Il combine UI Automation, Win32 et COM pour lire la structure réelle d'une interface, y compris quel contrôle est un bouton et lequel est un champ de texte, au lieu de le deviner à partir d'une image. Microsoft cite Excel en exemple : transformer des données de tableau en graphique peut tenir en un seul appel à une API, là où un outil RPA classique simule plusieurs clics. Cette profondeur lui vaut l'étiquette d'AgentOS.

La plateforme répartit le travail entre deux types d'agent. Un HostAgent central lit l'objectif, le découpe en sous-tâches ordonnées, lance les programmes nécessaires et coordonne l'exécution via une machine à états. Chaque programme en cours obtient son propre AppAgent, un spécialiste qui connaît l'interface, les API et les connaissances métier de cette app. Ce partage garde le système modulaire : ajouter le support d'un nouveau programme revient à ajouter un AppAgent, pas à réécrire le cœur.

UFO² décide comment agir, pas seulement quoi faire. Quand une app expose une API native, l'agent l'appelle pour la vitesse et la précision. Quand elle n'en a pas, il retombe sur des actions de souris et de clavier. Cette approche mixte couvre les interfaces standards et non standards, exactement là où les agents qui ne voient que l'écran échouent souvent. C'est la différence entre un outil qui marche sur des apps bien élevées et un autre qui tient quand l'interface est rugueuse.

Lire une interface de façon fiable est la partie difficile de l'automatisation de bureau, alors UFO² fusionne deux méthodes. Il utilise Windows UI Automation pour les contrôles structurés et ajoute une analyse par vision pour ce que l'UIA rate, comme les éléments personnalisés ou dessinés sur un canevas. Le pipeline hybride gère les interfaces standards et non standards, et Microsoft lui attribue une meilleure stabilité quand la mise en page n'est pas nette. C'est la couche qui décide ce qui se trouve vraiment à l'écran avant que l'agent agisse.

Chaque étape d'un agent classique implique un aller-retour de plus vers le modèle de langage, et cela pèse. UFO² regroupe plusieurs actions prévues en un seul appel au modèle et les valide contre l'état réel de l'interface avant de les exécuter. Microsoft rapporte jusqu'à 51 pour cent de requêtes en moins avec cette méthode, ce qui réduit latence et coût. Pour qui paie au token, cette économie fait vraiment partie de la promesse, pas d'une note de bas de page.

UFO² entretient une base de connaissances dans laquelle il peut puiser pendant qu'il travaille. Il mêle documentation hors ligne des apps, recherche en ligne, démonstrations de l'utilisateur et traces d'exécutions passées dans un stockage vectoriel, puis récupère les éléments pertinents à la volée. Le résultat est un agent qui s'appuie sur ce qu'il a déjà vu au lieu de repartir à froid chaque fois, comme une personne qui apprend un programme en l'utilisant. Microsoft présente cela comme la base d'agents qui s'améliorent avec le temps.

Faire tourner un agent sur son propre bureau revient souvent à perdre le contrôle de la souris. Sous Windows, UFO² y répond avec un bureau Picture-in-Picture : l'automatisation tourne dans un bureau virtuel isolé pendant que vous continuez à utiliser votre écran principal et vos périphériques. Microsoft le liste comme à venir dans la documentation actuelle, il est donc sur la feuille de route et pas disponible aujourd'hui. Quand il arrivera, il lèvera l'une des plus grandes raisons pour lesquelles on hésite à laisser un agent piloter sa machine.