UFO²

UFO² se engancha a Windows a nivel de sistema y no solo a través de la pantalla. Combina UI Automation, Win32 y COM para leer la estructura real de una interfaz, incluido qué control es un botón y cuál es un campo de texto, en vez de adivinarlo a partir de una imagen. Microsoft pone Excel como ejemplo: convertir datos de una tabla en un gráfico puede ser una sola llamada a API, donde una herramienta RPA tradicional simula varios clics. Esa profundidad es la que le gana la etiqueta de AgentOS.

La plataforma reparte el trabajo entre dos clases de agente. Un HostAgent central lee el objetivo, lo descompone en subtareas ordenadas, abre los programas que necesita y coordina la ejecución mediante una máquina de estados. Cada programa en marcha recibe su propio AppAgent, un especialista que conoce la interfaz, las API y el conocimiento de dominio de esa aplicación. Esta división mantiene el sistema modular: sumar soporte para un programa nuevo significa añadir un AppAgent, no reescribir el núcleo.

UFO² decide cómo actuar, no solo qué hacer. Cuando una app expone una API nativa, el agente la llama por velocidad y precisión. Cuando no la tiene, recurre a acciones de ratón y teclado. Este enfoque mixto cubre interfaces estándar y no estándar, justo donde suelen fallar los agentes que solo ven la pantalla. Es la diferencia entre una herramienta que funciona con apps bien portadas y otra que aguanta cuando la interfaz es tosca.

Leer una interfaz de forma fiable es la parte difícil de la automatización de escritorio, así que UFO² fusiona dos métodos. Usa Windows UI Automation para los controles estructurados y suma un análisis por visión para lo que UIA no alcanza, como elementos personalizados o dibujados sobre un lienzo. La tubería híbrida soporta interfaces estándar y no estándar, y Microsoft le atribuye mayor estabilidad cuando el diseño no es ordenado. Es la capa que decide qué hay realmente en pantalla antes de que el agente actúe.

Cada paso de un agente típico supone otro viaje al modelo de lenguaje, y eso pesa. UFO² agrupa varias acciones previstas en una sola llamada al modelo y las valida contra el estado real de la interfaz antes de ejecutarlas. Microsoft reporta hasta un 51 por ciento menos de consultas con este método, lo que recorta latencia y coste. Para quien paga por token, ese ahorro es parte real de la propuesta, no una nota al pie.

UFO² mantiene una base de conocimiento a la que puede recurrir mientras trabaja. Mezcla documentación offline de aplicaciones, búsqueda en línea, demostraciones del usuario y rastros de ejecución pasada en un almacén vectorial y recupera las piezas relevantes al vuelo. El resultado es un agente que se apoya en lo que ya ha visto en lugar de arrancar en frío cada vez, como una persona que aprende un programa usándolo. Microsoft lo presenta como la base para agentes que mejoran con el tiempo.

Ejecutar un agente en tu propio escritorio suele significar perder el control del ratón. En Windows, UFO² lo aborda con un escritorio Picture-in-Picture: la automatización corre en un escritorio virtual aislado mientras sigues usando tu pantalla principal y tus dispositivos de entrada. Microsoft lo lista como próximamente en la documentación actual, así que está en la hoja de ruta y no disponible hoy. Cuando llegue, elimina uno de los mayores motivos por los que la gente duda en dejar que un agente maneje su máquina.