UFO²

O UFO² se conecta ao Windows no nível do sistema e não só pela tela. Ele combina UI Automation, Win32 e COM para ler a estrutura real de uma interface, incluindo qual controle é um botão e qual é um campo de texto, em vez de adivinhar a partir de uma imagem. A Microsoft cita o Excel como exemplo: transformar dados de uma tabela em gráfico pode ser uma única chamada a API, onde uma ferramenta de RPA tradicional simula vários cliques. Essa profundidade é o que lhe garante o rótulo de AgentOS.

A plataforma divide o trabalho entre dois tipos de agente. Um HostAgent central lê o objetivo, decompõe-no em subtarefas ordenadas, abre os programas de que precisa e coordena a execução por meio de uma máquina de estados. Cada programa em execução ganha seu próprio AppAgent, um especialista que conhece a interface, as APIs e o conhecimento de domínio daquele app. Essa divisão mantém o sistema modular: somar suporte a um programa novo significa adicionar um AppAgent, não reescrever o núcleo.

O UFO² decide como agir, não só o que fazer. Quando um app expõe uma API nativa, o agente a chama por velocidade e precisão. Quando não tem, recorre a ações de mouse e teclado. Essa abordagem mista cobre interfaces padrão e fora do padrão, justamente onde os agentes que só enxergam a tela costumam falhar. É a diferença entre uma ferramenta que funciona com apps bem comportados e outra que aguenta quando a interface é tosca.

Ler uma interface de forma confiável é a parte difícil da automação de desktop, então o UFO² funde dois métodos. Usa o Windows UI Automation para controles estruturados e soma uma análise por visão para o que o UIA não alcança, como elementos personalizados ou desenhados sobre um canvas. O pipeline híbrido suporta interfaces padrão e fora do padrão, e a Microsoft credita a ele maior estabilidade quando o layout não é organizado. É a camada que decide o que está de fato na tela antes de o agente agir.

Cada passo de um agente típico significa outra ida ao modelo de linguagem, e isso pesa. O UFO² agrupa várias ações previstas numa única chamada ao modelo e as valida contra o estado real da interface antes de rodá-las. A Microsoft relata até 51 por cento menos consultas com esse método, o que corta latência e custo. Para quem paga por token, essa economia é parte real da proposta, não uma nota de rodapé.

O UFO² mantém uma base de conhecimento a que pode recorrer enquanto trabalha. Ele mistura documentação offline dos apps, busca online, demonstrações do usuário e rastros de execuções passadas num armazenamento vetorial e recupera as peças relevantes na hora. O resultado é um agente que se apoia no que já viu em vez de começar do zero a cada vez, como uma pessoa que aprende um programa usando-o. A Microsoft apresenta isso como a base para agentes que melhoram com o tempo.

Rodar um agente no seu próprio desktop costuma significar perder o controle do mouse. No Windows, o UFO² lida com isso com um desktop Picture-in-Picture: a automação roda num desktop virtual isolado enquanto você segue usando sua tela principal e seus dispositivos de entrada. A Microsoft o lista como em breve na documentação atual, então está no roteiro e não disponível hoje. Quando chegar, elimina um dos maiores motivos pelos quais as pessoas hesitam em deixar um agente comandar sua máquina.