Vy by Vercept

O traço que definia o Vy era ler a tela, não o código por trás dela. O agente tirava capturas, passava por um modelo de visão e localizava botões, caixas de texto e menus pelo jeito que apareciam. Por isso trabalhava com qualquer programa de interface visível, incluindo os que não têm API. A abordagem também se adaptava a mudanças de layout, porque julgava a tela de novo a cada passo em vez de depender de coordenadas fixas.

A automacao sem API partia da tela, então não precisava de uma integração para cada app que tocava. Isso amplia o que você pode automatizar, já que muitas ferramentas de desktop e internas nunca publicaram uma API pública. O preço é que o controle por tela é mais lento e chato que uma chamada limpa de API. Para software sem outro gancho, ver pixels é a única opção.

O discurso se apoiava em quão bem o modelo achava os controles na tela. Segundo a Vercept, seu modelo marcou 92% no benchmark ScreenSpot v1, um teste que mede se um agente localiza um elemento nomeado numa interface real. Esse número importava porque agentes de uso de computador vivem ou morrem ao clicar no lugar certo. Um clique errado num botão de pagamento ou de apagar é mais que um incômodo.

A Vercept rodava o Vy como agente de uso de computador na nuvem, capaz de operar uma máquina remota, com um MacBook como exemplo comum. Você não precisava deixar seu notebook aberto e vigiado, porque o agente trabalhava numa máquina que ele mesmo controlava. Essa montagem é prática para tarefas longas ou repetidas, e levanta perguntas óbvias sobre quem vê o que o agente faz e que dados passam por ali.

Você conduzia o Vy descrevendo o que queria em linguagem simples, sem programar cada passo. O agente virava essa descrição numa sequência de cliques e teclas e a executava. Isso baixa a barreira de habilidade para automatizar, porque você não precisa saber uma linguagem de programação para pôr de pé. Também significa que instruções vagas dão errado, então vale escrever bem a tarefa.

Telas reais se mexem. Menus abrem, diálogos surgem e o conteúdo se desloca conforme a página carrega. O Vy se apoiava no raciocínio espacial para acompanhar onde cada coisa estava e seguir uma interface que mudava durante a tarefa. Essa é a parte difícil da automação por tela e a razão de existirem os agentes de visão em primeiro lugar. É também onde esses agentes tropeçam, por isso a supervisão continuava fazendo parte do trabalho.