Vy by Vercept

El rasgo que definía a Vy era leer la pantalla, no el código que hay detrás. El agente hacía capturas, las pasaba por un modelo de visión y localizaba botones, cuadros de texto y menús por su aspecto. Por eso trabajaba con cualquier programa de interfaz visible, incluidos los que no tienen API. El enfoque también se adaptaba a los cambios de diseño, porque juzgaba la pantalla de nuevo en cada paso en lugar de apoyarse en coordenadas fijas.

La automatizacion sin API partía de la pantalla, así que no necesitaba una integración para cada aplicación que tocaba. Eso amplía lo que puedes automatizar, ya que muchas herramientas de escritorio e internas nunca publicaron una API pública. El precio es que el control por pantalla es más lento y quisquilloso que una llamada limpia a una API. Para software sin otro enganche, ver píxeles es la única opción.

El discurso se apoyaba en lo bien que el modelo encontraba los controles en pantalla. Según Vercept, su modelo marcó un 92% en el benchmark ScreenSpot v1, una prueba que mide si un agente localiza un elemento con nombre en una interfaz real. Ese número importaba porque los agentes de uso de computadora viven o mueren al hacer clic en lo correcto. Un clic equivocado en un botón de pago o de borrado es más que una molestia.

Vercept ejecutaba Vy como agente de uso de computadora en la nube que podía operar una máquina remota, con un MacBook como ejemplo habitual. No tenías que dejar tu portátil abierto y vigilado, porque el agente trabajaba en una máquina que él mismo controlaba. Ese montaje resulta cómodo para tareas largas o repetidas, y abre preguntas obvias sobre quién ve lo que hace el agente y qué datos pasan por ahí.

Manejabas Vy describiendo lo que querías en lenguaje llano, sin programar cada paso. El agente convertía esa descripción en una secuencia de clics y pulsaciones y la llevaba a cabo. Eso baja el listón de habilidad para automatizar, porque no necesitas saber un lenguaje de programación para ponerlo en marcha. También significa que las instrucciones vagas salen mal, así que conviene redactar bien la tarea.

Las pantallas reales se mueven. Los menús se despliegan, aparecen diálogos y el contenido se desplaza según carga la página. Vy se apoyaba en el razonamiento espacial para seguir dónde estaba cada cosa y adaptarse a una interfaz que cambiaba durante la tarea. Esa es la parte difícil de la automatización por pantalla y la razón de que existan los agentes de visión primero. También es donde estos agentes tropiezan, por eso la supervisión seguía siendo parte del trabajo.