Vy by Vercept

Le trait qui définissait Vy était de lire l'écran, pas le code qui le sous-tend. L'agent prenait des captures, les passait dans un modèle de vision et repérait boutons, champs de saisie et menus à leur apparence. Il conduisait donc tout programme à interface visible, y compris ceux sans API. L'approche s'adaptait aussi aux changements de mise en page, puisqu'il jugeait l'écran à nouveau à chaque étape au lieu de se fier à des coordonnées fixes.

Comme Vy partait de l'écran, il n'avait pas besoin d'une intégration pour chaque application touchée. Cela élargit ce que vous pouvez automatiser, car beaucoup d'outils de bureau et internes n'ont jamais publié d'API publique. Le revers est que le pilotage par écran est plus lent et plus délicat qu'un appel d'API propre. Pour un logiciel sans autre prise, voir les pixels reste la seule option.

Le discours reposait sur la façon dont le modèle repérait les contrôles à l'écran. Selon Vercept, son modèle a marqué 92 % au benchmark ScreenSpot v1, un test qui mesure si un agent localise un élément nommé sur une vraie interface. Ce chiffre comptait, car les agents d'usage d'ordinateur vivent ou meurent sur le fait de cliquer au bon endroit. Un clic erroné sur un bouton de paiement ou de suppression n'est pas qu'un désagrément.

Vercept exécutait Vy comme agent d'usage d'ordinateur dans le cloud, capable de piloter une machine distante, un MacBook en étant l'exemple courant. Nul besoin de laisser votre portable ouvert et surveillé, puisque l'agent travaillait sur une machine qu'il contrôlait. Cette configuration est pratique pour les tâches longues ou répétées, et soulève des questions évidentes sur qui voit ce que fait l'agent et quelles données transitent.

Vous conduisiez Vy en décrivant ce que vous vouliez en langage courant, sans scripter chaque étape. L'agent transformait cette description en une suite de clics et de frappes, puis l'exécutait. Cela abaisse le niveau de compétence requis, car vous n'avez pas besoin de connaître un langage de script pour le lancer. Cela veut aussi dire que des consignes vagues tournent mal, alors mieux vaut formuler clairement la tâche.

Les vrais écrans bougent. Les menus se déploient, les fenêtres surgissent et le contenu se décale à mesure que la page charge. Vy s'appuyait sur le raisonnement spatial pour suivre où se trouvait chaque chose et suivre une interface qui changeait pendant la tâche. C'est la difficulté de l'automatisation par écran et la raison d'être des agents vision d'abord. C'est aussi là que ces agents trébuchent, d'où la supervision qui restait nécessaire.