Vy by Vercept

Das bestimmende Merkmal von Vy war, den Bildschirm zu lesen, nicht den Code dahinter. Der Agent machte Screenshots, schickte sie durch ein Vision-Modell und erkannte Buttons, Eingabefelder und Menus am Aussehen. So arbeitete er mit jedem Programm mit sichtbarer Oberflache, auch mit solchen ohne API. Der Ansatz passte sich zudem an wechselnde Layouts an, weil er den Bildschirm bei jedem Schritt neu beurteilte, statt festen Koordinaten zu vertrauen.

Weil Vy vom Bildschirm ausging, brauchte er keine Integration fur jede App, die er beruhrte. Das erweitert, was Sie automatisieren konnen, denn viele Desktop- und interne Werkzeuge haben nie eine offentliche API veroffentlicht. Der Preis ist, dass Bildschirmsteuerung langsamer und zickiger ist als ein sauberer API-Aufruf. Fur Software ohne anderen Ansatzpunkt bleibt der Blick auf Pixel die einzige Option.

Der Auftritt stand und fiel damit, wie gut das Modell Bedienelemente am Bildschirm fand. Laut Vercept erzielte sein Modell 92 Prozent im Benchmark ScreenSpot v1, einem Test, der misst, ob ein Agent ein benanntes Element auf einer echten Oberflache findet. Die Zahl zahlte, weil Agenten fur Computernutzung davon leben, das Richtige zu treffen. Ein Fehlklick auf einen Bezahl- oder Loschbutton ist mehr als ein Ärgernis.

Vercept betrieb Vy als Cloud-Agent fur Computernutzung, der eine entfernte Maschine bedienen konnte, ein MacBook als haufiges Beispiel. Sie mussten Ihr eigenes Notebook nicht offen und beaufsichtigt lassen, weil der Agent auf einer Maschine arbeitete, die er selbst steuerte. Diese Einrichtung ist praktisch fur lange oder wiederholte Aufgaben und wirft die naheliegende Frage auf, wer sieht, was der Agent tut, und welche Daten durchlaufen.

Sie fuhrten Vy, indem Sie in einfacher Sprache beschrieben, was Sie wollten, statt jeden Schritt zu skripten. Der Agent machte daraus eine Folge von Klicks und Tastenanschlagen und fuhrte sie aus. Das senkt die Hurde zum Automatisieren, denn Sie mussen keine Skriptsprache kennen, um ihn zu starten. Es heisst aber auch, dass vage Anweisungen schiefgehen, also lohnt eine klare Formulierung der Aufgabe.

Echte Bildschirme bewegen sich. Menus klappen auf, Dialoge erscheinen, und Inhalte verschieben sich, wahrend die Seite ladt. Vy stutzte sich auf raumliches Denken, um zu verfolgen, wo etwas lag, und einer Oberflache zu folgen, die sich wahrend der Aufgabe anderte. Das ist der schwere Teil der Bildschirm-Automatisierung und der Grund, warum es Vision-zuerst-Agenten uberhaupt gibt. Hier straucheln diese Agenten auch, weshalb die Aufsicht Teil der Arbeit blieb.