UFO²

UFO² hängt sich auf Systemebene in Windows ein und nicht allein über den Bildschirm. Er verbindet UI Automation, Win32 und COM, um die echte Struktur einer Oberfläche zu lesen, einschließlich der Frage, welches Element eine Schaltfläche und welches ein Textfeld ist, statt das aus einem Bild zu erraten. Microsoft nennt Excel als Beispiel: Tabellendaten in ein Diagramm zu überführen, kann ein einzelner API-Aufruf sein, wo ein klassisches RPA-Werkzeug mehrere Klicks simuliert. Diese Tiefe bringt das Label AgentOS ein.

Die Plattform verteilt die Arbeit auf zwei Agentenarten. Ein zentraler HostAgent liest das Ziel, zerlegt es in geordnete Teilaufgaben, startet die nötigen Programme und koordiniert den Lauf über eine Zustandsmaschine. Jedes laufende Programm bekommt einen eigenen AppAgent, einen Spezialisten, der Oberfläche, APIs und Fachwissen dieser App kennt. Diese Aufteilung hält das System modular: Ein neues Programm bedeutet einen neuen AppAgent, nicht einen Umbau des Kerns.

UFO² entscheidet, wie er handelt, nicht nur was zu tun ist. Wenn eine App eine native API anbietet, ruft der Agent sie für Tempo und Genauigkeit auf. Wenn nicht, greift er zu Maus- und Tastaturaktionen. Dieser gemischte Ansatz deckt Standard- und Nicht-Standard-Oberflächen ab, genau dort, wo rein bildschirmbasierte Agenten oft scheitern. Das ist der Unterschied zwischen einem Werkzeug für brav gebaute Apps und einem, das auch bei rauer Oberfläche weiterläuft.

Eine Oberfläche verlässlich zu lesen ist der schwierige Teil der Windows-Automatisierung und der GUI-Automatisierung zugleich, deshalb führt UFO² zwei Verfahren zusammen. Für strukturierte Steuerelemente nutzt er Windows UI Automation, und für alles, was UIA verpasst, etwa eigene oder auf eine Zeichenfläche gemalte Elemente, kommt eine visuelle Auswertung dazu. Die hybride Pipeline deckt Standard- und Nicht-Standard-Oberflächen ab, und Microsoft schreibt ihr mehr Stabilität zu, wenn das Layout nicht aufgeräumt ist. Diese Schicht entscheidet, was wirklich auf dem Bildschirm liegt, bevor der Agent handelt.

Jeder Schritt eines typischen Agenten bedeutet eine weitere Runde zum Sprachmodell, und das summiert sich. UFO² bündelt mehrere vorhergesagte Aktionen in einen einzigen LLM-Aufruf und prüft sie gegen den live erfassten Zustand der Oberfläche, bevor er sie ausführt. Microsoft meldet mit diesem Verfahren bis zu 51 Prozent weniger Abfragen, was Latenz und Kosten senkt. Wer pro Token zahlt, für den ist diese Ersparnis ein echter Teil des Angebots und keine Fußnote.

UFO² hält eine Wissensbasis bereit, auf die er während der Arbeit zugreift. Er mischt Offline-Dokumentation der Apps, Onlinesuche, Nutzerdemonstrationen und Spuren früherer Läufe in einen Vektorspeicher und holt die relevanten Teile zur Laufzeit hervor. Das Ergebnis ist ein Agent, der sich auf bereits Gesehenes stützt, statt jedes Mal kalt zu starten, so wie ein Mensch ein Programm durch Benutzung lernt. Microsoft stellt das als Grundlage für Agenten dar, die mit der Zeit besser werden.

Einen Agenten auf dem eigenen Desktop laufen zu lassen, heißt meist, die Kontrolle über die Maus zu verlieren. Unter Windows begegnet UFO² dem mit einem Picture-in-Picture-Desktop: Die Automatisierung läuft in einem isolierten virtuellen Desktop, während Sie Hauptbildschirm und Eingabegeräte weiter nutzen. Microsoft führt das in der aktuellen Dokumentation noch als kommend, es steht also auf der Roadmap und ist heute nicht verfügbar. Sobald es kommt, fällt einer der größten Gründe weg, aus denen Menschen zögern, einen Agenten ihren Rechner steuern zu lassen.