UFO²

UFO²는 화면을 통해서만이 아니라 시스템 계층에서 Windows에 붙는다. UI Automation, Win32, COM을 조합해 어떤 요소가 버튼이고 어느 것이 텍스트 상자인지까지 화면의 실제 구조를 이미지에서 추측하지 않고 읽어낸다. 마이크로소프트는 Excel을 예로 든다. 표 데이터를 차트로 바꾸는 일이 전통적인 RPA 도구가 여러 번 클릭을 흉내 내던 것과 달리 API 호출 한 번이면 된다. 이 깊이가 AgentOS라는 이름을 얻게 한 바탕이다.

플랫폼은 일을 두 종류의 에이전트로 나눈다. 중앙의 HostAgent가 목표를 읽고 순서 있는 하위 작업으로 쪼개며, 필요한 프로그램을 띄우고 상태 기계로 실행 전체를 조율한다. 실행 중인 프로그램마다 전용 AppAgent가 붙는다. 그 앱의 화면과 API, 분야 지식을 아는 전문가다. 이 분담이 시스템을 부품 단위로 유지한다. 새 프로그램 지원은 AppAgent를 더하는 일이고, 핵심을 다시 쓰는 일이 아니다.

UFO²는 무엇을 할지뿐 아니라 어떻게 할지를 정한다. 앱이 네이티브 API를 열어 두면 속도와 정확성을 위해 그것을 부른다. 없으면 마우스와 키보드 조작으로 물러난다. 이 혼합 방식이 표준과 비표준 화면을 모두 덮는다. 화면만 보는 에이전트가 자주 넘어지는 지점이 바로 거기다. 잘 길든 앱에서만 도는 도구와, 화면이 거칠어도 버티는 도구의 차이다.

화면을 믿을 만하게 읽는 일이 Windows 자동화와 GUI 자동화 모두에서 어려운 대목이라, UFO²는 두 방법을 융합한다. 구조화된 컨트롤은 Windows UI Automation에 맡기고, UIA가 놓치는 부분, 예컨대 사용자 정의 요소나 캔버스에 그려진 조각은 시각 분석으로 메운다. 이 하이브리드 흐름이 표준과 비표준 화면을 지탱하고, 배치가 정돈되지 않았을 때의 안정성으로 이어진다고 마이크로소프트는 설명한다. 에이전트가 움직이기 전에 화면에 무엇이 있는지 판단하는 층이다.

전형적인 에이전트는 한 단계마다 언어 모델로 왕복하고, 그 비용이 쌓인다. UFO²는 예측한 여러 행동을 한 번의 모델 호출로 묶고, 실행 전에 화면의 실시간 상태와 맞춰 검증한다. 마이크로소프트는 이 방식으로 질의를 최대 51퍼센트 줄인다고 보고한다. 지연과 비용이 함께 내려간다. 토큰 단위로 돈을 내는 사람에게 이 절약은 각주가 아니라 제안의 일부다.

UFO²는 작업 중에 끌어다 쓸 지식 베이스를 유지한다. 앱의 오프라인 문서, 온라인 검색, 사용자 시연, 과거 실행 기록을 벡터 저장소에 섞고 필요한 조각을 그때그때 꺼낸다. 그 결과 매번 백지에서 시작하는 대신 본 것을 기대는 에이전트가 된다. 사람이 프로그램을 쓰면서 배우는 방식과 같다. 마이크로소프트는 이를 시간이 갈수록 나아지는 에이전트의 토대로 본다.

자기 데스크톱에서 에이전트를 돌리면 대개 마우스 주도권을 잃는다. Windows에서 UFO²는 픽처 인 픽처 데스크톱으로 이 문제를 다룬다. 자동화는 격리된 가상 데스크톱에서 돌고, 주 화면과 입력 장치는 그대로 쓸 수 있다. 마이크로소프트는 현재 문서에서 이를 출시 예정으로 적어 두었으니, 오늘 쓸 수 있는 기능이 아니라 로드맵에 있는 것이다. 이것이 자리 잡으면, 에이전트에게 PC를 맡기길 주저하는 가장 큰 이유 하나가 사라진다.