Vy by Vercept

Vy를 규정한 특징은 화면을 읽는다는 점이지, 그 뒤의 코드가 아니다. 에이전트는 스크린샷을 찍어 비전 모델에 넘기고, 버튼과 입력창, 메뉴를 겉모습으로 알아봤다. 그래서 눈에 보이는 인터페이스를 가진 어떤 소프트웨어든 다뤘다. API가 없는 것도 포함된다. 고정 좌표에 기대지 않고 단계마다 화면을 다시 판단했기에, 레이아웃이 바뀌어도 따라갔다.

Vy는 화면에서 출발했으므로, 부딪히는 앱마다 연동을 만들 필요가 없었다. 자동화할 수 있는 범위는 넓어진다. 많은 데스크톱 도구와 사내 도구가 공개 API를 낸 적이 없기 때문이다. 대가는 화면을 거친 조작이 깔끔한 API 호출보다 느리고 까다롭다는 점이다. 다른 연결점이 없는 소프트웨어라면 픽셀을 보는 것이 유일한 방법이다.

내세우는 점은 모델이 화면 위 컨트롤을 얼마나 잘 찾아내는지에 달려 있었다. Vercept에 따르면 그 모델은 ScreenSpot v1에서 92%를 기록했다. 실제 화면에서 지정된 요소를 찾아내는지를 재는 시험이다. 이 숫자가 무거운 이유는 컴퓨터 조작 에이전트가 제자리를 클릭하느냐에 성패가 걸려 있기 때문이다. 결제나 삭제 버튼을 잘못 누르는 일은 단순한 불편으로 끝나지 않는다.

Vercept는 Vy를 클라우드 컴퓨터 조작 에이전트로 돌려 원격 기기를 조작할 수 있었다. MacBook이 흔한 예였다. 자기 노트북을 열고 지켜볼 필요가 없었던 이유는, 에이전트가 스스로 장악한 기기에서 일했기 때문이다. 이런 구성은 길거나 반복되는 작업에 편하지만, 누가 에이전트의 행동을 볼 수 있고 어떤 데이터가 오가는지를 두고 뻔한 의문을 낳는다.

Vy는 단계마다 스크립트를 짜는 대신 하고 싶은 일을 쉬운 말로 설명해 움직였다. 에이전트는 그 설명을 클릭과 키 입력의 연속으로 바꿔 실행했다. 자동화의 기술 장벽은 낮아진다. 스크립트 언어를 몰라도 돌릴 수 있기 때문이다. 반대로 두루뭉술한 지시는 어긋나므로 작업을 또렷하게 적는 일이 중요해진다.

실제 화면은 움직인다. 메뉴가 펼쳐지고 대화상자가 뜨며, 페이지가 로드되면서 내용도 밀린다. Vy는 공간 추론에 기대어 무엇이 어디에 있는지 따라가고, 작업 중 변하는 화면에 맞춰 나아갔다. 이것이 화면 자동화의 어려운 대목이며, 비전 우선 에이전트가 존재하는 이유다. 동시에 이런 에이전트가 자주 미끄러지는 지점이기도 해서, 지켜보는 일은 작업의 일부로 남았다.