Agent Monitor

Agent Monitor는 AI 크롤러와 비AI 봇의 방문을 일어나는 순간 기록하고 유형별로 분류한다. 어떤 봇이 사이트에 들어와 어떻게 움직이는지 보이며, 하나로 뭉뚱그린 '봇' 숫자가 아니다. 데이터가 실시간으로 들어오므로, 지난주에 공개한 페이지에 뭔가 왔는지 어제 보고서로 확인하는 대신 크롤링 진행을 그 자리에서 지켜볼 수 있다.

이 뷰는 ChatGPT가 사이트를 어떻게 다루는지 보여준다. 질문에 답할 때 페이지를 얼마나 자주 가져오는지, 어떤 페이지를 추천하는지, 자율 에이전트가 스스로 방문하는 페이지는 어디인지. 가장 많이 인용된 페이지는 앞으로 무엇을 더 발행할지 알려주는 신호가 된다. 모델이 어떤 주제를, 브랜드 이름을 검색창에 넣은 적 없는 사용자 앞에 내놓을 만큼 신뢰하는지 알 수 있기 때문이다. 연구할 가치가 있다.

URL Inspector는 단일 페이지를 점검해 AI 봇이 방문했는지, 얼마나 최근인지, 얼마나 자주인지 알려준다. AI 어시스턴트가 사용자를 보낸 뒤 실제 사용자가 몇 명 왔는지도 보여준다. 한 페이지가 AI 유입을 만드는지 시험하는 깔끔한 방법이다.

대시보드는 트래픽을 사람, AI 봇, 비AI 봇의 세 범주로 나눈다. 회사가 1억 1천만 건이 넘는 기록 방문을 토대로 공개한 수치는 사람 33.7%, AI 봇 25.5%, 기타 봇 40.8%다. 마지막 숫자는 사람들을 자주 놀라게 한다.

설정은 바로 쓸 수 있는 선택지에 기댄다. WordPress와 PrestaShop 플러그인, Node.js 사이트용 NPM 패키지, 수동 Cloudflare Worker 경로다. 회사는 연동에 몇 분이 걸린다고 말하며 자세한 단계는 앱 안에 있다고 한다. 틈새 도구치고 나쁘지 않다.

Agent Monitor는 연동을 명시적으로 켠 뒤에만 데이터를 수집한다. 회사에 따르면 페이지 내용, 사용자 입력, 양식 데이터, 쿠키, 애플리케이션 로그를 가로채지 않는다. 방문을 감지하고 분류하는 데 필요한 만큼만 기록한다.