AgentReady

TokenCut은 대표 도구다. 군더더기 단어를 없애고 장황한 구성을 단순화하며 공백을 정규화한다. 그러면서 의미와 코드 블록, URL, 숫자는 유지한다. 단계를 고를 수 있다. light는 공백만, standard는 군더더기 제거, aggressive는 불용어를 잘라내 가장 많이 아끼지만 뉘앙스를 잃을 위험이 있다. AgentReady에 따르면 standard 압축은 자체 benchmark에서 평균 0.4%의 정확도 차이를 보인다. 운영 환경에서 신뢰하기 전에 직접 시험해볼 만한 숫자다.

이 엔드포인트는 웹페이지에서 Markdown으로 바꾸는 API처럼 작동한다. 어떤 URL이든 깔끔하고 LLM에 바로 쓸 수 있는 Markdown으로 바꾼다. 내비게이션 바와 광고, 잡다한 요소는 자동으로 빠진다. 댓글 영역을 없애고, 이미지 참조를 남기고, 메타데이터를 뽑고, 목차를 자동 생성할 수도 있다. 배치 엔드포인트는 한 번에 최대 20개 URL을 처리하며 개당 1크레딧이다. 페이지를 하나씩 긁는 대신 지식 베이스를 만드는 팀에 맞는다.

에이전트는 사람이나 전통적인 크롤러와 다른 방식으로 sitemap을 읽는다. 이 도구는 도메인을 크롤링해 AI가 소화하기 좋은 모양의 sitemap을 만든다. 그래서 에이전트가 검색 엔진용으로 만들어진 디렉터리 트리를 헤매지 않고도 중요한 페이지를 찾는다.

LLMO 감사 도구는 페이지가 언어 모델에 얼마나 잘 파싱되고 이해되는지 점수를 매긴다. 모델을 헷갈리게 하는 요소, 예컨대 무거운 스크립트, 빈약한 텍스트, 모호한 구조를 짚어준다. 그래서 AI 어시스턴트가 잘못 읽기 전에 콘텐츠를 고칠 수 있다. AI 검색 노출을 노리는 사람에게 이는 진단 도구에 가장 가까운 존재다.

두 개의 작은 엔드포인트가 전체를 마무리한다. Structured Data Validator는 기계 판독을 깨뜨리는 문제를 schema 마크업에서 찾아내고, Robots.txt Analyzer는 크롤링 규칙이 당신이 실제로 노출하고 싶은 AI 에이전트를 막고 있는지 보여준다. 둘 다 노출을 잃기 전에 문제를 잡아내는 빠른 점검이다.

모든 것은 /api/v1/에 문서화된 REST API로 돌아간다. Python, Node.js, MCP용 SDK와 Chrome 확장도 있다. OpenAI 호환이라는 말은 압축한 뒤 그 결과를 평소 쓰던 모델 엔드포인트로 보낸다는 뜻이다. 오버헤드는 압축 호출 한 번에 약 5ms다. 지연은 당신이 치르는 대가가 아니다.