AgentReady

TokenCut est l'outil phare. Il retire les mots de remplissage, simplifie les constructions verbeuses et normalise les espaces tout en préservant le sens, les blocs de code, les URL et les nombres. Vous choisissez un niveau : light pour les espaces uniquement, standard pour retirer le remplissage, et aggressive pour élaguer les mots vides, ce qui économise le plus mais risque de perdre des nuances. Selon AgentReady, la compression standard affiche un écart de précision moyen de 0,4 % dans ses propres benchmarks, le genre de chiffre qu'il vaut mieux tester soi-même avant de s'y fier en production.

Cet endpoint fonctionne comme une API de conversion de page web en Markdown. Il transforme n'importe quelle URL en Markdown propre, prêt pour un LLM. Les barres de navigation, les publicités et le fouillis sont écartés automatiquement. Vous pouvez aussi retirer les sections de commentaires, conserver les références d'images, extraire les métadonnées et générer une table des matières automatiquement. Un endpoint par lots traite jusqu'à 20 URL à la fois, un crédit chacune. Cela convient aux équipes qui bâtissent des bases de connaissances plutôt que d'extraire les pages une par une.

Les agents ne lisent pas les sitemaps comme les humains ou les robots classiques. Cet outil parcourt un domaine et construit un sitemap taillé pour la consommation par l'IA, afin qu'un agent trouve vos pages importantes sans se frayer un chemin dans une arborescence conçue pour les moteurs de recherche.

L'auditeur LLMO note la capacité d'un modèle de langage à analyser et à comprendre une page. Il signale ce qui déroute les modèles, comme un script lourd, un texte trop mince ou une structure ambiguë, pour que vous corrigiez le contenu avant qu'un assistant IA ne le lise de travers. Pour qui vise la visibilité dans la recherche IA, c'est ce qui ressemble le plus à un outil de diagnostic.

Deux endpoints plus modestes complètent l'ensemble. Le validateur de données structurées vérifie le balisage de schéma à la recherche de problèmes qui cassent la lecture automatique, et l'analyseur de robots.txt montre si vos règles de crawl bloquent les agents IA que vous voulez justement voir apparaître. Ce sont deux vérifications rapides qui repèrent les problèmes avant qu'ils ne coûtent de la visibilité.

Tout passe par une API REST documentée sur /api/v1/, avec des SDK pour Python, Node.js et MCP, plus une extension Chrome. Elle est compatible OpenAI en ce sens que vous compressez, puis appelez votre endpoint de modèle habituel avec le résultat. Le surcoût est d'environ 5 ms par appel de compression. La latence n'est pas le compromis que vous faites.