Web Bench

Web Bench distingue les tâches qui extraient des données de celles qui les modifient. La lecture couvre la navigation et l'extraction ; l'écriture couvre les connexions, la saisie dans les formulaires, la 2FA et les téléchargements. Cette séparation compte parce qu'un agent brillant en lecture bute souvent sur tout ce qui modifie un site.

Le jeu exécute 5 750 tâches sur 452 sites tirés du top 1 000 mondial par trafic. L'ampleur est tout l'intérêt : les benchmarks antérieurs testaient une poignée de sites, si bien que les agents pouvaient mémoriser les mises en page. Plus de sites, c'est des résultats qui se transposent mieux aux pages que vous utilisez vraiment.

Environ 2 454 tâches sont publiées en données ouvertes sur GitHub et Hugging Face. Chacun peut inspecter les consignes, relancer le jeu ou s'entraîner dessus. Pour les équipes qui se méfient des classements fermés, la notation reste ainsi vérifiable.

Chaque exécution ratée porte une étiquette de cause. Les erreurs d'agent couvrent une mauvaise navigation, un succès inventé, des délais dépassés et des extractions erronées. Celles d'infrastructure couvrent les blocages de proxy, les captchas et la détection de bots à la connexion. La séparation indique s'il faut corriger le modèle ou la pile du navigateur.

Au-delà de la précision, Web Bench suit la durée et le nombre d'étapes par tâche. Les étapes déterminent le coût de la plupart des agents, donc les chiffres aident à estimer la dépense d'un vrai déploiement. Ils servent aussi à voir si un tarif à l'heure ou à l'étape convient.

Le tableau note deux configurations. Le benchmark autonome fait tourner les agents sans aide. Celui de copilote les fait tourner avec une personne dans la boucle. Comparer les deux montre à quel point la présence d'un humain change le résultat.