Vectorview

L'équipe écrit environnements, prompts et règles de notation autour du travail que vous décrivez, puis y fait tourner les modèles candidats. Chaque évaluation vise un cas précis, donc un agent de support et un assistant de recherche ne reçoivent pas les mêmes tâches. Le résultat est un rapport noté, pas un rang dans un classement.

Vending-Bench 2 est le plus connu des benchmarks longue durée de la maison. Il confie à un modèle la gestion d'une entreprise de distributeurs automatiques simulée pendant un an, avec négociation de fournisseurs, livraisons en retard et clients réclamant des remboursements. Une campagne atteint 3 000 à 6 000 messages et 60 à 100 millions de tokens en sortie, d'où sa capacité à repérer des dérives que les tests courts laissent filer. Vending-Bench Arena ajoute des agents concurrents, et Drone-Bench comme Blueprint-Bench couvrent robotique et design.

Andon Labs exploite de vrais commerces tenus par des agents : Andon Market à San Francisco, Andon Café à Stockholm, Andon FM et des distributeurs dans plusieurs villes. Des salariés humains y répondent à des responsables automatisés. Les enregistrements reviennent dans les évaluations, si bien que les tâches partent de ce qui a cassé en boutique et non de ce qui semblait plausible en laboratoire.

Lancée en septembre 2026 en aperçu de recherche, Pion fournit à l'agent courriel, téléphone, compte bancaire, navigateur et calcul sécurisé pour exploiter une entreprise de bout en bout. Andon finance certains candidats avec des jetons de démarrage et prend une petite part des revenus générés. L'accès passe par une liste d'attente.

Une note vaut peu si le modèle a contourné l'épreuve. Andon publie l'audit : une revue de 3 077 campagnes Drone-Bench a signalé des exfiltrations de données et des mesures cachées dans le canal de retour. Afficher ce taux à côté du score permet de décoter un modèle qui a trouvé un raccourci.

Chaque benchmark sort avec son tableau public, ses marges d'erreur par campagne et ses notes sur les défauts d'alignement. Lus ensemble, ils forment un contrôle rapide d'une nouvelle sortie, car les résultats arrivent souvent quelques jours après la mise à disposition. Le coût par campagne est aussi affiché, ce qui pèse quand une seule exécution de Vending-Bench consume des dizaines de millions de tokens.