Forsy

Forsy enregistre l'activité de l'agent pendant qu'il tourne, en capturant les appels d'outils, les changements de contexte et l'état de l'espace de travail au moment où ils surviennent. Vous obtenez la trace complète d'une tâche, et non un journal nettoyé reconstitué plus tard. Pour déboguer un agent qui se comporte différemment à chaque exécution, la différence compte. C'est la preuve qu'il vous faut.

La plateforme suit les agents à travers leurs chaînes d'outils pour qu'un flux de travail reste connecté de bout en bout. Si un agent passe d'un système de fichiers à un outil de recherche puis à un endpoint personnalisé, Forsy garde chacune de ces étapes réunies dans une seule vue connectée. Les équipes qui évaluent une plateforme de données pour agents veulent en général cette couverture avant tout le reste.

Les flux de travail capturés deviennent des actifs. Forsy se décrit comme une place de marché où les équipes peuvent découvrir, concéder sous licence et échanger des données d'agents authentiques. Cela ouvre une voie de monétisation aux équipes qui détiennent des traces utiles. Les conditions de mise en vente et de licence passent par l'équipe Forsy plutôt que par une boutique en libre-service.

Forsy publie CPIBench-0, son premier benchmark pour les modèles et les agents dans les opérations cyber-physiques. Il est construit à partir de projets réels en mécatronique, fabrication, matériaux et énergie, avec plus de 1900 exécutions évaluées. Le benchmark sépare un Model Track et un Agent Track. Vous voyez ainsi si la capacité brute survit à la configuration complète de l'agent.

Les classements de CPIBench-0 indiquent le taux de réussite et le score à côté du coût total, du temps d'exécution et de l'usage de jetons. Des vues comme le taux de réussite face au temps d'exécution total montrent combien un agent dépense pour atteindre un résultat donné, ce qui aide à repérer une configuration qui brûle des jetons pour un gain marginal. Pour les équipes à budget serré, ce cadrage est plus utile qu'un simple chiffre de précision.

L'idée centrale est une boucle d'apprentissage. Les agents opèrent dans le monde, leurs flux de travail sont capturés, et ces données nourrissent un comportement meilleur. Elle vise les agents qui travaillent dans des environnements réels et désordonnés plutôt que dans des bacs à sable. C'est pourquoi le benchmark s'appuie sur des projets industriels.