Progress AI Observability

Chaque requête devient une trace qui couvre les prompts, les appels au modèle, les étapes de récupération, l'usage des outils, les nouvelles tentatives et la logique de flux personnalisée. Vous voyez la latence, le nombre de tokens et les sorties brutes à chaque saut. Pour un agent à plusieurs étapes, c'est la différence entre une supposition et un diagnostic.

Le débogueur fait remonter les suspects habituels : outils ignorés, problèmes de récupération et mauvais contexte, boucles ou erreurs. Il vise le moment où quelque chose échoue en production, quand vous avez besoin qu'on nomme l'étape fautive, pas un mur de journaux à lire. La trace réduit la recherche à une branche d'une exécution. Le débogage s'accélère. Le sommeil aussi.

La plateforme suit l'usage des tokens et le coût estimé par modèle, fournisseur et agent, puis montre les motifs de flux derrière la dépense. Vous voyez quel agent appelle le modèle cher à chaque tour. Cette trouvaille a tendance à rentabiliser l'outil. Tout flux n'a pas besoin d'un raisonnement de classe GPT, et les données le rendent évident.

Vous notez les sorties avec des évaluations LLM-as-a-Judge, vous regardez les notes de qualité bouger et vous reliez les changements à des modifications de prompt, de modèle ou de flux. Comparer une version à la précédente devient un contrôle répétable plutôt qu'une dispute. Fini les décisions au feeling.

Les datasets et les expériences vous laissent faire passer les mêmes entrées par différentes configurations de prompt ou de modèle. Vous obtenez une lecture côte à côte de la version qui performe le mieux avant qu'elle n'atteigne les utilisateurs. C'est ici que l'évaluation cesse d'être une impression et devient une preuve. Le traçage des LLM alimente directement tout cela.

La gestion des prompts garde les versions de prompt au même endroit, pour qu'un changement soit traçable. Quand la qualité baisse après une modification, vous voyez exactement quel prompt a bougé et vous pouvez le rétablir. C'est la fonction banale qui évite les bugs les plus déroutants. Ennuyeuse, et pourtant précieuse.

Au-delà des traces par requête, la plateforme agrège les métriques de performance de tout le programme d'IA. Vous repérez les modèles lents, les flux coûteux et la dérive dans le temps. Les conseils d'optimisation des modèles indiquent où une option moins chère ou plus rapide ferait l'affaire. Tous les appels n'ont pas besoin du plus gros modèle du catalogue.

L'instrumentation est livrée pour les trois langages dans lesquels travaillent la plupart des équipes d'IA en production. Le support de .NET compte en particulier, car beaucoup d'outils d'observabilité le traitent comme un détail. Vous ajoutez le SDK, vous le pointez vers vos appels et les traces commencent à affluer. C'est tout.