Langfuse

Langfuse capture des traces hiérarchiques de chaque appel au LLM, usage d'outil et étape de récupération, puis vous laisse filtrer par utilisateur, session, coût, latence ou métadonnées personnalisées. Quand un agent déraille, c'est ici que vous trouvez l'étape exacte qui a cassé.

Vous pouvez noter les sorties avec un LLM juge, de simples fonctions heuristiques ou une relecture humaine. Les évaluateurs tournent sur des données de production en direct ou dans des expériences. Les contrôles qualité sont continus, pas une seule fois avant le lancement.

Les prompts vivent en dehors de votre code avec versioning, déploiements en un clic et retours arrière. Cela évite qu'une modification de prompt devienne un déploiement, ce qui fait gagner du temps aux équipes qui avancent vite.

Le playground vous laisse tester des prompts sur de vraies entrées de production et comparer les modèles côte à côte. Pratique pour vérifier si un modèle moins cher peut gérer une tâche avant de décider le changement.

Vous définissez des cas de test, lancez des expériences et comparez les résultats pour voir quelle configuration gagne. Cela transforme le « je pense que c'est mieux » en un avant-après mesurable.

Les tableaux de bord suivent la dépense en tokens, la latence et la qualité ensemble, avec des alertes automatiques quand quelque chose dérive. Utile. Les équipes s'en servent souvent pour repérer un coût de modèle qui s'emballe avant que la facture n'arrive.

Une API publique, une API de métriques et des exports vers S3 ou un entrepôt de données vous laissent construire par-dessus Langfuse. Pensez facturation à partir des coûts LLM tracés, ou analyse LLM corrélée au comportement utilisateur. C'est un bon choix si vous avez déjà un entrepôt.