Phoenix AI

Le traçage enregistre l'exécution de votre application LLM via une instrumentation basée sur OpenTelemetry. Vous voyez chaque étape d'une requête, du prompt à la récupération jusqu'à l'appel d'outil, présentée comme une trace que vous ouvrez et inspectez. C'est la fonction qui attire la plupart des gens, parce qu'elle répond à ce que les journaux ne peuvent pas : où exactement cette exécution a dérapé.

L'évaluation, c'est de l'évaluation LLM open source : elle utilise des LLM pour mesurer la performance de votre application via des evals de réponse et de récupération. Au lieu de lire les sorties une par une, vous passez un évaluateur sur un lot et récupérez des scores. Cela compte quand il faut comparer deux versions d'une application et montrer que l'une est vraiment meilleure, pas seulement différente.

Datasets vous laisse constituer des ensembles versionnés d'exemples pour l'expérimentation, l'évaluation et l'affinage. Un jeu de données figé fait tourner les mêmes entrées à chaque fois, donc un changement de score reflète l'application, pas le test. Les équipes s'en servent pour garder une base stable pendant que le produit évolue.

Experiments suit les changements de prompts, de LLM et de récupération. Vous lancez le même jeu de données contre une nouvelle configuration et comparez les résultats côte à côte. C'est ainsi que l'ingénierie de prompts cesse d'être de la devinette et devient une mesure.

Le Playground est un environnement d'ingénierie de prompts où vous améliorez les prompts, comparez les modèles, ajustez les paramètres et rejouez des appels LLM tracés. Il est conçu pour la partie manuelle du travail sur les prompts : essayez une variante, regardez la sortie, gardez ce qui marche. Rejouer une trace réelle revient à tester sur un cas qui s'est réellement produit.

Prompt Management gère les changements de prompt avec contrôle de version, étiquetage et expérimentation. Les prompts sont traités comme du code, donc une équipe voit ce qui a changé, qui l'a changé, et peut revenir en arrière si la qualité baisse. Cette structure empêche une bibliothèque de prompts partagée de dériver.

PXI est un agent d'ingénierie IA intégré à Phoenix qui aide à déboguer les traces, itérer sur les prompts et naviguer dans le produit. Il joue le rôle d'assistant dans l'outil, donc vous lui demandez d'expliquer une trace ou de suggérer un ajustement de prompt plutôt que de fouiller les menus.

Le Remote MCP Server connecte Claude Code, Cursor et d'autres clients MCP à l'endpoint /mcp de votre instance Phoenix. De là, vous interrogez traces, jeux de données et expériences sans quitter votre éditeur. Il convient aux équipes qui travaillent déjà dans un agent de code.