Phoenix AI

Tracing zeichnet den Lauf Ihrer LLM-Anwendung über eine Instrumentierung auf Basis von OpenTelemetry auf. Sie sehen jeden Schritt einer Anfrage, vom Prompt über das Retrieval bis zum Tool-Aufruf, dargestellt als ein Trace, das Sie öffnen und prüfen können. Es ist die Funktion, wegen der die meisten kommen, weil sie die Frage beantwortet, die Logs nicht können: Wo genau ist dieser Lauf aus der Spur geraten.

Evaluation ist Open-Source-LLM-Evaluierung: Sie nutzt LLMs, um die Leistung Ihrer Anwendung über Antwort- und Retrieval-Evals zu messen. Statt Ausgaben einzeln zu lesen, lassen Sie einen Bewerter über einen Stapel laufen und bekommen Scores zurück. Das zählt, wenn Sie zwei Versionen einer Anwendung vergleichen und zeigen müssen, dass eine wirklich besser ist, nicht nur anders.

Datasets lässt Sie versionierte Beispiele-Sets für Experimente, Evaluierung und Feintuning bauen. Ein festes Set lässt dieselben Eingaben jedes Mal laufen, sodass eine Score-Änderung die Anwendung widerspiegelt und nicht den Test. Teams nutzen das, um eine stabile Basis zu halten, während das Produkt sich bewegt.

Experiments verfolgt Änderungen an Prompts, LLMs und Retrieval. Sie lassen denselben Datensatz gegen ein neues Setup laufen und vergleichen Ergebnisse Seite an Seite. So hört Prompt-Engineering auf, Raten zu sein, und wird zur Messung.

Der Playground ist eine Prompt-Testumgebung und ein Prompt-Engineering-Umfeld, in dem Sie Prompts verbessern, Modelle vergleichen, Parameter anpassen und aufgezeichnete LLM-Aufrufe erneut abspielen. Er ist für den praktischen Teil der Prompt-Arbeit gebaut: eine Variante ausprobieren, die Ausgabe ansehen, behalten, was funktioniert. Ein echtes Trace erneut abzuspielen heißt, gegen einen Fall zu testen, der tatsächlich passiert ist.

Prompt Management regelt Prompt-Änderungen mit Versionskontrolle, Tagging und Experimenten. Prompts werden wie Code behandelt, sodass ein Team sieht, was sich geändert hat, wer es geändert hat, und bei Qualitätsverlust zurückrollen kann. Diese Struktur hält eine geteilte Prompt-Bibliothek davon ab, auseinanderzudriften.

PXI ist ein in Phoenix eingebauter KI-Engineering-Agent, der beim Debuggen von Traces, beim Iterieren an Prompts und beim Navigieren durch das Produkt hilft. Er wirkt wie ein Assistent im Werkzeug, Sie bitten ihn also, ein Trace zu erklären oder einen Prompt-Feinschliff vorzuschlagen, statt Menüs zu durchsuchen.

Der Remote MCP Server verbindet Claude Code, Cursor und andere MCP-Clients mit dem /mcp-Endpunkt Ihrer Phoenix-Instanz. Von dort fragen Sie Traces, Datensätze und Experimente ab, ohne den Editor zu verlassen. Er passt zu Teams, die ohnehin in einem Coding-Agent arbeiten.