LangWatch

Jeder Modellaufruf, Tool-Aufruf, jede Suche und jede Bewertung landet als Span in einem Trace, mit verschachtelten Spans und einem Ausführungsgraphen für Agenten. Token und Kosten werden automatisch pro Anbieter, Prompt und Modell gezählt. Traces gruppieren sich über eine Thread-ID zu Sitzungen, sodass Sie ein ganzes Gespräch lesen statt einer einzelnen Anfrage. Text, Bild und Audio werden ebenfalls erfasst, was zählt, wenn ein Agent mit Screenshots oder Sprachnachrichten arbeitet.

KI-Agent-Tests starten mit einem geschriebenen Szenario, und ein LLM spielt den Nutzer, indem es daraus realistische Nachrichten erzeugt. Der Lauf deckt mehrstufige Dialoge ab statt eines einzelnen Prompts. Ein Judge-Agent bewertet jeden Zug und kann an jeder Stelle bestehen oder durchfallen lassen. Die Prüfung der Tool-Aufrufe kontrolliert, ob das richtige Werkzeug im richtigen Moment lief. Ein Visualizer spielt den Lauf Schritt für Schritt ab und lässt sich mitten im Gespräch für Notizen anhalten. Sprachtests laufen mit ElevenLabs, OpenAI Realtime, Twilio, Pipecat und Gemini Live, inklusive Time-to-First-Byte, p50- und p95-Latenz sowie eingespieltem Hintergrundgeräusch und Unterbrechungen. Adversarische Läufe nutzen Crescendo-Eskalation und Refusal-Erkennung, um Schwachstellen vor den Nutzern zu finden.

Die eingebauten Evaluatoren decken RAGAS-Metriken, Halluzination, Toxizität, PII-Erkennung und Bewertung durch ein LLM als Judge ab. Offline-Experimente starten Sie aus dem SDK oder über einen Assistenten ohne Code in der Oberfläche und vergleichen Läufe danach nach Qualität, Kosten und Latenz. Produktionsmonitore bewerten den laufenden Verkehr und melden, wenn die Qualität sinkt. Die Bewertung greift auf einen ganzen Thread und ebenso auf eine einzelne Nachricht, was zu Support-Bots und mehrstufigen Agenten passt. Datensätze entstehen aus echten Traces, werden mit KI erzeugt oder nehmen Bilder auf, und ein Annotationseingang sammelt die menschliche Prüfung. Eigene Evaluatoren definieren Sie einmal und teilen sie projektübergreifend; dieselben Prüfungen laufen inline als Guardrails.

Ein Endpunkt spricht sowohl die OpenAI- als auch die Anthropic-API und leitet an OpenAI, Anthropic, Google, Bedrock, Mistral oder andere Anbieter weiter, mit Ihren eigenen Schlüsseln. Jeder Aufrufer bekommt einen virtuellen Schlüssel mit eigenem Budget, festgelegt pro Person, Team oder Endkunde. Der Anbieter nennt 11 Mikrosekunden Overhead. Jede Anfrage darüber landet als Trace im selben Projekt, damit Gateway- und SDK-Verkehr an einer Stelle stehen.

Prompts sind strukturierte Objekte mit Nachrichten, Eingaben und Konfiguration, editierbar aus Code, Oberfläche oder API. Die Liquid-Vorlage bringt Variablen und Logik mit. Die GitHub-Synchronisierung lässt Änderungen wie eine Pull Request prüfen, Tags markieren Staging- und Produktionsversionen. Ein Playground stellt Varianten über Modelle hinweg gegenüber, und A/B-Tests melden Qualität, Kosten und Latenz je Version. Webhooks und Slack melden jede Änderung an einem Prompt.

Ein Befehl, npx langwatch claude, bringt Claude Code, Codex, Copilot, Gemini CLI und opencode auf denselben Beobachtungsstandard. Sitzungen zeigen Token, Kosten und Cache-Nutzung pro Entwickler und Repository, was die Frage beantwortet, wohin die KI-Ausgaben tatsächlich gehen. Die KI-Governance ergänzt ein Verzeichnis aller genutzten Werkzeuge und Anbieter, Anomalieregeln auf der Aktivität und ein Audit-Log für Sicherheitsprüfungen.