LangWatch

Chaque appel de modèle, appel d'outil, recherche et évaluation devient un span dans une trace, avec des spans imbriqués et un graphe d'exécution pour l'agent. Le comptage des tokens et le coût sortent automatiquement par fournisseur, prompt et modèle. Les traces se regroupent en sessions par fil de discussion, ce qui donne à lire une conversation entière plutôt qu'une requête isolée. Le texte, l'image et l'audio sont capturés aussi, un point qui compte quand l'agent traite des captures d'écran ou des notes vocales.

Les tests d'agents IA partent d'un scénario écrit, et un LLM joue l'utilisateur en générant des messages réalistes à partir de ce scénario. L'exécution couvre un dialogue sur plusieurs tours, pas un prompt unique. Un agent juge note chaque tour et peut valider ou refuser à n'importe quel moment. La vérification des appels d'outils contrôle que le bon outil s'est déclenché au bon moment sur toute la conversation. Un visualiseur permet de rejouer l'exécution pas à pas et de mettre en pause pour annoter. Les tests vocaux tournent avec ElevenLabs, OpenAI Realtime, Twilio, Pipecat et Gemini Live, avec temps jusqu'au premier octet, latence p50 et p95, plus injection de bruit de fond et d'interruptions. Les tests adverses utilisent l'escalade Crescendo et la détection de refus pour trouver les failles avant un utilisateur.

Les évaluateurs inclus couvrent les métriques RAGAS, l'hallucination, la toxicité, la détection de données personnelles et la notation par LLM juge. Vous lancez des expériences hors ligne depuis le SDK ou depuis un assistant sans code dans l'interface, puis comparez les exécutions sur la qualité, le coût et la latence. Les moniteurs de production notent le trafic réel et alertent quand la qualité chute. La notation porte sur un fil complet comme sur un message isolé, ce qui convient aux bots de support et aux agents à plusieurs étapes. Les jeux de données se construisent à partir de traces réelles, se génèrent avec l'IA ou acceptent des images, et une boîte d'annotations centralise la relecture humaine. Un évaluateur maison se définit une fois et se partage entre projets, et les mêmes contrôles s'exécutent en ligne comme garde-fous.

Un seul point d'entrée parle les API d'OpenAI et d'Anthropic, et route vers OpenAI, Anthropic, Google, Bedrock, Mistral ou tout autre fournisseur avec vos clés. Chaque appelant reçoit une clé virtuelle avec son budget, défini par personne, équipe ou client final. L'éditeur annonce 11 microsecondes de surcharge. Toute requête qui passe par là arrive sous forme de trace dans le même projet, donc le trafic du gateway et celui du SDK restent côte à côte.

Les prompts sont des objets structurés avec messages, entrées et configuration, modifiables depuis le code, l'interface ou l'API. Le moteur Liquid ajoute variables et logique. La synchronisation GitHub permet de relire un changement de prompt comme une pull request, et des étiquettes marquent les versions staging et production. Un playground compare les variantes entre modèles, et les tests A/B donnent qualité, coût et latence par version. Des webhooks et Slack préviennent quand un prompt change.

Une commande, npx langwatch claude, place Claude Code, Codex, Copilot, Gemini CLI et opencode sur le même standard d'observation. Les sessions affichent tokens, coût et usage du cache par ingénieur et par dépôt, ce qui répond à la question de la destination réelle de la dépense IA. Le volet gouvernance de l'IA ajoute un inventaire de chaque outil et fournisseur utilisé, des règles d'anomalie sur l'activité et un journal d'audit pour les revues de sécurité.