LangWatch

Cada llamada al modelo, uso de herramienta, búsqueda y evaluación queda como un span dentro de una traza, con spans anidados y un grafo de ejecución para el agente. El recuento de tokens y el coste salen solos por proveedor, prompt y modelo. Las trazas se agrupan en sesiones por hilo, de modo que lees una conversación entera y no una petición suelta. También se capturan textos, imágenes y audio, algo que importa cuando el agente trabaja con capturas o notas de voz.

Las pruebas de agentes de IA empiezan con un escenario escrito, y un LLM hace de usuario generando mensajes realistas a partir de él. La ejecución cubre diálogo de varios turnos, no un único prompt. Un agente juez puntúa cada turno y puede marcar aprobado o suspenso en cualquier punto. La verificación de llamadas a herramientas comprueba que la herramienta correcta se activó en el momento correcto a lo largo de la conversación. Hay un visualizador para reproducir la ejecución paso a paso y pausar a mitad para anotar. Las pruebas de voz funcionan con ElevenLabs, OpenAI Realtime, Twilio, Pipecat y Gemini Live, con tiempo hasta el primer byte, latencia p50 y p95, además de ruido de fondo e interrupciones inyectadas. Los ataques adversariales usan escalada Crescendo y detección de rechazos para encontrar puntos débiles antes que un usuario.

Los evaluadores incluidos cubren métricas RAGAS, alucinaciones, toxicidad, detección de PII y puntuación con LLM como juez. Puedes lanzar experimentos offline desde el SDK o desde un asistente sin código en la interfaz, y luego comparar ejecuciones por calidad, coste y latencia. Los monitores de producción puntúan el tráfico real y avisan cuando baja la calidad. La puntuación funciona sobre un hilo completo y también sobre un mensaje suelto, lo que encaja con bots de soporte y agentes de varios pasos. Los datasets se construyen desde trazas reales, se generan con IA o se suben con imágenes, y una bandeja de anotaciones recoge la revisión humana. Puedes definir un evaluador propio una vez y compartirlo entre proyectos; los mismos controles se ejecutan en línea como barreras de seguridad.

Un solo endpoint habla las APIs de OpenAI y Anthropic, y enruta a OpenAI, Anthropic, Google, Bedrock, Mistral o cualquier otro proveedor con tus claves. Cada cliente recibe una clave virtual con su presupuesto, definido por persona, equipo o cliente final. La empresa habla de 11 microsegundos de sobrecarga. Toda petición que pasa por ahí aterriza como traza en el mismo proyecto, así que el tráfico del gateway y el del SDK quedan juntos.

Los prompts son objetos estructurados con mensajes, entradas y configuración, editables desde el código, la interfaz o la API. El motor de plantillas Liquid añade variables y lógica. La sincronización con GitHub deja revisar un cambio de prompt como cualquier pull request, y las etiquetas marcan las versiones de staging y producción. Un playground compara variantes entre modelos, y las pruebas A/B informan de calidad, coste y latencia por versión. Los webhooks y Slack avisan cuando cambia un prompt.

Un comando, npx langwatch claude, lleva Claude Code, Codex, Copilot, Gemini CLI y opencode al mismo estándar de observación. Las sesiones muestran tokens, coste y uso de caché por ingeniero y por repositorio, lo que responde a dónde se va el gasto en IA. La parte de gobernanza de IA añade un inventario de cada herramienta y proveedor en uso, reglas de anomalías sobre la actividad y un registro de auditoría para revisiones de seguridad.