Langfuse

Langfuse captura trazas jerárquicas de cada llamada al LLM, uso de herramientas y paso de recuperación, y luego te deja filtrar por usuario, sesión, costo, latencia o metadatos personalizados. Cuando un agente se porta mal, aquí encuentras el paso exacto que falló.

Puedes puntuar las salidas con un juez LLM, funciones heurísticas sencillas o revisión humana. Los evaluadores corren sobre datos de producción en vivo o dentro de experimentos. Las comprobaciones de calidad son continuas, no una sola vez antes del lanzamiento.

Los prompts viven fuera de tu código con versionado, despliegues con un clic y reversiones. Eso evita que editar un prompt se convierta en un despliegue, lo cual ahorra mucho tiempo en equipos que van rápido.

El playground te deja probar prompts contra entradas reales de producción y comparar modelos lado a lado. Resulta útil para comprobar si un modelo más barato puede con una tarea antes de decidir el cambio.

Defines casos de prueba, ejecutas experimentos y comparas resultados para ver qué configuración gana. Esto convierte el "creo que es mejor" en un antes y un después medible.

Los paneles siguen el gasto en tokens, la latencia y la calidad a la vez, con alertas automáticas cuando algo se desvía. Práctico. Los equipos lo usan a menudo para cazar un costo desbocado del modelo antes de que llegue la factura.

Una API pública, una API de métricas y exportaciones a S3 o a un almacén de datos te dejan construir sobre Langfuse. Piensa en facturación a partir de los costos de LLM trazados, o en analítica de LLM correlacionada con el comportamiento del usuario. Encaja bien si ya tienes un almacén.