Progress AI Observability

Cada petición se convierte en una traza que abarca prompts, llamadas al modelo, pasos de recuperación, uso de herramientas, reintentos y lógica de flujo personalizada. Ves latencia, recuento de tokens y salidas en bruto en cada salto. Para un agente de varios pasos, esa es la diferencia entre una suposición y un diagnóstico.

El depurador saca a la luz a los sospechosos habituales: herramientas omitidas, problemas de recuperación y contexto malo, y bucles o errores. Apunta al momento en que algo falla en producción, cuando necesitas que nombren el paso que falla, no un muro de logs que leer. La traza reduce la búsqueda a una rama de una ejecución. Depurar se vuelve más rápido. Y dormir, también.

La plataforma sigue el uso de tokens y el coste estimado en modelos, proveedores y agentes, y luego muestra los patrones de flujo detrás del gasto. Puedes ver qué agente llama al modelo caro en cada turno. Ese hallazgo suele pagar la herramienta. No todos los flujos necesitan razonamiento de clase GPT, y los datos lo dejan claro.

Puntúas las salidas con evaluaciones LLM-as-a-Judge, ves moverse las puntuaciones de calidad y conectas los cambios con ediciones de prompt, modelo o flujo. Comparar un lanzamiento con el anterior se vuelve una comprobación repetible en lugar de una discusión. Se acabaron las corazonadas.

Los datasets y experimentos te dejan pasar las mismas entradas por distintas configuraciones de prompt o modelo. Obtienes una lectura lado a lado de qué versión rinde mejor antes de que llegue a los usuarios. Aquí es donde la evaluación deja de ser una vibra y empieza a ser evidencia. La trazabilidad de LLM alimenta esto directamente.

La gestión de prompts mantiene las versiones de prompt en un solo sitio para que un cambio sea rastreable. Cuando la calidad baja tras una edición, ves exactamente qué prompt se movió y puedes revertirlo. Es la función mundana que evita los bugs más confusos. Aburrida, y vale la pena.

Más allá de las trazas por petición, la plataforma agrega métricas de rendimiento de todo el programa de IA. Detectas modelos lentos, flujos caros y deriva con el tiempo. La guía de optimización de modelos apunta dónde bastaría una opción más barata o más rápida. No todas las llamadas necesitan el modelo más grande del catálogo.

La instrumentación llega para los tres lenguajes en los que trabaja la mayoría de equipos de IA en producción. El soporte de .NET importa en particular, porque muchas herramientas de observabilidad lo tratan como algo secundario. Añades el SDK, lo apuntas a tus llamadas y las trazas empiezan a fluir. Eso es todo.