Relari: Testing and Simulation Stack for GenAI Systems

Relari trata la aplicación como un grafo de módulos, no como una caja negra única. Declaras el retriever, el reranker y el generador por separado, enganchas métricas distintas a cada uno y el runner devuelve puntuaciones por nodo. Cuando una respuesta sale mal, el marcador señala el paso que se rompió en vez de culpar al conjunto. Esa es la diferencia entre un número sobre el que actuar y un número sobre el que discutir.

La librería continuous-eval trae métricas para recuperación, generación de texto, generación de código, clasificación y uso de herramientas por agentes. Las comprobaciones deterministas, la similitud semántica y el juicio con LLM conviven en la misma ejecución, así que puedes mezclar un exact match barato con una rúbrica puntuada por modelo. Las métricas personalizadas aceptan criterio, rúbrica y argumentos tipados, suficiente para montar un juez para casi cualquier política que sepas escribir.

Los benchmarks públicos están contaminados y rara vez coinciden con tu dominio, y etiquetar a mano va lento. La promesa es directa: datos sintéticos para probar LLM sin depender de un set ajeno. Relari crea sets de prueba desde tus documentos e interacciones de ejemplo, con prompts adversarios y de caso límite incluidos. El argumento comercial es la cobertura: miles de consultas realistas en una tarde en lugar de un set curado de cuarenta.

Los jueces genéricos no coinciden con tus usuarios. Relari entrena evaluadores a medida con tus propios datos de feedback y, según su investigación, alcanza más del 90 por ciento de alineación con evaluadores humanos. Esos evaluadores puntúan las salidas nuevas, y así se cierra el círculo entre lo que se queja la gente en producción y lo que mide tu suite offline.

Las versiones posteriores de la plataforma apuntaron a los contratos: frases cortas en lenguaje natural sobre lo que un agente debe y no debe hacer. Un contrato convierte una intención difusa en comportamiento comprobable, de modo que las pruebas de agentes de IA cubren negativas, tono y alcance, no solo si la cadena final parece plausible. Es la idea más interesante del stack y también la que menos documentación tiene.

Las puntuaciones offline se separan de la realidad en cuanto llega tráfico de verdad. La monitorización de Relari muestrea conversaciones vivas, las puntúa con las mismas métricas y devuelve los fallos al set de prueba. Los equipos que mantienen ese bucle acaban con una suite que envejece con el producto en lugar de quedarse obsoleta.