Relari: Testing and Simulation Stack for GenAI Systems

Relari traite l'application comme un graphe de modules, pas comme une boîte noire unique. Vous déclarez le retriever, le reranker et le générateur séparément, vous accrochez des métriques différentes à chacun et le runner renvoie un score par nœud. Quand une réponse est fausse, le tableau désigne l'étape qui a lâché au lieu d'accuser l'ensemble. C'est la différence entre un chiffre sur lequel on agit et un chiffre sur lequel on discute.

La bibliothèque continuous-eval fournit des métriques pour la recherche documentaire, la génération de texte, la génération de code, la classification et l'usage d'outils par des agents. Contrôles déterministes, similarité sémantique et jugement par LLM cohabitent dans la même exécution, donc vous pouvez mêler un exact match bon marché à une grille notée par modèle. Les métriques personnalisées prennent un critère, une grille et des arguments typés, de quoi bâtir un juge pour presque toutes les règles que vous savez formuler.

Les benchmarks publics sont contaminés et collent rarement à votre domaine, et l'annotation manuelle traîne. Le principe tient en une ligne : des données synthétiques pour tester un LLM au lieu d'un jeu d'évaluation emprunté. Relari fabrique des jeux de test à partir de vos documents et d'interactions types, avec des prompts adverses et des cas limites. L'argument commercial, c'est la couverture : des milliers de requêtes réalistes en un après-midi au lieu d'un ensemble de quarante questions soignées.

Les juges génériques ne sont pas d'accord avec vos utilisateurs. Relari entraîne des évaluateurs sur mesure sur vos propres retours et annonce, dans ses travaux de recherche, plus de 90 pour cent d'alignement avec des annotateurs humains. Ces évaluateurs notent ensuite les nouvelles sorties, ce qui relie les plaintes des utilisateurs en production à ce que mesure votre suite hors ligne.

Les versions suivantes de la plateforme sont allées vers les contrats : de courtes phrases en langage naturel sur ce qu'un agent doit faire et ne pas faire. Un contrat transforme une intention floue en comportement vérifiable, donc les tests d'agents IA couvrent les refus, le ton et le périmètre, pas seulement l'allure finale de la réponse. C'est l'idée la plus intéressante de la pile, et la moins documentée.

Les scores hors ligne décrochent du réel dès que le trafic arrive. La surveillance de Relari échantillonne les conversations en direct, les note avec les mêmes métriques et renvoie les échecs dans le jeu de test. Les équipes qui font tourner cette boucle finissent avec une suite qui vieillit avec le produit au lieu de se figer.