Relari: Testing and Simulation Stack for GenAI Systems

O Relari trata a aplicação como um grafo de módulos, não como uma caixa preta única. Você declara retriever, reranker e gerador em separado, encaixa métricas diferentes em cada um e o runner devolve notas por nó. Quando a resposta sai errada, o placar aponta a etapa que quebrou em vez de culpar o conjunto. É a diferença entre um número que orienta a ação e um número que rende discussão.

A biblioteca continuous-eval traz métricas para recuperação, geração de texto, geração de código, classificação e uso de ferramentas por agentes. Checagens determinísticas, similaridade semântica e julgamento com LLM convivem na mesma execução, então dá para misturar um exact match barato com uma rubrica pontuada por modelo. Métricas personalizadas aceitam critério, rubrica e argumentos tipados, o suficiente para montar um juiz para quase qualquer política que você saiba escrever.

Benchmarks públicos vivem contaminados e raramente batem com o seu domínio, e anotar à mão é lento. A proposta é direta: dados sintéticos para testar LLM sem depender de um conjunto alheio. O Relari cria conjuntos de teste a partir dos seus documentos e interações de exemplo, incluindo prompts adversariais e de caso de borda. O argumento comercial é cobertura: milhares de consultas realistas numa tarde em vez de um conjunto curado de quarenta.

Juízes genéricos discordam dos seus usuários. O Relari treina avaliadores sob medida com os seus próprios dados de feedback e, segundo a pesquisa da empresa, chega a mais de 90 por cento de alinhamento com avaliadores humanos. Esses avaliadores passam a pontuar as saídas novas, o que fecha o ciclo entre o que os usuários reclamam e o que a suíte offline mede.

As versões seguintes da plataforma caminharam para contratos: frases curtas em linguagem natural sobre o que um agente pode e não pode fazer. Um contrato transforma intenção vaga em comportamento verificável, então os testes de agentes de IA cobrem recusas, tom e escopo, não só se a string final parece plausível. É a ideia mais interessante do stack e também a menos documentada.

Notas offline se afastam da realidade assim que o tráfego real chega. O monitoramento do Relari amostra conversas ao vivo, pontua com as mesmas métricas e devolve as falhas para o conjunto de teste. Times que mantêm esse ciclo rodando terminam com uma suíte que envelhece junto com o produto, em vez de ficar parada no tempo.