Ferramentas de avaliação de LLM: Promptfoo, DeepEval e RAGAS

Escolher o modelo é a parte fácil. Difícil é medir se ele continua funcionando depois que você mexe no prompt. Estas são as ferramentas que fazem esse trabalho.

O que é uma ferramenta de avaliação de LLM

Uma ferramenta de avaliação de LLM é o que transforma "parece que melhorou" em um número que você pode acompanhar. Ela roda um conjunto fixo de casos no seu modelo ou na sua aplicação e devolve uma nota.

Antes de comparar ferramentas, é preciso separar três coisas que costumam ser confundidas. A primeira é benchmarking de modelo, que compara capacidades brutas em provas acadêmicas como MMLU e HumanEval. A segunda é avaliação de aplicação, que pergunta se o seu chatbot ou pipeline produz respostas corretas nos seus dados e com os seus prompts. A terceira é monitoramento de produção, que acompanha o tráfego ao vivo depois do lançamento.

Quem pergunta "qual framework de avaliação usar" quase sempre precisa da segunda categoria, muitas vezes somada à terceira. Escolher a errada é o erro mais comum.

Parece detalhe. Não é.

Por que avaliar deixou de ser opcional

Existe um modo de falha típico de aplicações com IA que não se parece com um bug comum. O código tradicional quebra com um rastro de erro. Uma IA quebra sendo confiante e plausivelmente errada, exatamente o tipo de falha que uma olhada rápida não pega.

Você solta uma funcionalidade, vê algumas saídas e decide que está boa. Três semanas depois, um ajuste de prompt quebra algo que ninguém estava testando, e só o cliente reclama. É por isso que times maduros passaram a tratar avaliação como parte do processo de desenvolvimento, e não como relatório de vez em quando.

Os números de adoção reforçam o cuidado. Em pesquisa recente de programadores, mais gente diz desconfiar da precisão da saída de IA do que confiar nela, mesmo usando a ferramenta no trabalho. Avaliar é a forma de fechar essa lacuna.

Promptfoo: comparação de prompts e red teaming

O Promptfoo é uma ferramenta de linha de comando, guiada por arquivo de configuração, e seu ponto forte é a comparação entre vários modelos e o teste adversarial de segurança.

Ele foi feito para quem está iterando em prompt e precisa ver, lado a lado, como cada modelo responde ao mesmo comando. A suíte de segurança inclui mais de 500 vetores de ataque prontos, o que faz dele a escolha quando o requisito é testar resistência a manipulação.

O uso é local e aberto, o que o torna barato de experimentar. Se o seu problema é "qual dos cinco modelos responde melhor a este prompt", é por aqui que se começa.

DeepEval e RAGAS: avaliação que bloqueia o deploy

O DeepEval é nativo de Python e construído sobre o pytest, o framework de testes padrão da linguagem. Ele traz mais de catorze métricas, de alucinação a viés, passando por checagens específicas de RAG, e foi desenhado para funcionar como portão de qualidade dentro da esteira de integração contínua, bloqueando um deploy ruim.

O RAGAS vem da pesquisa acadêmica e é especializado em sistemas de recuperação de informação. Suas métricas de fidelidade, precisão e cobertura do contexto têm metodologia publicada, o que agrada quem precisa justificar a escolha.

A distinção que mais importa: DeepEval e RAGAS não são concorrentes diretos. O DeepEval cobre o teste geral da aplicação, o RAGAS se aprofunda no RAG, e boa parte dos times roda os dois juntos.

LangSmith, Braintrust e Phoenix: monitoramento em produção

As três ferramentas acima rodam antes do lançamento. Depois que o sistema está no ar, entra outra camada. As ferramentas acima param no deploy.

LangSmith e Braintrust são plataformas hospedadas que acompanham o tráfego ao vivo, permitindo anotar respostas e revisar casos reais. O Arize Phoenix faz trabalho parecido, com opção de hospedagem própria, o que pesa para quem não pode mandar dados para fora.

O papel dessa camada é pegar regressões que o conjunto de testes offline não previu. A distribuição de perguntas que chegam dos usuários reais é sempre mais bagunçada do que a do laboratório.

Sempre. O mundo real não segue roteiro.

O ponto cego de todas elas: o juiz também erra

Quase todas essas ferramentas usam a mesma engrenagem para avaliar texto aberto: pedem a outro modelo que julgue as respostas. Esse mecanismo, chamado de LLM como juiz, funciona, mas tem vieses medidos e publicados.

O viés de posição faz o juiz preferir a primeira ou a segunda resposta conforme a ordem em que aparecem. O viés de autopreferência faz o modelo favorecer textos parecidos com os que ele mesmo escreveria. O viés de verbosidade faz a resposta mais longa parecer melhor, mesmo quando não é.

O jeito de trabalhar com isso é medir e compensar, não confiar de olhos fechados. Rodar a mesma avaliação trocando a ordem das respostas, usar rubricas explícitas em vez de pedir uma nota solta e comparar contra um conjunto de casos com gabarito humano são as defesas mais citadas.

Como montar um ciclo de avaliação que funciona

Outro caminho, para quem só quer testar modelo de IA sem montar infraestrutura, é usar duas ferramentas em paralelo: uma leve para barrar deploys ruins e uma plataforma para acompanhar o que acontece depois. Nenhuma resolve tudo sozinha.

Comece pequeno. Algumas dezenas de casos reais do seu uso dizem mais sobre a sua aplicação do que qualquer prova genérica. Depois transforme essa coleção em teste que roda a cada mudança de prompt, e só então conecte o monitoramento de produção.

Sem pressa. Um passo por vez.

Feito isso, a decisão de trocar de modelo ou ajustar um prompt deixa de ser aposta. Você mexe, roda o conjunto, e vê o efeito antes de publicar. As melhores ferramentas de avaliação de LLM entregam exatamente isso: a possibilidade de errar no laboratório, não na frente do usuário. Os principais modelos de IA usados nos testes estão disponíveis para instalar em plataformas de aplicativos Android, e vale montar a sua primeira bateria de casos com uma delas.