Langfuse

O Langfuse captura traces hierárquicos de cada chamada ao LLM, uso de ferramenta e etapa de recuperação, e depois deixa você filtrar por usuário, sessão, custo, latência ou metadados personalizados. Quando um agente se comporta mal, é aqui que você acha a etapa exata que quebrou.

Você pontua as saídas com um juiz LLM, funções heurísticas simples ou revisão humana. Os avaliadores rodam sobre dados de produção ao vivo ou dentro de experimentos. As checagens de qualidade são contínuas, não uma vez antes do lançamento.

Os prompts vivem fora do seu código com versionamento, implantações com um clique e reversões. Isso evita que editar um prompt vire um deploy, o que economiza muito tempo em equipes que andam rápido.

O playground deixa você testar prompts contra entradas reais de produção e comparar modelos lado a lado. É útil para checar se um modelo mais barato dá conta de uma tarefa antes de decidir a troca.

Você define casos de teste, roda experimentos e compara resultados para ver qual configuração vence. Isso transforma o "acho que é melhor" em um antes e depois mensurável.

Os painéis acompanham gasto em tokens, latência e qualidade juntos, com alertas automáticos quando algo desvia. Prático. As equipes costumam usar isso para pegar um custo descontrolado do modelo antes de a fatura chegar.

Uma API pública, uma API de métricas e exportações para S3 ou data warehouse deixam você construir sobre o Langfuse. Pense em cobrança a partir dos custos de LLM rastreados, ou análise de LLM correlacionada com o comportamento do usuário. Encaixa bem se você já tem um warehouse.