LangWatch

Cada chamada de LLM, uso de ferramenta, busca e avaliação vira um span dentro de um traço, com spans aninhados e um grafo de execução para o agente. A contagem de tokens e o custo saem automáticos por provedor, prompt e modelo. Os traços se agrupam em sessões por thread, então você lê a conversa inteira em vez de uma requisição isolada. Texto, imagem e áudio também são capturados, o que pesa quando o agente lida com prints ou áudios.

Os testes de agentes de IA começam com um cenário escrito, e um LLM faz o papel de usuário gerando mensagens realistas a partir dele. A execução cobre diálogo de vários turnos em vez de um prompt único. Um agente juiz pontua cada turno e pode marcar aprovação ou reprovação em qualquer ponto. A verificação de chamadas de ferramenta confere se a ferramenta certa entrou na hora certa ao longo da conversa. Há um visualizador para repetir a execução passo a passo e pausar no meio para anotar. Testes de voz rodam com ElevenLabs, OpenAI Realtime, Twilio, Pipecat e Gemini Live, com tempo até o primeiro byte, latência p50 e p95, além de ruído de fundo e interrupções injetadas. Ataques adversariais usam escalada Crescendo e detecção de recusa para achar pontos fracos antes de um usuário achar.

Os avaliadores embutidos cobrem métricas RAGAS, alucinação, toxicidade, detecção de PII e pontuação com LLM como juiz. Você roda experimentos offline pelo SDK ou por um assistente sem código na interface, depois compara execuções por qualidade, custo e latência. Monitores de produção pontuam o tráfego real e avisam quando a qualidade cai. A pontuação funciona na thread inteira e também em uma mensagem isolada, o que atende bots de suporte e agentes de vários passos. Datasets podem sair de traços reais, ser gerados com IA ou receber imagens, e uma caixa de anotações concentra a revisão humana. Um avaliador próprio pode ser definido uma vez e compartilhado entre projetos, e os mesmos controles rodam embutidos como guardrails.

Um único endpoint fala as APIs da OpenAI e da Anthropic, e roteia para OpenAI, Anthropic, Google, Bedrock, Mistral ou qualquer outro provedor com as suas chaves. Cada chamador recebe uma chave virtual com orçamento próprio, definido por pessoa, time ou cliente final. A empresa fala em 11 microssegundos de sobrecarga. Toda requisição que passa por ali cai como traço no mesmo projeto, então o tráfego do gateway e o do SDK ficam juntos.

Prompts são objetos estruturados com mensagens, entradas e configuração, editáveis pelo código, pela interface ou pela API. O modelo Liquid adiciona variáveis e lógica. A sincronização com o GitHub deixa o time revisar uma mudança de prompt como qualquer pull request, e tags marcam as versões de staging e produção. Um playground compara variantes entre modelos, e os testes A/B mostram qualidade, custo e latência por versão. Webhooks e Slack avisam quando um prompt muda.

Um comando, npx langwatch claude, leva Claude Code, Codex, Copilot, Gemini CLI e opencode para o mesmo padrão de observação. As sessões mostram tokens, custo e uso de cache por engenheiro e por repositório, o que responde onde o gasto com IA realmente vai. A parte de governança de IA acrescenta um inventário de cada ferramenta e provedor em uso, regras de anomalia sobre a atividade e um log de auditoria para revisões de segurança.