OpenLIT

O OpenLIT registra cada chamada ao LLM, cada tool call, cada requisição MCP, cada recuperação e cada passo do agente como um trace padrão de OpenTelemetry. Você filtra por usuário, sessão, custo ou latência, e manda esses mesmos dados para o Grafana, o Datadog ou qualquer endpoint OTLP em vez de deixá-los só no OpenLIT. Essa portabilidade é o motivo principal pelo qual os times o escolhem no lugar de uma ferramenta fechada.

Só adicionar openlit.init() já basta para instrumentar os provedores, frameworks e bancos vetoriais compatíveis, e a lista passa de 50 integrações, entre elas OpenAI, LangChain, CrewAI e ChromaDB. Para agentes de código como Claude Code, Codex e Cursor, uma CLI instala a instrumentação sem tocar no seu código-fonte.

O OpenLIT pontua as saídas por alucinação, viés, toxicidade, relevância, completude e seguimento de instruções. Você roda essas checagens sobre tráfego ao vivo ou sobre um experimento, e condiciona um pipeline de CI aos resultados, então uma queda de qualidade trava a release em vez de chegar antes ao usuário.

O Prompt Hub guarda os prompts num lugar só, versiona com etiquetas Major, Minor e Patch e troca valores {{variable}} em tempo de execução. Você publica ou reverte um prompt sem enviar código novo, o que mantém mudanças de texto fora do ciclo de release.

Os guardrails examinam as requisições conforme elas chegam e agem sobre injeção de prompt, temas sensíveis e restrições de assunto. Você define as regras e o OpenLIT as aplica no caminho da requisição, o que dá uma camada de segurança que não depende do bom comportamento do modelo.

A plataforma cuida do controle de custos e da latência entre modelos, provedores, usuários, sessões e agentes, e aceita preços personalizados para modelos ajustados. Um collector de GPU à parte puxa utilização, memória, temperatura e consumo de hardware NVIDIA, AMD e Intel, então custo e pressão de hardware convivem no mesmo painel.