Helicone

A instalação é uma troca de URL base mais uma chave de API, então um cliente OpenAI, Anthropic, Azure ou LiteLLM existente mantém o formato do código. Não há nada para instalar no servidor nem agente para executar, e por isso as equipes veem registros na mesma tarde em que se cadastram. O caminho do proxy atende qualquer linguagem que consiga enviar uma requisição HTTP.

Cada entrada guarda o prompt completo, a resposta do modelo, os tokens, a latência e o custo calculado. Você filtra por modelo, status, intervalo de tempo ou propriedade própria e depois abre uma requisição para ver onde o tempo foi gasto. O registro de prompts nesse nível transforma uma reclamação vaga numa linha de texto concreta que dá para editar.

O gateway de IA é um endpoint compatível com OpenAI que cobre mais de 100 modelos da OpenAI, Anthropic, Google, Vertex, Groq e outros provedores. Ele acrescenta cache de respostas, limites de requisição por chave e alternativas automáticas quando um provedor falha, e os créditos são cobrados pelo preço do provedor, sem margem. Você também pode usar suas próprias chaves se preferir separar a cobrança.

As propriedades próprias deixam você colar numa requisição um ID de usuário, um plano, o nome de um recurso ou qualquer outra etiqueta. As sessões agrupam então uma conversa de vários turnos numa única visão, e você vê o custo e a duração de uma jornada real. Para uma equipe de suporte, é a diferença entre «o bot está lento» e «esta conta dispara uma chamada de ferramenta de 12 segundos toda vez».

O playground roda prompts contra vários modelos lado a lado e mostra os ajustes de raciocínio nos modelos que os expõem. Os prompts podem ser salvos, versionados e reutilizados a partir do código, e as saídas podem receber nota para julgar uma mudança por resultado, não por intuição. É o jeito rápido de testar um modelo mais barato antes de mandar tráfego real para ele.

Os alertas disparam com limites de custo, taxa de erro ou latência, e os relatórios agendados enviam um resumo por e-mail ou Slack. O HQL, a linguagem de consulta embutida, resolve o que os filtros do painel não expressam, como custo por usuário nos últimos 30 dias. Os resultados saem por exportação ou pela API para o seu data warehouse.

O código é público sob Apache 2.0, com milhares de estrelas no GitHub e um ritmo constante de versões. Você roda a pilha inteira na sua nuvem com Docker, o que pesa quando os prompts carregam dados de clientes que o jurídico não deixa sair. A versão hospedada e a auto-hospedada compartilham o mesmo painel e a mesma API.