Helicone

La instalación es un cambio de URL base y una clave de API, así que un cliente existente de OpenAI, Anthropic, Azure o LiteLLM conserva la forma de su código. No hay nada que instalar en el servidor ni ningún agente que ejecutar, y por eso los equipos ven registros la misma tarde en que se dan de alta. La vía del proxy sirve para cualquier lenguaje que pueda enviar una petición HTTP.

Cada entrada guarda el prompt completo, la respuesta del modelo, los tokens, la latencia y el coste calculado. Puedes filtrar por modelo, estado, rango de fechas o propiedad propia, y luego abrir una sola petición para ver dónde se fue el tiempo. El registro de prompts a este nivel convierte una queja vaga en una línea de texto concreta que puedes editar.

El gateway de IA es un endpoint compatible con OpenAI que cubre más de 100 modelos de OpenAI, Anthropic, Google, Vertex, Groq y otros proveedores. Añade caché de respuestas, límites de peticiones por clave y alternativas automáticas cuando un proveedor falla, y los créditos se facturan al precio del proveedor sin recargo. También puedes usar tus propias claves si prefieres separar la facturación.

Las propiedades propias te dejan pegar a una petición un ID de usuario, un plan, el nombre de una función o cualquier otra etiqueta. Las sesiones agrupan después una conversación de varios turnos en una sola vista, así ves el coste y la longitud de un recorrido real. Para un equipo de soporte, esa es la diferencia entre «el bot va lento» y «esta cuenta provoca una llamada de herramienta de 12 segundos cada vez».

El playground lanza prompts contra varios modelos en paralelo y muestra los ajustes de razonamiento en los modelos que los exponen. Los prompts se guardan, se versionan y se reutilizan desde el código, y las salidas se pueden puntuar para juzgar un cambio por sus resultados y no por la intuición. Es la forma rápida de probar un modelo más barato antes de mandarle tráfico real.

Las alertas saltan con umbrales de coste, tasa de errores o latencia, y los informes programados envían un resumen al correo o a Slack. HQL, el lenguaje de consulta integrado, resuelve lo que los filtros del panel no expresan, como el coste por usuario en los últimos 30 días. Los resultados se exportan o se llevan a tu almacén mediante la API.

El código es público con licencia Apache 2.0, con miles de estrellas en GitHub y un ritmo de versiones constante. Puedes ejecutar todo el stack en tu propia nube con Docker, algo que pesa cuando los prompts llevan datos de clientes que el departamento legal no deja salir. La versión alojada y la autoalojada comparten panel y API.