OpenLIT

OpenLIT registra cada llamada al LLM, cada tool call, cada petición MCP, cada recuperación y cada paso del agente como un trace estándar de OpenTelemetry. Puedes filtrar por usuario, sesión, coste o latencia, y mandar esos mismos datos a Grafana, Datadog o cualquier endpoint OTLP en lugar de dejarlos solo en OpenLIT. Esa portabilidad es la razón principal por la que los equipos lo eligen frente a una herramienta cerrada.

Con añadir openlit.init() basta para instrumentar los proveedores, frameworks y bases de datos vectoriales compatibles, y la lista pasa de 50 integraciones, entre ellas OpenAI, LangChain, CrewAI y ChromaDB. Para agentes de código como Claude Code, Codex y Cursor, una CLI instala la instrumentación sin tocar tu código fuente.

OpenLIT puntúa las salidas por alucinación, sesgo, toxicidad, relevancia, completitud y seguimiento de instrucciones. Puedes lanzar estas comprobaciones sobre tráfico en vivo o sobre un experimento, y condicionar un pipeline de CI a los resultados, de modo que una caída de calidad bloquee una release en vez de llegar antes al usuario.

Prompt Hub guarda los prompts en un solo lugar, los versiona con etiquetas Major, Minor y Patch e intercambia valores {{variable}} en tiempo de ejecución. Puedes desplegar o revertir un prompt sin publicar código nuevo, lo que mantiene los cambios de copy fuera del ciclo de release.

Los guardrails revisan las peticiones a medida que llegan y actúan sobre inyección de prompts, temas sensibles y restricciones de temática. Tú fijas las reglas y OpenLIT las aplica en la ruta de la petición, lo que te da una capa de seguridad que no depende del buen comportamiento del modelo.

La plataforma gestiona el control de costes y la latencia entre modelos, proveedores, usuarios, sesiones y agentes, y admite precios personalizados para modelos ajustados. Un collector de GPU aparte extrae utilización, memoria, temperatura y consumo de hardware NVIDIA, AMD e Intel, así el coste y la presión de hardware conviven en el mismo panel.