TraceLLM
TraceLLM · Programación
TraceLLM es una plataforma de observabilidad de LLM con enfoque local para equipos que ejecutan aplicaciones de IA en producción. Registra sesiones, spans, prompts y salidas (cuando lo permites), uso de tokens, latencia y errores en chatbots, agentes y pipelines RAG, y luego muestra todo en una sola línea de tiempo. Una capa de políticas decide qué se captura, qué se redacta y qué se descarta, y una ruta de exportación OpenTelemetry reenvía las trazas seleccionadas a backends como SigNoz o Honeycomb. ¿Y qué ganas con eso? Un único lugar para responder por qué una respuesta salió mal.
Acerca de TraceLLM
Qué es TraceLLM
TraceLLM es una plataforma de observabilidad creada específicamente para aplicaciones de IA. En lugar de repartir pistas entre paneles de proveedores, logs de la app e informes de errores de usuarios, le da a cada flujo de IA una sola línea de tiempo: qué lo activó, qué llamada al modelo se ejecutó, cuánto duró cada paso, cuántos tokens consumió y dónde falló.
El proyecto es de código abierto bajo licencia MIT, con el código en GitHub y la app alojada en tracellm.in. Nació de un problema común: una respuesta errónea aparece en producción, pero el código de la app, el almacén vectorial y el proveedor del modelo solo tienen fragmentos de la historia. TraceLLM une esos fragmentos en un único registro inspeccionable.
El límite principal es la madurez. TraceLLM es joven. El SDK de Node es un paquete de workspace en vez de una versión publicada en npm, y la documentación todavía remite a una guía local para la instalación. Si necesitas una herramienta probada a fondo con una gran galería de integraciones, esta todavía no lo es. Si quieres leer el código y autoalojarlo, encaja bien.
Primeros pasos
- Crea una cuenta en tracellm.in o ejecuta el stack en local con
pnpm install,pnpm infra:buildypnpm infra:up. - Crea un proyecto y copia la clave de API del proyecto (
trllm_...). - Instala el SDK de Node en tu app e inicia una sesión con tu endpoint, la clave de API y el nombre del servicio.
- Envuelve tus llamadas al modelo en spans y luego registra eventos, recuentos de tokens y errores a medida que avanzas.
- Abre el Explorador de trazas para inspeccionar cada sesión y, si quieres, añade un endpoint OTLP para reenviar las trazas a tu propio backend.
Información del producto
Un vistazo rápido a los precios, las plataformas compatibles y el rendimiento de TraceLLM.
Ideal para
Los usuarios, tareas y casos de uso en los que esta herramienta encaja mejor.
Usuarios
- Ingenieros de IA y desarrolladores de backend
- Equipos de producto pequeños sin presupuesto de plataforma
- Personal de soporte centrado en la depuración
Tareas
- Rastrear una mala respuesta de un chatbot
- Vigilar el gasto en tokens
- Mantener los errores unidos a sesiones reales
- Exportar a un APM existente
Casos de uso
- Lanzar un agente a producción y necesitar una forma de reproducir una conversación fallida
- Trabajar bajo reglas de contenido donde los prompts llevan datos personales
- Estandarizar la observabilidad en varios servicios de IA
Funciones clave
Trazado de sesiones y spans
TraceLLM organiza un flujo de IA como una sesión con spans anidados. Una sesión contiene el turno del usuario. Cada span cubre una unidad de trabajo, como una llamada a un proveedor, un paso de recuperación o la ejecución de una herramienta. Ese es el núcleo del trazado de LLM. Inicias una sesión, abres spans dentro de ella, registras eventos a medida que ocurren y cierras ambos con un estado. La estructura convierte un montón suelto de líneas de log en una ejecución reproducible.
Controles de política de captura
No todo debería guardarse. Defines la política por proyecto: si se captura el contenido de prompts y salidas, cuántos metadatos y uso se conservan y si la redacción enmascara claves de API y tokens bearer antes de llegar a la base de datos. Aquí es donde el trazado de prompts gana sus barreras. El muestreo puede capturar del 0 % al 100 % de las sesiones, y ciertos tipos de span pueden omitirse por completo.
Seguimiento de uso de tokens y latencia
Cada span puede llevar recuentos de tokens y tiempos junto a sus atributos. Coste y velocidad quedan en la misma vista que la llamada en sí. Puedes ver qué paso es lento y cuál es caro. Sin unir dos paneles. Esa es la diferencia entre saber que la factura subió y saber qué prompt lo causó.
Exportación OpenTelemetry y OTLP
TraceLLM mantiene su propia línea de tiempo y puede reenviar trazas seleccionadas a un colector OTLP HTTP propio. Pegas un endpoint, eliges qué señales reenviar y los datos fluyen hacia SigNoz, Honeycomb, Tempo, Datadog o cualquier backend compatible con OTLP. Los equipos que ya usan un APM conservan su stack actual y tratan TraceLLM como la capa específica de IA por encima.
Instrumentación agnóstica al proveedor
Piénsalo como una herramienta de depuración de IA que no te ata a un proveedor. A los spans les da igual qué modelo llamas. TraceLLM funciona con OpenAI, Claude, Gemini, routers propios, servicios internos y flujos con forma de MCP, porque tú envuelves la llamada en vez de depender de un plugin específico. Cambiar de modelo o de gateway no rompe tu configuración de trazado.
Claves de API por proyecto
Cada clave de API asigna las peticiones a un proyecto y lleva su política de captura al runtime del SDK. Crea varias claves. Ponles nombre. Revoca las antiguas cuando un servicio deje de usarlas. Así una política compartida no se filtra hacia apps no relacionadas, y la rotación de claves se vuelve una tarea sencilla de dos pasos.
Ventajas y desventajas
Ventajas
- Con licencia MIT y código abierto, así que no hay suscripción y el código se puede leer.
- El diseño local te deja autoalojar y mantener los datos de trazas en tu propia infraestructura.
- La política de captura separa contenido, metadatos, uso y errores, lo que ayuda con prompts sensibles.
- La exportación OTLP significa que no abandonas una configuración existente de SigNoz o Datadog.
- Los spans agnósticos al proveedor cubren OpenAI, Claude, Gemini y gateways propios sin plugins.
Desventajas
- El SDK de Node aún no está publicado en npm, así que los primeros usuarios lo instalan desde el repositorio o como paquete de workspace.
- Es un proyecto joven, así que espera menos integraciones listas y menos ejemplos de la comunidad que las herramientas maduras.
- El autoalojamiento significa que tú te encargas del despliegue, las actualizaciones y el dimensionamiento del almacenamiento.
- La documentación todavía se está completando, así que algunos pasos de instalación requieren leer el código fuente.
Preguntas frecuentes
TraceLLM sirve para depurar y monitorizar aplicaciones de IA en producción. Registra sesiones, spans, uso de tokens, latencia y errores de chatbots, agentes y pipelines RAG, y luego los muestra en una sola línea de tiempo para que encuentres por qué una respuesta concreta salió mal.
Contenido relacionado
Explora herramientas, habilidades y artículos relacionados con TraceLLM.
Alternativas a TraceLLM
Forefront
Forefront · ProgramaciónForefront es una plataforma web para construir con IA de código abierto. Te deja ajustar los principales modelos de lenguaje de código abierto con tus propios datos, evaluar cómo rinden y ejecutarlos a través de una API o exportarlos para alojarlos tú mismo. Los desarrolladores que quieren la comodidad de una plataforma cerrada pero insisten en ser dueños de sus modelos y sus datos son el público objetivo.
Startkit
StartKit.AI · ProgramaciónStartkit es un boilerplate para crear productos de SaaS con IA y wrappers de IA. Piénsalo como un boilerplate para startups de IA con las partes aburridas ya conectadas: autenticación, pagos con Stripe y Lemon Squeezy, límites de uso, correo transaccional y un kit de inicio de API de IA que habla con OpenAI, Anthropic, Groq o Llama. Clonas el repositorio, pones tu precio y te dedicas a la parte del producto por la que la gente paga de verdad. Está hecho con Next.js sobre React y Tailwind, así que buena parte del código boilerplate ya te resulta familiar.
Testim
Tricentis · ProgramaciónTestim es una plataforma de automatización de pruebas impulsada por IA para crear y ejecutar pruebas de extremo a extremo en aplicaciones web, móviles y Salesforce. Se apoya en el aprendizaje automático para mantener las pruebas estables cuando cambia una interfaz, así que los equipos dedican menos tiempo a reparar selectores rotos. No está nada mal para una herramienta de pruebas automatizadas que puedes empezar a usar hoy mismo. Creas pruebas grabando acciones en un navegador y luego añades JavaScript cuando necesitas más control. Es una opción sólida para equipos de QA con mucho trabajo.