Phoenix AI
Arize AI · Programación
Phoenix AI es la plataforma open source de observabilidad para LLM de Arize. Los desarrolladores pueden trazar, evaluar y depurar aplicaciones LLM, y funciona en local o autoalojada sin coste alguno.
Acerca de Phoenix AI
About
Qué es Phoenix AI
Phoenix AI es la plataforma open source de Arize para observar y mejorar aplicaciones LLM. Esta plataforma de observabilidad de IA registra cómo avanza una petición dentro de tu aplicación, permite puntuar el resultado y guarda datasets versionados para comparar cambios con el tiempo. Compite en el mismo terreno que Langfuse y LangSmith, pero es abierta de principio a fin, sin ninguna función tras un muro de pago.
El proyecto nació para ver qué ocurre dentro de un flujo LLM cuando algo se rompe. Un chatbot responde mal, un paso de recuperación trae el documento equivocado, un agente entra en bucle. Phoenix convierte esa ejecución en un trazado legible, y después te deja evaluarlo y seguir la corrección. Para quien lanza productos de IA, ahí está la diferencia entre adivinar y saber dónde falla.
El gran compromiso viene con la propiedad. Phoenix se autoaloja: tú levantas el servidor, gestionas las actualizaciones y pones la infraestructura. Los equipos grandes que quieren escalado automático, soporte garantizado y papeleo de cumplimiento suelen pasar a Arize AX, el producto gestionado del mismo fabricante. Si tu prioridad es mantener los datos en tu propia red, ese autoalojamiento es justo lo que buscas.
Cómo empezar
- Instala el paquete con
pip install arize-phoenixo ejecutauvx arize-phoenix servesi prefieres saltarte la instalación. - Arranca el servidor con
phoenix serve, que abre en el puerto 6006 y recibe trazas nada más empezar. - Instrumenta tu aplicación ejecutando
npx @arizeai/phoenix-cli setupen la carpeta del proyecto, o conecta el SDK de OpenInference a mano. - Abre la interfaz de Phoenix, lanza tu app y mira cómo llegan las trazas en tiempo real; luego crea evals y datasets para seguir la calidad entre versiones.
Información del producto
Un vistazo rápido a los precios, las plataformas compatibles y el rendimiento de Phoenix AI.
Ideal para
Los usuarios, tareas y casos de uso en los que esta herramienta encaja mejor.
Usuarios
- Ingenieros de IA y ML
- Desarrolladores backend y de plataforma
- Equipos de datos y evaluación
- Equipos con normas estrictas de datos
Tareas
- Depurar una app LLM
- Puntuar la calidad de la salida
- Comparar cambios de prompt
- Gestionar prompts a escala
Casos de uso
- Una app RAG que da malas respuestas
- Un agente que falla en tareas largas
- Un equipo regulado que no puede sacar datos
- Un equipo que afina la evaluación mientras crece
Funciones clave
Trazado
El trazado registra la ejecución de tu app LLM con instrumentación basada en OpenTelemetry. Ves cada paso de una petición, desde el prompt hasta la recuperación y la llamada a herramienta, desplegado como una traza que puedes abrir e inspeccionar. Es la función por la que viene la mayoría, porque responde lo que los logs no pueden: dónde exactamente se torció esta ejecución.
Evaluación
La evaluación es evaluación de LLM open source: usa LLMs para medir el rendimiento de tu app mediante evals de respuesta y recuperación. En lugar de leer salidas una a una, pasas un evaluador sobre un lote y recibes puntuaciones. Eso importa cuando necesitas comparar dos versiones de una app y demostrar que una es mejor, no solo distinta.
Datasets
Datasets te deja crear conjuntos versionados de ejemplos para experimentar, evaluar y afinar. Un dataset fijo hace que las mismas entradas se ejecuten siempre, así un cambio en la puntuación refleja la app y no la prueba. Los equipos lo usan para mantener una base estable mientras el producto avanza.
Experiments
Experiments sigue los cambios en prompts, LLMs y recuperación. Lanzas el mismo dataset contra una configuración nueva y comparas resultados lado a lado. Así es como la ingeniería de prompts deja de ser adivinanza y empieza a ser una medición.
Playground
El Playground es un entorno de ingeniería de prompts donde mejoras prompts, comparas modelos, ajustas parámetros y reproduces llamadas LLM trazadas. Está pensado para la parte manual del trabajo con prompts: prueba una variación, mira la salida, quédate con lo que funciona. Reproducir una traza real significa que pruebas contra un caso que ocurrió de verdad.
Prompt Management
Prompt Management gestiona los cambios de prompt con control de versiones, etiquetado y experimentación. Los prompts se tratan como código, así un equipo ve qué cambió, quién lo cambió y puede revertir si la calidad cae. Esa estructura evita que una biblioteca de prompts compartida se desvíe.
PXI (Phoenix Intelligence)
PXI es un agente de ingeniería de IA integrado en Phoenix que ayuda a depurar trazas, iterar prompts y manejarse por el producto. Actúa como un asistente dentro de la herramienta, así le pides que explique una traza o sugiera un retoque de prompt en vez de buscar por menús.
Remote MCP Server
El Remote MCP Server conecta Claude Code, Cursor y otros clientes MCP al endpoint /mcp de tu instancia de Phoenix. Desde ahí consultas trazas, datasets y experimentos sin salir del editor. Encaja en equipos que ya trabajan dentro de un agente de código.
Ventajas y desventajas
Ventajas
- Es open source y gratuito, sin ninguna función bloqueada tras un plan de pago.
- El autoalojamiento mantiene prompts, trazas y datos de usuario en tu propia infraestructura.
- El trazado sigue siendo agnóstico de proveedor y lenguaje gracias a OpenTelemetry y OpenInference, así encaja en muchos stacks.
- El soporte listo para usar cubre frameworks como LangGraph, LlamaIndex, CrewAI y DSPy, además de los principales proveedores de LLM.
- Datasets y experiments convierten el trabajo de calidad en mediciones repetibles en vez de comprobaciones puntuales.
- El Remote MCP Server permite que los agentes de código consulten tus datos de Phoenix directamente.
Desventajas
- Autoalojar significa que tu equipo levanta el servidor, gestiona actualizaciones y aprovisiona el escalado, lo que añade trabajo operativo.
- Los trabajos de evaluación pesados y el escaneo en segundo plano corren en tu propio cómputo, así el coste pasa de suscripción a infraestructura.
- No hay alertas ni dashboards de producción integrados para perfiles no técnicos; eso vive en el producto gestionado Arize AX.
- El abanico de funciones lleva tiempo de aprender, y un proyecto pequeño puede necesitar solo el trazado para empezar.
Preguntas frecuentes
Phoenix sirve para observar, evaluar y depurar aplicaciones LLM. Traza cómo avanza una petición dentro de una app, puntúa la salida con evals de LLM y guarda datasets versionados para comparar cambios.
Contenido relacionado
Explora herramientas, habilidades y artículos relacionados con Phoenix AI.
Alternativas a Phoenix AI
Udon
Udon · Programación · ProductividadUdon convierte un Mac con Apple Silicon en un servidor doméstico que se gestiona desde el navegador, con contenedores, archivos compartidos y un administrador de sistemas con IA opcional.
offstage
offstage cloud · Programación · Productividadoffstage da a los agentes de IA y a los trabajos de CI un Mac de verdad: una cuenta de macOS 27 sobre Apple silicon, manejada por API y cobrada por segundo.
BotBus
Chengdu Tuyang Tusen Technology Co., Ltd. · Programación · ProductividadBotBus te deja controlar desde el móvil y el reloj los agentes de programación con IA que corren en tu ordenador: apruebas comandos, lanzas tareas y lees resultados sin volver al escritorio.