Phoenix AI
Arize AI · Programação
Phoenix AI é a plataforma open source de observabilidade para LLM da Arize. Ela deixa os desenvolvedores rastrearem, avaliarem e depurarem aplicações LLM, rodando localmente ou auto-hospedada de graça.
Sobre Phoenix AI
About
O que é o Phoenix AI
O Phoenix AI é a plataforma open source da Arize para observar e melhorar aplicações LLM. Essa plataforma de observabilidade de IA registra como uma requisição percorre a sua aplicação, deixa você pontuar a saída e guarda datasets versionados para comparar mudanças ao longo do tempo. Ela disputa o mesmo espaço de ferramentas como Langfuse e LangSmith, mas é aberta de ponta a ponta, sem nenhum recurso atrás de um plano pago.
O projeto começou como uma forma de enxergar dentro dos fluxos de LLM quando algo quebra. Um chatbot responde errado, uma etapa de recuperação busca o documento errado, um agente entra em loop. O Phoenix transforma essa execução em um rastreamento legível e depois te deixa avaliá-la e acompanhar a correção. Para quem lança produtos de IA, essa é a diferença entre chutar e saber onde está o problema.
O principal trade-off é a posse. O Phoenix é auto-hospedado, então você sobe o servidor, cuida das atualizações e traz a sua própria infraestrutura. Times maiores que querem escala automática, suporte garantido e documentação de conformidade costumam subir para o Arize AX, o produto gerenciado do mesmo fornecedor. Se a sua prioridade é manter os dados na sua própria rede, essa auto-hospedagem é exatamente o ponto.
Como começar
- Instale o pacote com
pip install arize-phoenixou rodeuvx arize-phoenix servese preferir pular a instalação. - Suba o servidor com
phoenix serve, que abre na porta 6006 e já aceita rastreamentos de cara. - Instrumente a sua aplicação rodando
npx @arizeai/phoenix-cli setupna pasta do projeto, ou conecte o SDK OpenInference na mão. - Abra a interface do Phoenix, rode a sua aplicação e veja os rastreamentos chegando em tempo real; depois monte evals e datasets para acompanhar a qualidade entre versões.
Informações do produto
Uma visão rápida dos preços, das plataformas compatíveis e do desempenho de Phoenix AI.
Ideal para
Os usuários, tarefas e cenários em que esta ferramenta se encaixa melhor.
Usuários
- Engenheiros de IA e ML
- Desenvolvedores backend e de plataforma
- Times de dados e avaliação
- Times com regras rígidas de dados
Tarefas
- Depurar uma aplicação LLM
- Pontuar a qualidade da saída
- Comparar mudanças de prompt
- Gerenciar prompts em escala
Cenários
- Uma aplicação RAG devolvendo respostas ruins
- Um agente falhando em tarefas longas
- Um time regulado que não pode mandar dados para fora
- Um time ajustando a avaliação conforme cresce
Principais recursos
Rastreamento
O rastreamento registra a execução da sua aplicação LLM com instrumentação baseada em OpenTelemetry. Você vê cada passo de uma requisição, do prompt à recuperação à chamada de ferramenta, exposto como um rastreamento que dá para abrir e inspecionar. É o recurso pelo qual a maioria vem, porque responde o que os logs não conseguem: onde exatamente essa execução saiu do trilho.
Avaliação
A avaliação é avaliação de LLM open source: ela usa LLMs para medir o desempenho da sua aplicação por meio de evals de resposta e recuperação. Em vez de ler as saídas uma a uma, você roda um avaliador sobre um lote e recebe pontuações. Isso importa quando você precisa comparar duas versões de uma aplicação e mostrar que uma é melhor, e não só diferente.
Datasets
O Datasets deixa você montar conjuntos versionados de exemplos para experimentação, avaliação e ajuste fino. Um dataset fixo faz as mesmas entradas rodarem sempre, então uma mudança na pontuação reflete a aplicação, não o teste. Os times usam isso para manter uma base estável conforme o produto anda.
Experiments
O Experiments acompanha mudanças em prompts, LLMs e recuperação. Você roda o mesmo dataset contra uma configuração nova e compara os resultados lado a lado. É assim que a engenharia de prompts deixa de ser chute e passa a ser medição.
Playground
O Playground é um ambiente de engenharia de prompts onde você melhora prompts, compara modelos, ajusta parâmetros e reproduz chamadas LLM rastreadas. Ele foi feito para a parte prática do trabalho com prompts: teste uma variação, veja a saída, fique com o que funciona. Reproduzir um rastreamento real significa testar contra um caso que aconteceu de verdade.
Prompt Management
O Prompt Management cuida das mudanças de prompt com controle de versão, etiquetagem e experimentação. Os prompts passam a ser tratados como código, então um time vê o que mudou, quem mudou e consegue reverter se a qualidade cair. Essa estrutura evita que uma biblioteca de prompts compartilhada saia do prumo.
PXI (Phoenix Intelligence)
O PXI é um agente de engenharia de IA embutido no Phoenix que ajuda a depurar rastreamentos, iterar prompts e navegar pelo produto. Ele age como um assistente dentro da ferramenta, então você pede que ele explique um rastreamento ou sugira um ajuste de prompt em vez de caçar menus.
Remote MCP Server
O Remote MCP Server conecta o Claude Code, o Cursor e outros clientes MCP ao endpoint /mcp da sua instância do Phoenix. De lá você consulta rastreamentos, datasets e experimentos sem sair do editor. Ele encaixa em times que já trabalham dentro de um agente de código.
Prós e contras
Prós
- É open source e gratuito, sem nenhum recurso trancado atrás de um plano pago.
- A auto-hospedagem mantém prompts, rastreamentos e dados de usuário na sua própria infraestrutura.
- O rastreamento segue agnóstico de fornecedor e de linguagem graças ao OpenTelemetry e ao OpenInference, então encaixa em muitas stacks.
- O suporte pronto de fábrica cobre frameworks como LangGraph, LlamaIndex, CrewAI e DSPy, além dos principais fornecedores de LLM.
- Datasets e experiments transformam o trabalho de qualidade em medições repetíveis em vez de checagens pontuais.
- O Remote MCP Server deixa os agentes de código consultarem seus dados do Phoenix direto.
Contras
- Auto-hospedar significa que o seu time sobe o servidor, cuida das atualizações e provisiona a escala, o que soma trabalho operacional.
- Trabalhos de avaliação pesados e varredura em segundo plano rodam na sua própria computação, então o custo sai da assinatura e vai para a infraestrutura.
- Não há alertas nem dashboards de produção embutidos para perfis não técnicos; isso vive no produto gerenciado Arize AX.
- A variedade de recursos leva tempo para aprender, e um projeto pequeno pode precisar só do rastreamento para começar.
Perguntas frequentes
O Phoenix serve para observar, avaliar e depurar aplicações LLM. Ele rastreia como uma requisição percorre uma aplicação, pontua a saída com evals de LLM e guarda datasets versionados para você comparar mudanças.
Conteúdo relacionado
Explore ferramentas, skills e artigos relacionados a Phoenix AI.
Alternativas a Phoenix AI
Forefront
Forefront · ProgramaçãoO Forefront é uma plataforma web para construir com IA de código aberto. Você ajusta os principais modelos de linguagem de código aberto com seus próprios dados, avalia o desempenho deles e os roda por uma API ou os exporta para hospedar por conta própria. Desenvolvedores que querem a conveniência de uma plataforma fechada, mas fazem questão de ser donos dos modelos e dos dados, são o público-alvo aqui.
Startkit
StartKit.AI · ProgramaçãoStartkit é um boilerplate para criar produtos de SaaS com IA e wrappers de IA. Pense nele como um boilerplate para startups de IA com as partes chatas já conectadas: autenticação, pagamentos com Stripe e Lemon Squeezy, limites de uso, e-mail transacional e um kit inicial de API de IA que conversa com OpenAI, Anthropic, Groq ou Llama. Você clona o repositório, define seu preço e começa pela parte do produto que as pessoas realmente pagam. Ele é feito em Next.js sobre React e Tailwind, então boa parte do código boilerplate já parece familiar.
Testim
Tricentis · ProgramaçãoO Testim é uma plataforma de automação de testes com IA para criar e executar testes de ponta a ponta em aplicações web, mobile e Salesforce. Ele se apoia no aprendizado de máquina para manter os testes estáveis quando uma interface muda, então as equipes gastam menos tempo consertando seletores quebrados. Nada mal para uma ferramenta de testes automatizados que você pode começar a usar hoje. Você cria testes gravando ações no navegador e depois adiciona JavaScript quando precisa de mais controle. É uma escolha sólida para equipes de QA ocupadas.