Phoenix AI
Arize AI · コーディング
Phoenix AIはArizeによるオープンソースのLLM可観測性プラットフォームだ。開発者はLLMアプリを追跡・評価・デバッグでき、ローカルでもセルフホストでも無料で動かせる。
Phoenix AI について
About
Phoenix AIとは
Phoenix AIは、LLMアプリを観察し改善するためのArizeのオープンソースプラットフォームだ。このAI可観測性プラットフォームは、リクエストがアプリ内をどう流れたかを記録し、出力を採点させ、バージョン付きのデータセットを保持して時間をまたいだ変化を比べられるようにする。LangfuseやLangSmithと同じ分野に並ぶが、端から端まで完全にオープンで、有料の区分に鍵をかけられた機能はない。
このプロジェクトは、LLMのワークフローが壊れたときに中を覗く手段として始まった。チャットボットが的外れな答えを返す、検索の工程が違う文書を引く、エージェントが同じ場所で回り続ける。Phoenixはその実行を読み取れるトレースに変え、その後で評価させ、修正を追わせる。AI製品を出荷するチームにとって、それは当てずっぽうと、問題の在り処を掴むことの差になる。
大きなトレードオフは所有権にある。Phoenixはセルフホスト方式で、サーバーの運用、アップグレード、インフラの用意はこちら側だ。自動スケーリング、保証付きサポート、コンプライアンス書類を求める大きなチームは、同じベンダーのマネージド製品であるArize AXへ移るのが普通だ。データを自社ネットワークに置くことを優先するなら、そのセルフホストこそが狙いになる。
はじめかた
pip install arize-phoenixでパッケージを導入する。インストールを省きたいならuvx arize-phoenix serveを実行する。phoenix serveでサーバーを起動する。ポート6006で開き、トレースをそのまま受け取る。- プロジェクトのフォルダで
npx @arizeai/phoenix-cli setupを実行して計測を仕込むか、OpenInference SDKを手で接続する。 - Phoenixの画面を開き、アプリを動かしてトレースがリアルタイムで届くのを見る。そのあと評価とデータセットを作り、バージョン間の品質を追う。
AIツール情報
Phoenix AIの料金、対応プラットフォーム、性能を簡単に確認できます。
こんな人におすすめ
このツールが最も力を発揮するユーザー、タスク、シーン。
ユーザー
- AI・MLエンジニア：プロンプト、検索、ツール呼び出しをトレース単位で見通せる。エージェントがログでは説明できない挙動をしたとき、これが必要になる。
- バックエンド・プラットフォーム開発者：スタックを書き直さずにOpenTelemetry経由でトレースを足せるので、可観測性が既存のアプリに馴染む。
- データ・評価チーム：データセットを組み、LLM評価を回して品質を測り、出力を目視する代わりに実行を比較する。
- データ規制の厳しいチーム：Phoenixはセルフホストなので、プロンプト、トレース、ユーザーデータを自社ネットワーク内に留められる。
タスク
- LLMアプリのデバッグ：LLMトレーシングがリクエストの流れを一歩ずつ示すので、答えが狂った区間を突き止められる。
- 出力品質の採点：LLM評価はモデルで応答と検索を判定し、漠然とした正確さの感覚を追跡できる数値に変える。
- プロンプト変更の比較：PlaygroundとExperimentsで新しいプロンプトやモデルを試し、品質が本当に上がったかを見られる。
- 大量のプロンプト管理：Prompt Managementがプロンプトに版とタグを付け、チームが出荷内容を見失わずに変更を展開できる。
シーン
- まずい答えを返すRAGアプリ：トレースが原因を検索側か生成側かで切り分けるので、修正が正しい場所に入る。
- 長いタスクで失敗するエージェント：AIエージェントのデバッグがループやツール呼び出しの詰まりを見せ、当て推量に終わらせない。
- データを社外に出せない規制下のチーム：セルフホストのAI可観測性構成ならすべて自社内に収まる。
- 規模拡大に合わせて評価を詰めるチーム：版付きのデータセットと実験で、品質の基準をリリース間で再現できる。
主な機能
トレーシング
トレーシングはOpenTelemetryベースの計測でLLMアプリの実行を記録する。リクエストの各段階を、プロンプトから検索、ツール呼び出しまで、開いて調べられる1本のトレースとして並べる。多くの人がこれ目当てに来る機能で、ログには答えられない問い、すなわちこの実行がどこで狂ったのかを明らかにする。
評価
評価はオープンソースのLLM評価だ。LLMを使い、応答評価と検索評価を通してアプリの性能を測る。出力を1件ずつ読む代わりに、採点器をまとめて回して点数を受け取る。アプリの2つの版を比べ、片方がただ違うだけでなく本当に良いと示す必要があるとき、これが効く。
Datasets
Datasetsは、実験、評価、ファインチューニング用に版付きの例の集合を作らせる。固定したデータセットなら毎回同じ入力が走るので、点数の変化はテストではなくアプリを映す。チームは製品が進む間の安定した基準として使う。
Experiments
Experimentsはプロンプト、LLM、検索の変更を追う。同じデータセットを新しい構成で走らせ、結果を並べて比べる。プロンプトエンジニアリングが当て推量でなく計測になるのはここだ。
Playground
Playgroundはプロンプトエンジニアリング環境で、プロンプトの改善、モデルの比較、パラメータの調整、記録したLLM呼び出しの再生ができる。プロンプト作業の手を動かす部分に向けて作られていて、変種を試し、出力を見て、うまくいくものを残す。実際のトレースを再生すれば、本当に起きた事例で試せる。
Prompt Management
Prompt Managementはバージョン管理、タグ付け、実験でプロンプトの変更を扱う。プロンプトはコードとして扱われ、チームは何が変わったか、誰が変えたかを見て、品質が落ちれば戻せる。この仕組みが共有のプロンプト集がずれていくのを防ぐ。
PXI (Phoenix Intelligence)
PXIはPhoenixに組み込まれたAIエンジニアリングエージェントで、トレースのデバッグ、プロンプトの反復、製品内の移動を助ける。ツール内の助手のように働くので、メニューを探し回らずにトレースの説明やプロンプトの微修正の提案を頼める。
Remote MCP Server
Remote MCP Serverは、Claude Code、Cursor、その他のMCPクライアントを、あなたのPhoenixインスタンスの /mcp エンドポイントにつなぐ。そこからエディタを離れずにトレース、データセット、実験を照会できる。すでにコーディングエージェントの中で作業するチームに合う。
メリットとデメリット
メリット
- オープンソースで無料、有料の区分に鍵をかけられた機能はない。
- セルフホストなのでプロンプト、トレース、ユーザーデータが自社インフラに留まる。
- トレースはOpenTelemetryとOpenInferenceを通じてベンダーと言語に依存せず、多くのスタックに合う。
- すぐ使える対応がLangGraph、LlamaIndex、CrewAI、DSPyといったフレームワークと主要LLMプロバイダーを幅広く覆う。
- データセットと実験は品質の作業を、単発の確認でなく再現できる計測に変える。
- Remote MCP ServerでコーディングエージェントがPhoenixのデータを直接照会できる。
デメリット
- セルフホストはチームがサーバーを動かし、更新を担い、スケーリングを用意することになり、運用の手間が増える。
- 重い評価ジョブとバックグラウンドのスキャンは自前の計算資源で走るので、コストは購読からインフラへ移る。
- 非技術の関係者向けの本番アラートやダッシュボードは内蔵されておらず、それらはマネージド製品のArize AXにある。
- 機能の幅が広く習得に時間がかかり、小さいプロジェクトは始めにトレーシングだけでも足りるかもしれない。
よくある質問
PhoenixはLLMアプリを観察、評価、デバッグするために使う。リクエストがアプリ内をどう流れるかを追跡し、LLM評価で出力を採点し、版付きのデータセットを保って変化を比べられるようにする。
関連コンテンツ
Phoenix AIに関連するツール、スキル、記事を探す。
Phoenix AIの代替ツール
Base Code
Base44 (Wix) · コーディング · 生産性向上Base CodeはBase44の共有クラウド開発環境だ。既存のGitHubリポジトリに対する変更をチャットで伝え、プレビューで確認し、プルリクエストとして返せる。
Google EmbeddingGemma 2
Google DeepMind · ライティング · 画像 · コーディングGoogle EmbeddingGemma 2 は 7 億 4000 万パラメータのオープンなモデルで、テキスト、コード、画像、音声、動画フレームを同じ 768 次元空間のベクトルに変え、スマートフォンやノート PC 上で動く。
GitGlow
GitGlow · コーディング · 生産性向上GitGlow は自分のコードと AI エージェントの変更を一つのレビューにまとめるデスクトップ Git クライアントだ。出荷前に、マシンから何が出ていくのかを確かめられる。