LangWatch

モデル呼び出し、ツール呼び出し、検索、評価のすべてが1本のトレース内の span として残り、エージェント実行では入れ子の span と実行グラフも見られる。トークンとコストはプロバイダー、プロンプト、モデルごとに自動で集計される。トレースはスレッド ID でセッションにまとまるので、孤立した1リクエストではなく会話全体を読める。テキスト、画像、音声も記録対象で、スクリーンショットや音声メモを扱うエージェントでは効いてくる。

AI エージェントテストは書き下ろしたシナリオから始まり、LLM がユーザー役を演じて現実的なメッセージを生成する。実行は単発のプロンプトではなく複数ターンの対話をカバーする。審判エージェントが各ターンを採点し、任意の時点で合格か不合格かを決められる。ツール呼び出しの検証は、長い会話の中で正しいツールが正しいタイミングで動いたかを見る。ビジュアライザーは実行を1ステップずつ再生し、途中で止めて注釈を付けられる。音声テストは ElevenLabs、OpenAI Realtime、Twilio、Pipecat、Gemini Live に対応し、最初のバイトまでの時間、p50 と p95 のレイテンシに加え、背景ノイズや割り込みの注入も試せる。敵対的テストは Crescendo のエスカレーションと拒否検知で、利用者より先に弱点を見つける。

組み込みの評価器は RAGAS 指標、幻覚、有害性、個人情報検出、LLM を審判にした採点をカバーする。オフライン実験は SDK からも、画面上のノーコードウィザードからも実行でき、走らせたあとは品質、コスト、レイテンシで比較する。本番モニターは実際の流量を採点し、品質が落ちると警告を出す。採点は会話スレッド全体にも1メッセージにも効くので、サポート bot や多段エージェントに向く。データセットは実際のトレースから作り、AI で生成し、画像付きで取り込める。人手の確認は注釈インボックスに集まる。自前の評価器は一度定義すればプロジェクト間で共有でき、同じ検査をアプリ内のガードレールとしても走らせられる。

1つのエンドポイントが OpenAI と Anthropic の API を扱い、OpenAI、Anthropic、Google、Bedrock、Mistral などへ自前のキーで振り分ける。呼び出し元ごとに仮想キーが発行され、担当者、チーム、顧客単位で予算を決められる。ベンダーはオーバーヘッド11マイクロ秒とうたう。ここを通ったリクエストは同じプロジェクトのトレースになり、SDK 経由の通信と同じ場所に並ぶ。

プロンプトはメッセージ、入力、設定を持つ構造化オブジェクトで、コード、画面、API のどこからでも編集できる。Liquid テンプレートで変数とロジックを足せる。GitHub 同期を使えば、プロンプトの変更を pull request と同じようにレビューできる。タグはステージングと本番の版を区別する。プレイグラウンドではモデルをまたいで案を並べ、A/B テストは版ごとの品質、コスト、レイテンシを返す。プロンプトが変わると webhook と Slack が知らせる。

npx langwatch claude の一行で、Claude Code、Codex、Copilot、Gemini CLI、opencode が同じ観測基準に乗る。セッションにはエンジニア別、リポジトリ別のトークン、コスト、キャッシュ利用が出て、AI の費用がどこへ流れているか分かる。AI ガバナンス側は、社内で使われているツールとプロバイダーの一覧、活動に対する異常ルール、セキュリティレビュー用の監査ログを加える。