Langfuse
Langfuse GmbH · コーディング · その他
Langfuse は、AI エージェントの追跡、プロンプト評価、コスト管理のためのオープンソース LLM エンジニアリングプラットフォーム。
Langfuse について
Langfuse とは
Langfuse は、チームが自社の大規模言語モデルアプリを本番環境で実際に何をしているのか把握するためのオープンソース AI エンジニアリングプラットフォーム。LLM 呼び出し、ツール呼び出し、検索ステップをすべて構造化されたトレースに集める。これで壊れたエージェントをデバッグしたり、2 つのモデルバージョンを推測なしに比較できる。
AI エージェント追跡が中核だ。実際の利用を追跡し、品質を評価し、プロンプトとモデルを調整して、また出荷する。多くのチームが Langfuse を導入するのは、LLM アプリがログでは説明できない形で失敗するからだ。チャットボットが誤った答えを返す。原因はプロンプトか。検索された文脈か。モデルか。Langfuse はその連鎖を目の前に並べる。
提供形態はクラウドサービスか、セルフホストのオープンソース版。データを自社インフラの外に出せない場合、これは重要になる。現実的な制約が 1 つある。開発者向けツールだ。非技術系のユーザーはトレースのダッシュボードから多くを得られないし、無料の Hobby プランはデータアクセスを 30 日間に制限する。
はじめかた
- クラウドの Hobby プランに登録するか、Docker でオープンソース版をセルフホストする。
- プロジェクト設定から公開キーとシークレット API キーを取得する。
- Python か TypeScript の SDK をインストールし、数行のコードを足してトレースを送る。
- ダッシュボードを開き、トレース、レイテンシ、トークンコストを確認してから評価を組む。
- バージョン管理とワンクリックのロールバックが欲しくなったら、プロンプトをプロンプト管理へ移す。
AIツール情報
Langfuseの料金、対応プラットフォーム、性能を簡単に確認できます。
こんな人におすすめ
このツールが最も力を発揮するユーザー、タスク、シーン。
ユーザー
- AI エンジニア：エージェントと RAG パイプラインのエンドツーエンドのトレースが得られる。ただしデータを送るには SDK コードを書く必要がある。
- LLM 機能を運用するプロダクトチーム：コスト、レイテンシ、品質を 1 つのダッシュボードで見られる。ツールを継ぎ合わせる必要はない。
- 予算の限られたスタートアップ：無料の Hobby プランで小規模プロジェクトをまかなえ、有料プランにはスタートアップ割引もある。
タスク
- エージェントの失敗をデバッグする：各ステップを追跡し、プロンプト、検索、モデルのどれが悪い出力を生んだか突き止める。
- プロンプトのバージョン管理：プロンプトをコードから切り離し、悪い変更をワンクリックで戻す。
- 評価を回す：LLM を審査役にしたり人間が確認したりして本番トレースを採点し、劣化を早く捕まえる。
シーン
- モデルを入れ替えたら誤答し始めたサポートボット：前後のトレースを比べ、変更点を切り分ける。
- ローンチ前のテスト：データセット上で実験を回し、モデルバージョンを並べて比べる。
- 企業のコンプライアンス審査：セルフホストにして、プロンプトもユーザーデータも自社サーバーから出さない。
主な機能
トレースと可観測性
Langfuse は LLM 呼び出し、ツール利用、検索ステップの階層的なトレースを記録し、ユーザー、セッション、コスト、レイテンシ、カスタムメタデータで絞り込める。エージェントがおかしくなったとき、壊れた正確なステップはここで見つかる。
評価
LLM を審査役にしたり、単純なヒューリスティック関数や人間の確認で出力を採点できる。評価器は本番のライブデータでも、実験の中でも動く。品質チェックは継続的に走る。ローンチ前に 1 回だけではない。
プロンプト管理
プロンプトはコードの外に置かれ、バージョン管理、ワンクリックのデプロイ、ロールバックが付く。これでプロンプト編集がデプロイにならずに済む。動きの速いチームでは大きな時間節約になる。
Playground
Playground では本番の実入力に対してプロンプトを試し、モデルを並べて比較できる。安いモデルがタスクをこなせるか、切り替えを決める前に確かめるのに役立つ。
実験とデータセット
テストケースを定義し、実験を回し、結果を比べてどの設定が勝つか見る。これで「こちらの方が良さそう」が測定可能な前後比較になる。
コストとレイテンシの追跡
ダッシュボードはトークン消費、レイテンシ、品質をまとめて追い、何かがずれたら自動アラートを出す。便利だ。チームは請求書が届く前に暴走したモデルコストを捕まえるため、よくこれを使う。
オープンなデータプラットフォームと API
公開 API、メトリクス API、S3 やデータウェアハウスへのエクスポートがあれば、Langfuse の上にさらに作れる。追跡した LLM コストからの課金や、ユーザー行動と相関させた LLM 分析を考えてみよう。すでにウェアハウスを運用しているなら相性がいい。
メリットとデメリット
メリット
- オープンソースでセルフホストも選べる。機密のプロンプトやユーザーデータを自社インフラに置いたままにでき、第三者サーバーに一切触れずに済む。
- OpenTelemetry をサポートする言語やフレームワークなら何でも動く。フレームワークへの囲い込みを避けられる。
- 無料の Hobby プランはクレジットカードなしで小規模プロジェクトと概念検証をまかなえる。
- トレース、評価、プロンプト、実験が 4 つの別ツールではなく 1 つのプラットフォームにまとまる。
デメリット
- 開発者向けに作られている。非技術系のチームメンバーにはトレース画面が使いにくい。
- 無料プランはデータアクセスを 30 日間に制限する。長期の履歴には有料プランが要る。
- 価値を引き出すには構築作業が要る。SDK 連携とプロンプト移行は即座には終わらない。
よくある質問
Langfuse は LLM アプリを追跡・評価・監視する。これによりチームはエージェントの挙動をデバッグし、コストとレイテンシを追い、実際の本番データで品質を高められる。
関連コンテンツ
Langfuseに関連するツール、スキル、記事を探す。
Langfuseの代替ツール
Forefront
Forefront · コーディングForefrontはオープンソースAIで構築するためのウェブプラットフォームだ。主要なオープンソース言語モデルを自分のデータで微調整し、性能を評価し、API経由で実行したり、エクスポートして自分でホストしたりできる。クローズドなプラットフォームの手軽さを求めつつ、モデルとデータの所有権にはこだわる開発者が対象だ。
Startkit
StartKit.AI · コーディングStartkitは、AI SaaSとAIラッパー製品を作るためのボイラープレートだ。面倒な部分をあらかじめ配線済みにしたAIスタートアップボイラープレートと考えればいい。認証、StripeとLemon Squeezyの決済、利用制限、トランザクションメール、そしてOpenAI、Anthropic、Groq、Llamaと通信するAI APIスターターキットが含まれる。リポジトリをクローンして価格を設定し、ユーザーが実際にお金を払う部分に取りかかれる。ReactとTailwind上のNext.jsで作られているため、ボイラープレートコードの多くはすでに見慣れたものだ。
Testim
Tricentis · コーディングTestimは、Web・モバイル・Salesforceアプリ向けにエンドツーエンドテストを構築して実行するAIテスト自動化プラットフォームだ。機械学習を頼りに、インターフェースが変わってもテストを安定させ、チームが壊れたセレクターの修正に費やす時間を減らす。今日から使い始められる自動テストツールとしては悪くない。ブラウザで操作を録画してテストを作り、より細かい制御が必要なときはJavaScriptを足す。忙しいQAチームにとって堅実な選択肢である。