Helicone
Helicone, Inc. · コーディング
Helicone はオープンソースの LLM オブザーバビリティ基盤であり、AI ゲートウェイでもある。ベース URL を 1 つ変えるだけで、プロンプトの記録、コストの把握、100 以上のモデルへの振り分けが始まる。
Helicone について
About
Helicone とは
Helicone はアプリケーションとモデル提供元の間に置く。OpenAI SDK の接続先をゲートウェイのアドレスに向けるか、すでに送っているリクエストにプロキシの URL を足す。すると各リクエストが、プロンプト、応答、トークン数、コスト、レイテンシ付きでダッシュボードに並ぶ。
これで公開から 1 週間後に出てくる疑問に答えられる。ある顧客のチャットがなぜ 40 セントかかるのか。どのプロンプトで JSON 出力が壊れたのか。遅さの原因が自分のサーバーにあるのか、提供元にあるのか。リクエストログは検索でき、ユーザー、セッション、独自プロパティでまとめられる。
コードは Apache 2.0 で公開され、プロンプトを第三者に送れないチーム向けに自前ホストの道も用意する。使う価値がどこにあるかは 2 つの制約で決まる。モデルを呼ぶコードに触れられる必要がある。導入作業はベース URL の変更とヘッダー追加だからだ。評価まわりの機能は専門の評価基盤より薄いので、実験を大量に回すチームは別のツールを併用する。
導入の流れ
- 無料アカウントを作り、設定画面で API キーを発行する。
- OpenAI クライアントの接続先を Helicone のゲートウェイに向けるか、既存のリクエストにプロキシ URL と Helicone-Auth ヘッダーを足す。
- 1 回リクエストを送り、リクエストタブを開く。数秒でログが出る。
- ユーザー ID やプランなどの独自プロパティを付けておくと、あとでコストを分けられる。
- コストやエラー率にアラートを設定し、チームを招待する。
AIツール情報
Heliconeの料金、対応プラットフォーム、性能を簡単に確認できます。
こんな人におすすめ
このツールが最も力を発揮するユーザー、タスク、シーン。
ユーザー
- LLM 機能を本番に出す開発チーム：呼び出しごとにコストとレイテンシが残るので、不具合の報告から修正までの距離が縮む。
- 個人開発者と小さなスタートアップ：無料プランで月 10,000 リクエストまで使え、最初の製品に計測を入れるには足りる。クレジットカードも要らない。
- プラットフォーム担当と DevOps：ゲートウェイがキー、レート制限、フォールバックをまとめ、ルーティングがアプリのコードから消える。
- データ規則のあるチーム：Apache 2.0 のコードを自社インフラで動かせる。プロンプトをネットワークの外に出せない場合に効く。
タスク
- おかしな応答の原因を追う：リクエストを開き、実際のプロンプトと出力を読んで、書き損じた指示を見つける。
- コストを監視する：LLM コスト管理が請求をモデル、ユーザー、セッション単位に分ける。月の合計 1 つで終わらない。
- 提供元を乗り換える：ゲートウェイでモデル名を変えれば、安い候補や速い候補を試せる。失敗時はフォールバックが働く。
- プロンプトを比べる：Playground で複数案を走らせ、出力を採点してから変更を出す。
- 利用状況を監査する：経理やセキュリティが詳細を求めたら、API 経由でリクエストログを自社のデータウェアハウスへ移す。
シーン
- 公開後に高くついたチャットボット：コスト画面が、どのユーザー、機能、モデルが請求を押し上げているかを見せる。
- 今週 3 つのモデルを試す試作：ゲートウェイのキー 1 つで全部まかなえる。新しい提供元アカウントは不要だ。
- 規制のある環境：自前ホストのオブザーバビリティなら、プロンプトと応答は自社クラウドの中に残る。
主な機能
1 行で終わる導入
作業はベース URL の変更と API キーの設定だけなので、既存の OpenAI、Anthropic、Azure、LiteLLM のクライアントはコードの形を保てる。サーバーに何かを入れる必要も、動かすエージェントもない。登録した日の午後にはログが見えているのはそのためだ。プロキシ経由なら、HTTP リクエストを送れる言語なら何でも使える。
リクエストログとトレース
各エントリにはプロンプト全体、モデルの応答、トークン数、レイテンシ、計算済みのコストが残る。モデル、ステータス、時間帯、独自プロパティで絞り込み、1 件を開けば時間がどこで消えたか分かる。この粒度でプロンプトを記録すると、曖昧な苦情が直せる 1 行のテキストに変わる。
キャッシュとフォールバックを備えた AI ゲートウェイ
AI ゲートウェイは OpenAI 互換のエンドポイントで、OpenAI、Anthropic、Google、Vertex、Groq など 100 以上のモデルを扱う。応答キャッシュ、キー単位のレート制限、提供元の障害時の自動フォールバックが付き、クレジットは提供元の価格のままで上乗せがない。請求を分けたい場合は自前の提供元キーも使える。
ユーザーとセッションの分析
独自プロパティを使えば、ユーザー ID、プラン、機能名、その他のタグをリクエストに付けられる。セッションは複数ターンの会話を 1 つの画面にまとめ、実際の顧客の流れのコストと長さが見える。サポートチームにとっては、「ボットが遅い」と「このアカウントは毎回 12 秒のツール呼び出しで止まる」の違いになる。
Playground とプロンプト管理
Playground はプロンプトを複数モデルに並べて実行し、思考の設定を公開しているモデルではその項目も見せる。プロンプトは保存、バージョン管理、コードからの再利用ができ、出力に点数を付けられるので、変更の可否を感覚ではなく結果で判断できる。安いモデルに本番の通信を流す前に試すには速い。
アラート、レポート、HQL
アラートはコスト、エラー率、レイテンシのしきい値で発火し、定期レポートは要約をメールや Slack に送る。組み込みのクエリ言語 HQL は、ダッシュボードの絞り込みでは書けない問いを扱う。直近 30 日のユーザー別コストなどがその例だ。結果は書き出しも、API 経由でデータウェアハウスへ送ることもできる。
オープンソースと自前ホスト
コードは Apache 2.0 で公開され、GitHub のスターは数千、リリースの頻度も安定している。Docker でスタック全体を自社クラウドに置ける。プロンプトに法務が外へ出せない顧客データが含まれる場合、この点は大きい。ホスト版と自前ホスト版は同じダッシュボードと API を共有する。
メリットとデメリット
メリット
- ベース URL を変えるだけで記録が始まる。SDK の書き直しも移行プロジェクトも要らない。
- ゲートウェイは 100 以上のモデルを提供元の価格で扱い、上乗せがない。キャッシュとフォールバックも同じキーに付く。
- Apache 2.0 のオープンソースで、データ規則のあるチーム向けに自前ホストの道もある。
- 無料プランが実用になる。月 10,000 リクエスト、1 GB の保存領域、カード登録なし。
- コスト、レイテンシ、エラーが 1 画面にそろう。リクエスト単位、ユーザー単位、セッション単位まで見えるので表計算の手間が消える。
デメリット
- 開発者向けの作りだ。モデルを呼ぶコードに触れなければ、ダッシュボードには何も出ない。
- 評価とデータセットの機能は専門の評価基盤より薄い。実験を本気で追うならツールをもう 1 つ持つことになる。
- Pro は月 79 ドルからで、リクエストと保存領域が従量課金になる。通信量が増えると請求額を読みにくい。
- 無料プランはログを 7 日、保存を 1 GB までしか持たない。長期の履歴には有料プランが要る。
よくある質問
アプリが LLM 提供元へ送る呼び出しを記録し、分析する。プロンプト、応答、トークン数、コスト、レイテンシ付きのリクエストログが手に入り、その呼び出しを 100 以上のモデルへ振り分けるゲートウェイも付く。
関連コンテンツ
Heliconeに関連するツール、スキル、記事を探す。
Heliconeの代替ツール
Base Code
Base44 (Wix) · コーディング · 生産性向上Base CodeはBase44の共有クラウド開発環境だ。既存のGitHubリポジトリに対する変更をチャットで伝え、プレビューで確認し、プルリクエストとして返せる。
Google EmbeddingGemma 2
Google DeepMind · ライティング · 画像 · コーディングGoogle EmbeddingGemma 2 は 7 億 4000 万パラメータのオープンなモデルで、テキスト、コード、画像、音声、動画フレームを同じ 768 次元空間のベクトルに変え、スマートフォンやノート PC 上で動く。
GitGlow
GitGlow · コーディング · 生産性向上GitGlow は自分のコードと AI エージェントの変更を一つのレビューにまとめるデスクトップ Git クライアントだ。出荷前に、マシンから何が出ていくのかを確かめられる。