Jazzberry
Jazzberry · コーディング
Jazzberryは、プルリクエストが開くたびに隔離されたサンドボックスでコードを実行し、本物のバグを見つけて結果をコメントとして投稿するGitHubのボットだ。
Jazzberry について
About
Jazzberryとは
JazzberryはGitHubに接続して使うAIバグ検出ツールだ。誰かがプルリクエストを開くと、サービスはリポジトリを保護されたmicroVMへ複製し、差分をAIエージェントに渡してコードを実行させる。エージェントはファイルを読み、検索し、パッケージを導入し、インタプリタを起動し、テスト用のスニペットを走らせる。そして結果を観察しながら不具合の箇所を絞り込んでいく。コードの見た目から推測するのではなく、バグを実際に起こして確認するのが持ち味だ。
このツールを作ったのはMateo PerezとMarco Deweyで、2025年にY Combinatorを通過した。Perezは強化学習と形式手法の博士号を持ち、Deweyは大規模言語モデルによるテスト自動生成を研究してきた。その後チームは会社名をCartpoleに変えて旧サイトを移したため、元のjazzberry.aiというアドレスは今は別の場所を指している。
先に知っておきたい制約もある。Jazzberryは汎用のコードレビューツールではないので、スタイルや命名には口を出さない。調べるのはプルリクエスト内の変更だけであり、コードが単体で動くときに最も強いシグナルを得る。そしてテストのため、リポジトリを第三者サービスへ送ることになる。
はじめ方
- GitHub上のJazzberryのページを開き、対象のアカウントか組織にアプリを導入する。
- ボットに見張らせたいリポジトリを選ぶ。
- いつもどおりプルリクエストを開き、エージェントがリポジトリを複製してテストを走らせるのを待つ。
- プルリクエストのコメントとして届くバグ報告を読み、各指摘を修正するか見送る。
AIツール情報
Jazzberryの料金、対応プラットフォーム、性能を簡単に確認できます。
こんな人におすすめ
このツールが最も力を発揮するユーザー、タスク、シーン。
ユーザー
- バックエンドとAPIの開発者：プロジェクトが普通のサンドボックス向きの構成で動くなら、マージ前に実行時バグとセキュリティの穴を指摘してもらえる。
- セキュリティを重視するチーム：パターン照合では拾えないSQLインジェクションや認証バイパスを捕まえる。ただし結果の読み解きは人が行う必要がある。
- 個人開発者と小さなチーム：第三者のGitHubアプリを入れて構わなければ、専任レビュアーを雇わずに全プルリクエストを確認できる。
- QAとリリース担当：マージ前にPRを走らせるチェックを1つ足せる。既存のテストスイートを置き換えるのではなく、並んで機能する。
タスク
- プルリクエストの自動テスト：変更されたコードを実行し、壊れた箇所を報告する。レビュー担当が足りないペースの速いリポジトリに向く。
- セキュリティバグの早期発見：インジェクションの欠陥や認証ロジックの誤りを、再現手順つきで浮かび上がらせる。
- 見つけにくいバグの再現：疑いを立てるだけでなく、スニペットを書いて実行し、不具合を確かめる。
- 重要度による仕分け：バグを重大・高・中・低に振り分け、チームが最悪のものから直せるようにする。
シーン
- 大規模なAI生成プルリクエストのマージ：差分が長くリスクが高いときにもう一対の目を足せる。
- スリムなレビュー体制の維持：レビュー担当が空いていないときも、全PRにチェックを通す。
- 新しい依存関係や連携の下見：出荷前に、変更が実行時にどう振る舞うかを試す。
- 不慣れなコードベースへの着手：変更が実際にどう動くかを、見た目だけでなく示してくれる。
主な機能
実際にコードを動かしてバグを自動検出する
Jazzberryの核となる考えは、読むより動かすほうが強いというものだ。プルリクエストが来るたび、AIエージェントは複製されたリポジトリの中で作業し、不具合の存在を確かめるためにスニペットを書いて実行する。エージェントは実際の振る舞いを観察するため、この自動検出は静的スキャナが取りこぼす論理エラーや実行時の問題を指摘できる。チームはこれを、疑わしい問題の一覧ではなく、何がどう壊れているかの具体的な証拠として位置づけている。
レビューごとに専用のmicroVMを用意する
各レビューはそれぞれ隔離されたmicroVMで走る。リポジトリはその独立したマシンへ複製され、エージェントはそこで作業し、終われば環境は破棄される。あるプロジェクトの実行が別のものと混ざらず、1つのジョブが触れられる範囲も限られる。代償として、チェックの間だけはコードが自社のインフラを離れることになる。
プルリクエストへの自動連携
面倒を見る専用ダッシュボードはない。GitHubアプリを入れてしまえば、Jazzberryはプルリクエストを検知して自分から動き出す。指摘はプルリクエストそのものへのコメントとして届き、レビュアーがすでに読んでいる場所に出る。GitHubで作業を完結させ、別のタブを開きたくないチームに合う。
重要度と再現手順つきのMarkdownバグ報告
出力はプルリクエストに投稿されるMarkdownの表だ。各行にバグの名前、重大から低までの重要度、テストケースの例、何が起きるかの説明が並ぶ。この構成なら、レビュアーは表をざっと見て対応を決められる。ログを掘り返す必要はない。初期の利用者はSQLインジェクションの欠陥やAPIキー検証の誤りを捕まえたと報告している。
言語に依存しないテスト
Jazzberryは1つのスタックに縛られない。エージェントはサンドボックス内でパッケージを導入しインタプリタを起動するため、Python、JavaScript、TypeScript、Go、Java、Rubyといった主要言語をまたいで動ける。言語が混在するコードベースでも、言語ごとに別のツールをそろえる必要はない。非常に特殊なビルド構成なら追加設定が要る程度だ。
メリットとデメリット
メリット
- コードを実行してバグを確かめるため、指摘に推測ではなく証拠が伴う。
- 結果をプルリクエストへ直接投稿するので、確認するダッシュボードが要らない。
- 隔離されたmicroVMで走るため、各レビューが独立して使い捨てられる。
- 主要言語をまたいで動くので、混在リポジトリでもツールは1つで済む。
- 重要度のラベルがあり、チームが最悪のバグから片づけられる。
デメリット
- テストのためリポジトリを第三者サービスへ送るので、許容できないチームもある。
- 見るのはプルリクエスト内の変更だけで、コードベース全体の監査ではない。
- 複雑なシステムや連携の多いシステムは隔離サンドボックスで動かしにくく、結果が弱くなる。
- 動的テストは文脈を取りこぼすことがあり、最終判断は人に残る。
よくある質問
GitHub向けのAIバグ検出ツールだ。プルリクエストが開くと、リポジトリを安全なサンドボックスへ複製し、AIエージェントで変更後のコードを実行して、バグ報告をプルリクエストのコメントとして投稿する。
関連コンテンツ
Jazzberryに関連するツール、スキル、記事を探す。
Jazzberryの代替ツール
Forefront
Forefront · コーディングForefrontはオープンソースAIで構築するためのウェブプラットフォームだ。主要なオープンソース言語モデルを自分のデータで微調整し、性能を評価し、API経由で実行したり、エクスポートして自分でホストしたりできる。クローズドなプラットフォームの手軽さを求めつつ、モデルとデータの所有権にはこだわる開発者が対象だ。
Startkit
StartKit.AI · コーディングStartkitは、AI SaaSとAIラッパー製品を作るためのボイラープレートだ。面倒な部分をあらかじめ配線済みにしたAIスタートアップボイラープレートと考えればいい。認証、StripeとLemon Squeezyの決済、利用制限、トランザクションメール、そしてOpenAI、Anthropic、Groq、Llamaと通信するAI APIスターターキットが含まれる。リポジトリをクローンして価格を設定し、ユーザーが実際にお金を払う部分に取りかかれる。ReactとTailwind上のNext.jsで作られているため、ボイラープレートコードの多くはすでに見慣れたものだ。
Testim
Tricentis · コーディングTestimは、Web・モバイル・Salesforceアプリ向けにエンドツーエンドテストを構築して実行するAIテスト自動化プラットフォームだ。機械学習を頼りに、インターフェースが変わってもテストを安定させ、チームが壊れたセレクターの修正に費やす時間を減らす。今日から使い始められる自動テストツールとしては悪くない。ブラウザで操作を録画してテストを作り、より細かい制御が必要なときはJavaScriptを足す。忙しいQAチームにとって堅実な選択肢である。