Papercuts
Papercuts · コーディング
Papercutsは、AIエージェントを本番環境のアプリに送り込み、本物の訪問者のように振る舞わせる自律型QAプラットフォームだ。URLを1つ渡せば、エージェントがインターフェースをクリックし、スクロールし、入力して、壊れている箇所を探し出す。前提はそっけない。「本番環境だけが意味を持つ。ユーザーが実際にいるのはそこだからだ」。作業を担うエージェントは2種類ある。決定論的エージェントは平易な言葉で書いた目標に従って動き、探索型エージェントは誰も思いつかなかった境界ケースを見つけるために自力で歩き回る。何かが壊れれば、スクリーンショット、ネットワークログ、失敗に至った手順が書かれたメールが届く。見張るダッシュボードはない。受信箱に届くレポートだけだ。
Papercuts について
Papercutsとは
Papercutsは、Webアプリ向けのAI QAテストプラットフォームで、チェックを本番環境で直接実行する。ステージングの複製を立ち上げたり、テストスイートを出荷したりする代わりに、ヘッドレスブラウザの一群を起動し、顧客と同じやり方でアプリに入り込む。SDKは不要で、コードも変えない。
狙っている問題ははっきりしている。現代のアプリは大量のコンポーネントをその場で描画するため、バックエンド、フロントエンド、サードパーティのスクリプトが予期せぬ形で衝突する。それが表面化するのは、深夜2時に実際のユーザーがクリックしているときだけだ。名前の由来もそこにある。クリーンなテスト環境では決して見えない小さな傷でも、実際のトラフィックにはダメージを与える。Papercutsは、使用状況をシミュレートするより、実際の使われ方を見るほうが速く見つかると賭けている。AIテスト自動化への別のアプローチであり、より攻めたものだ。
その代償は、顧客が使う環境に自動化エージェントを放つことにある。Papercutsはそれを隠さず、本番環境を「唯一意味を持つ環境」と呼び、エージェントが保護されたルートに到達できるよう認証情報の提供を求める。では線引きはどこか。第三者の自動化が稼働中のアカウントに触れることに抵抗があるなら、登録前に最もよく考えるべき点はそこだ。
はじめ方
- app.papercuts.dev で登録し、プランを選ぶ。様子を見たいなら、無料プランで月20アクションまで使える。
- 本番環境のURLを入力してサイトを追加する。インストールするものはなく、コードに組み込むSDKもない。
- ログインの後ろにあるページには、プラットフォームでユーザー名かメールアドレスとパスワードを追加する。エージェントはその認証情報を使い、普通のユーザーとしてサインインする。
- エージェントの種類を選ぶ。決定論的エージェントには「20ドルのバッグをカートに入れて購入する」のような目標を書く。探索型エージェントは自力で歩き回らせる。
- 走らせてメールレポートを待つ。エラーが捕捉されると、何が起きたかの手順ごとの内訳とともに届く。
AIツール情報
Papercutsの料金、対応プラットフォーム、性能を簡単に確認できます。
こんな人におすすめ
このツールが最も力を発揮するユーザー、タスク、シーン。
ユーザー
- 個人開発者とインディーチーム：無料プランで月20アクションを実行でき、支払わずに1つの重要なフローを見張れる。
- 小規模スタートアップのQAエンジニア：レイアウト変更に適応するエージェントで、壊れやすい手書きテストの集まりを置き換える。
- 速く出荷するプロダクトチーム：ステージングの鏡像を作って維持しなくても、本番環境だけに出る破損を捕まえる手段。
タスク
- 決済や登録フローをスモークテストする：目標を日本語で書き、デプロイのたびに決定論的エージェントに経路を歩かせる。
- 境界ケースを見つける：探索型エージェントを放ち、テスト一覧が決して覆わなかった隅へクリックとスクロールで入り込む。
- 保護されたルートを監視する：認証情報を提供し、エージェントにサインインさせて認証の後ろにあるページを確認する。
シーン
- リリース直後、新しいコンポーネントの衝突が、実ユーザーしか触れないものを壊すかもしれないとき。
- クライアント側の描画が重いアプリで、バックエンドとブラウザのロジックが予測不能に交わるとき。
- リリース期間中、ダッシュボードを見張るよりメールで通知してほしいとき。
主な機能
本番環境でテストするエージェント
中心となる考え方は、Papercutsがサンドボックスではなく稼働中のアプリに対して動くことだ。ヘッドレスブラウザの一群を起動し、ユーザーとまったく同じように環境へ入る。SDKもコード変更も要らない。つまり、顧客が触れるのと同じ描画経路、同じサードパーティスクリプト、同じデータをテストすることになる。通常のWebアプリテストでは常に再現できるとは限らない。Papercutsはこれを、多くのチームがつまずくステージングと本番の隔たりへの直接的な答えと位置づけている。
用途が異なる2種類のエージェント
Papercutsはエージェントを2つのモードに分ける。決定論的エージェントは精密に誘導され、重要な経路向けに作られている。平易な日本語で目標を書けば、エージェントが手順を実行する。探索型エージェントは逆だ。URLを与えれば、好奇心旺盛なユーザーのようにアプリを歩き回り、クリックとスクロールで隠れた境界ケースをあぶり出す。スクリプトではなくモデルが駆動する合成ユーザーテストだと考えればいい。多くのチームは両方を欲しがる。決して壊れてはいけないフローを守るものと、忘れていたフローを探るものだ。
意味を理解するUI把握
エージェントは、ハードコードされたセレクターを照合するのではなく、人間のようにインターフェースを読む。Papercutsは自社のエージェントが「コードだけでなくUIを見る」と述べ、意味を理解するためレイアウトが変わっても動き続ける。従来のテストスイートが通常命取りになるのはまさにこの部分で、ボタンが動くと、機能がまだ動いていてもセレクターが壊れる。適応的な知覚は、リニューアル後の誤検知を減らす。変化の速いコードベースでは大きな違いだ。
メールで届く詳細な障害レポート
エージェントがエラーに当たると、Papercutsは曖昧な失敗フラグではなく診断レポートをメールで送る。レポートには実行フローの手順ごとの内訳、高解像度のスクリーンショット、ネットワークリクエストのログ、エージェント自身の推論の記録が含まれる。バグを自分で再現できるだけの文脈が手に入るので、エージェントが見たものを突き止めるやり取りが減る。専任のQA担当がいない小さなチームにとって、役立つ警報とノイズの差はそこにある。
保護されたルートのための認証情報
アプリはその表面積の多くをログインの後ろに置く。サインイン画面を越えられないテストツールは、その大半を見逃す。Papercutsでは、ユーザー名かメールアドレスとパスワードをプラットフォームに保存でき、エージェントがその認証情報を使って実ユーザーのようにログインし、保護されたルートをテストする。これでダッシュボード、アカウント設定、認証の後ろに閉じたあらゆるものへカバレッジが広がる。
連携とREST API
PapercutsはGitHub Actions、Linear、Slack、Datadogといったツールとつながるので、失敗はチームがすでに働いている場所に現れる。プログラムから実行を起動し結果を取得するREST APIもあり、ブラウザのタブではなくCIパイプラインからQAを編成したい場合に効く。製品が、もう1つ確認する場所になるのではなく、既存のワークフローに収まる仕組みだ。
メリットとデメリット
メリット
- 稼働中のアプリをテストするので、ステージングが見逃す本番環境だけの問題を捕まえる。
- SDKもコード変更も不要で、セットアップの手間のほとんどを取り除く。
- 平易な日本語で目標を書けるので、セレクターを書いたり維持したりしなくていい。
- 意味を理解する知覚がレイアウト変更に適応し、誤った失敗を減らす。
- 無料プランに月20アクションが含まれ、1つの重要なフローを試すのに足りる。
- スクリーンショットとネットワークログ付きの詳細レポートが、バグの再現を容易にする。
デメリット
- 稼働中の本番環境に対してエージェントを走らせるので、QAを顧客環境から厳格に遠ざけているチームには受け入れにくい。
- 保護されたルートにはログイン認証情報を渡す必要があり、セットアップにセキュリティ上の判断が加わる。
- 料金はアクション単位で増えるので、月5ドルのProプランで大量にテストすると、1アクション0.02ドルの追加料金が積み上がる。
よくある質問
Papercutsは、ユーザーより先にバグを見つけるため、自律型エージェントを稼働中のWebアプリへ送り込むAI QAプラットフォームだ。URLを提供すると、エージェントがクリック、スクロール、入力でインターフェースとやり取りする。何かが壊れれば、どこでなぜかを示すレポートがメールで届く。
関連コンテンツ
Papercutsに関連するツール、スキル、記事を探す。
Papercutsの代替ツール
Forefront
Forefront · コーディングForefrontはオープンソースAIで構築するためのウェブプラットフォームだ。主要なオープンソース言語モデルを自分のデータで微調整し、性能を評価し、API経由で実行したり、エクスポートして自分でホストしたりできる。クローズドなプラットフォームの手軽さを求めつつ、モデルとデータの所有権にはこだわる開発者が対象だ。
Startkit
StartKit.AI · コーディングStartkitは、AI SaaSとAIラッパー製品を作るためのボイラープレートだ。面倒な部分をあらかじめ配線済みにしたAIスタートアップボイラープレートと考えればいい。認証、StripeとLemon Squeezyの決済、利用制限、トランザクションメール、そしてOpenAI、Anthropic、Groq、Llamaと通信するAI APIスターターキットが含まれる。リポジトリをクローンして価格を設定し、ユーザーが実際にお金を払う部分に取りかかれる。ReactとTailwind上のNext.jsで作られているため、ボイラープレートコードの多くはすでに見慣れたものだ。
Testim
Tricentis · コーディングTestimは、Web・モバイル・Salesforceアプリ向けにエンドツーエンドテストを構築して実行するAIテスト自動化プラットフォームだ。機械学習を頼りに、インターフェースが変わってもテストを安定させ、チームが壊れたセレクターの修正に費やす時間を減らす。今日から使い始められる自動テストツールとしては悪くない。ブラウザで操作を録画してテストを作り、より細かい制御が必要なときはJavaScriptを足す。忙しいQAチームにとって堅実な選択肢である。