Shortest
Antiwork · コーディング
Shortest は、自然言語の記述を自動化されたエンドツーエンドのブラウザテストに変えるオープンソースの AI テストフレームワークだ。オープンソースのテスト自動化を求めるなら有力な選択肢で、Playwright を土台にし、自分の Anthropic API キーで動かす。
Shortest について
About
Shortest とは
Shortest は、Ducky と Kangaroo を手がけた Antiwork による無料のオープンソースなテスト自動化フレームワークだ。セレクタやアサーションを一歩ずつ書く代わりに、ユーザーが何をすべきかを普通の一文で書き下す。クリックや入力、確認は AI が組み立てる。
このツールが存在する理由は、壊れやすいテストスクリプトの保守に QA チームや個人開発者が費やす時間を削ることにある。ボタンが動いたりラベルが変わったりすると、従来の Playwright テストは壊れ、誰かがセレクタを直さなければならない。Shortest はページを読み取って適応する AI モデルに頼るので、ちょっとした UI の変更でテストスイートが落ちることはなくなる。
引っかかるのは、Shortest がホスト型のクラウドサービスではない点だ。自分のプロジェクトに入れるコマンドラインツールで、推論用の AI モデルを別途必要とする。そのモデルは Anthropic の Claude であり、呼び出しの費用は自分持ちになる。
はじめかた
- プロジェクトで
npx @antiwork/shortest initを実行する。このコマンドはパッケージを開発依存として入れ、shortest.config.tsを作り、キー用の.env.localを追加する。 .env.localに自分の Anthropic API キーを書く。Shortest はANTHROPIC_API_KEY変数から読む。- 設定ファイルで
baseUrlを指定し、テストが開くサイトを決める。 - 設定のパターンに沿ったテストファイルを作り、テストを一文の平易な英語で書く。
pnpm shortestで全テストを実行する。ファイル名を渡せば一つだけ走らせる。
AIツール情報
Shortestの料金、対応プラットフォーム、性能を簡単に確認できます。
こんな人におすすめ
このツールが最も力を発揮するユーザー、タスク、シーン。
ユーザー
- 専任の QA エンジニアがいない小さな開発チーム：Shortest を使えば、開発者が主要なフローを平易な言葉で押さえられる。ただし API キーと CI の設定は誰かが管理する必要がある。
- 壊れやすいセレクタにうんざりした QA エンジニア：AI がちょっとした UI のずれに適応するので、リリースのたびにテストを直す時間が減る。
- オープンソースの貢献者やいじり好き：Shortest は MIT ライセンスなので、ソースを読み、フォークし、テストの実行方法を調整できる。
タスク
- ログインやサインアップの流れを試す：メールとパスワードでログインする、と一文書けば、Shortest がブラウザを操作して通す。
- API の応答を確認する：エンドポイントが返すべき内容を書き、Shortest に呼び出させて結果を検証させる。
- CI で回帰チェックを回す：Anthropic のキーをシークレットに加えれば、パイプラインの中でヘッドレスでテストが走る。
シーン
- 毎週リリースし、そのたびに一人運用のテストスイートを壊してしまうスタートアップ：Shortest は以前なら何時間もかかった小さな画面変更を吸収する。
- 予算を決める前に AI 駆動の QA を見極めたいチーム：無料のオープンソースライセンスを使えば、実プロジェクトでほぼゼロコストで試せる。
主な機能
平易な英語で書くテスト
中心にあるのはスクリプトではなく、読める一文だ。「Login to the app using email and password」のように書き、認証情報を渡せば、あとは Shortest が処理する。新しい同僚でも、セレクタを解読せずにテストが何を確認しているか分かる。最初のエンドツーエンドテストを書く敷居も下がる。
Playwright を土台に
Shortest は Playwright を通じて本物の Chromium ブラウザを操作する。多くのプロ向けテストスイートが使うのと同じエンジンだ。Playwright のブラウザオプションはそのまま使え、設定で独自のコンテキスト設定も渡せる。この土台を受け継ぐため、新しいスタックを強いず、既存の JavaScript や TypeScript プロジェクトに収まる。
Anthropic Claude による推論
推論の層は AI SDK 経由で Anthropic の Claude モデル上で動く。Shortest はページを読み、手順を組み立て、結果が書いた内容と合っているかを判断する。ai.config ブロックで別のキーやプロバイダーに向けられるが、既定の経路は自分の Anthropic アカウントと API キーを前提とする。
テストの連結とライフサイクルフック
関連する流れを一つのチェーンにまとめ、ログインの一手がその後の一連の動作につながるようにできる。beforeAll や afterEach といったライフサイクルフックを使えば、ユーザーをログインさせ、状態を消し、各テストの前後でページを閉じられる。これで再利用できる流れが実用的になり、ログインの手順を一度書けば多くのテストで使い回せる。
API エンドポイントのテスト
Shortest はブラウザをクリックして回るだけではない。API 呼び出しを自然言語で書くか、メソッド、URL、クエリパラメータでリクエストを組み、応答が正しいかを AI に確かめさせられる。画面とバックエンドの両方を試すチームは、二つではなく一つのツールで済む。
ワークフロー全体の CLI コマンド
テストの実行だけでなく、Shortest は端末からテストを計画し、生成し、分析するコマンドを備える。単一ファイル、行番号で指定した一つのテスト、CI 用のヘッドレスでの全スイート実行まで選べる。この幅が、設定、作成、実行をコマンドラインから離れずに覆う。
メリットとデメリット
メリット
- MIT ライセンスで自由かつオープンソース。試すのにサブスクは要らない。
- 平易な英語のテストは、セレクタ主体のスクリプトよりずっと読みやすく引き継ぎやすい。
- AI が小さな UI 変更に適応し、Playwright スイートを悩ませる保守の負担を減らす。
- Playwright 上で動くので、既存の JavaScript や TypeScript プロジェクトに収まる。
- ブラウザの流れと API の確認を一つのフレームワークで扱える。
デメリット
- AI の利用は別料金で、テストを回すたびに Anthropic API のトークンを消費するため、大きなスイートでは費用がかさむ。
- コマンドラインツールで、設定ファイル以外に導入ガイドはなく、ある程度の開発慣れを前提とする。
- 結果は AI がページを正しく読めるかに左右され、曖昧な一文は予想外の手順につながることがある。
- ホスト型のダッシュボードやマネージドクラウドの選択肢はなく、設定、シークレット、CI の接続は自分で持つ。
よくある質問
Shortest は、自然言語でエンドツーエンドテストを書き、実行するための AI テストフレームワークだ。ログインや購入手続きの完了といったブラウザの流れを自動化し、API の応答も確認できる。
関連コンテンツ
Shortestに関連するツール、スキル、記事を探す。
Shortestの代替ツール
Base Code
Base44 (Wix) · コーディング · 生産性向上Base CodeはBase44の共有クラウド開発環境だ。既存のGitHubリポジトリに対する変更をチャットで伝え、プレビューで確認し、プルリクエストとして返せる。
Google EmbeddingGemma 2
Google DeepMind · ライティング · 画像 · コーディングGoogle EmbeddingGemma 2 は 7 億 4000 万パラメータのオープンなモデルで、テキスト、コード、画像、音声、動画フレームを同じ 768 次元空間のベクトルに変え、スマートフォンやノート PC 上で動く。
GitGlow
GitGlow · コーディング · 生産性向上GitGlow は自分のコードと AI エージェントの変更を一つのレビューにまとめるデスクトップ Git クライアントだ。出荷前に、マシンから何が出ていくのかを確かめられる。