Shortest

Shortest

Antiwork · 程式設計

Shortest 是一套開放原始碼的 AI 測試框架,能把自然語言的描述轉成自動化的端到端瀏覽器測試。它以 Playwright 為基礎,並用你自己的 Anthropic API 金鑰執行。

Shortest 的介面預覽

關於 Shortest

About

Shortest 是什麼

Shortest 是 Antiwork 推出的免費開源測試自動化框架,這家公司也做出了 Ducky 和 Kangaroo。你不必一步步寫選擇器和斷言,只要用一句平常話描述使用者該做什麼。AI 會自己搞定點擊、輸入和驗證。對想評估 AI 驅動的 QA 的團隊來說,這是個好入口。

這套工具的存在,是為了省下 QA 團隊和獨立開發者維護脆弱測試腳本的時間。按鈕一移位、標籤一改名,傳統的 Playwright 測試就壞掉,得有人去修選擇器。Shortest 靠 AI 模型讀取頁面並自行調整,許多小幅度的介面變動就不再讓你的測試套件崩掉。

麻煩的地方在於,Shortest 不是託管的雲端服務。它是一套命令列工具,要裝進你自己的專案裡,而且需要一個自己的 AI 模型來推理。那個模型是 Anthropic 的 Claude,呼叫費用由你自己負擔。

開始使用

  1. 在專案裡執行 npx @antiwork/shortest init。這個指令會把套件裝成開發相依項目、建立 shortest.config.ts,並加上放金鑰的 .env.local。
  2. 把 Anthropic API 金鑰填進 .env.local。Shortest 會從 ANTHROPIC_API_KEY 這個變數讀取。
  3. 在設定檔裡填好 baseUrl,讓測試知道要開哪個網站。
  4. 建立一個符合設定檔樣式的測試檔,然後把測試寫成一句白話英文。
  5. 執行 pnpm shortest 跑所有測試,或指定檔名只跑其中一個。

產品資訊

快速了解 Shortest 的定價、支援平台與效能。

免費方案是
付費方案Free, plus your own Anthropic API usage
平台CLI, macOS, Windows, Linux (Node.js 18+)
開發者Antiwork
類別程式設計
發布日期Nov 2024
最近更新Aug 2025
網站訪問量1.9K
網站全球排名7.8M
API 提供狀態否

適合對象

這項工具最適合的使用者、任務與情境。

使用者

  • 沒有專職 QA 工程師的小型開發團隊:Shortest 讓開發者用白話文涵蓋核心流程,但 API 金鑰和 CI 設定還是得有人打理。
  • 受夠脆弱選擇器的 QA 工程師:AI 會自己適應小幅度的介面變動,每次改版後修測試的時間就少了。
  • 開源貢獻者和愛動手的人:Shortest 採 MIT 授權,你可以讀原始碼、fork 一份,再調整測試的執行方式。

任務

  • 測試登入或註冊流程:用一句話寫下用電子郵件和密碼登入,Shortest 就會帶著瀏覽器走完。
  • 檢查 API 回應:描述端點應該回傳什麼,Shortest 能去呼叫並驗證結果。
  • 在 CI 裡跑回歸檢查:把 Anthropic 金鑰加進 secrets,測試就能在流程中以無介面模式執行。

情境

  • 每週出貨、卻老是把一人測試套件弄壞的新創團隊:Shortest 能吸收那些從前要花上好幾小時的小幅介面改動。
  • 在編預算前先評估 AI 驅動 QA 的團隊:免費的開源授權讓你用近乎零成本在真實專案上試跑。

主要功能

用白話文寫測試

核心概念是用一句讀得懂的話取代一整套腳本。你寫下類似「Login to the app using email and password」的句子,把帳密傳進去,剩下的交給 Shortest。新加入的同事讀一個測試就能看懂它在驗什麼,不必先解讀選擇器。這也讓寫出第一個端到端測試的門檻低了不少。

以 Playwright 為基礎

Shortest 透過 Playwright 驅動真正的 Chromium 瀏覽器,這套引擎正是許多專業測試套件的底層。你保留了 Playwright 的瀏覽器選項,也能在設定裡傳入自訂的 context 參數。因為承接了這層基礎,這套工具能融入既有的 JavaScript 與 TypeScript 專案,而不是硬塞給你一套新技術堆疊。

用 Anthropic Claude 推理

推理層透過 AI SDK 跑在 Anthropic 的 Claude 模型上。Shortest 讀取頁面、規劃步驟,再判斷結果是否和你的描述相符。你可以透過 ai.config 區塊把它指向別的金鑰或供應商,但預設路徑假定你用自己的 Anthropic 帳號和 API 金鑰。

測試串接與生命週期鉤子

你可以把相關流程串成一條鏈,讓登入這一步餵給後面一連串動作。beforeAll、afterEach 這類生命週期鉤子讓你登入使用者、清掉狀態,或在每個測試前後關閉頁面。這讓可重複使用的流程變得實際,登入序列寫一次就能用在許多測試上。

API 端點測試

Shortest 不是只能在瀏覽器裡點來點去。你可以用自然語言描述一次 API 呼叫,或用方法、網址和查詢參數組出一個請求,再讓 AI 確認回應看起來正確。介面和後端都要測的團隊,一套工具就能通吃,不必準備兩套。

涵蓋整個流程的 CLI 指令

除了跑測試,Shortest 也提供指令,讓你在終端機裡規劃、產生和分析測試。你可以跑單一檔案、依行號跑單一測試,或在 CI 用無介面模式跑整個套件。這樣的範圍把設定、撰寫和執行都包了進來,全程不必離開命令列。

優缺點

優點

  • 採 MIT 授權,免費又開源,想試用不必先訂閱。
  • 白話文測試比傳統選擇器腳本好讀得多,交接起來也輕鬆。
  • AI 會適應小幅度的介面變動,省下 Playwright 套件長年揹著的維護稅。
  • 跑在 Playwright 上,能直接嵌進既有的 JavaScript 和 TypeScript 專案。
  • 同一個框架同時處理瀏覽器流程和 API 檢查。

缺點

  • AI 用量要另外付費,每次跑測試都消耗 Anthropic API 的權杖,套件一大費用就疊上去。
  • 這是命令列工具,除了設定檔沒有引導式設定,預設使用者對開發有一定熟悉度。
  • 結果取決於 AI 是否正確讀取頁面,一句語意含糊的句子可能導致意料之外的步驟。
  • 沒有託管儀表板,也沒有代管雲端選項;設定、機密和 CI 接線都得自己來。

常見問題

Shortest 是一套 AI 測試框架,讓你用自然語言撰寫並執行端到端測試。它會自動化瀏覽器流程,例如登入或完成結帳,也能檢查 API 回應。