
Shortest
Antiwork · 程式設計
Shortest 是一套開放原始碼的 AI 測試框架,能把自然語言的描述轉成自動化的端到端瀏覽器測試。它以 Playwright 為基礎,並用你自己的 Anthropic API 金鑰執行。

關於 Shortest
About
Shortest 是什麼
Shortest 是 Antiwork 推出的免費開源測試自動化框架,這家公司也做出了 Ducky 和 Kangaroo。你不必一步步寫選擇器和斷言,只要用一句平常話描述使用者該做什麼。AI 會自己搞定點擊、輸入和驗證。對想評估 AI 驅動的 QA 的團隊來說,這是個好入口。
這套工具的存在,是為了省下 QA 團隊和獨立開發者維護脆弱測試腳本的時間。按鈕一移位、標籤一改名,傳統的 Playwright 測試就壞掉,得有人去修選擇器。Shortest 靠 AI 模型讀取頁面並自行調整,許多小幅度的介面變動就不再讓你的測試套件崩掉。
麻煩的地方在於,Shortest 不是託管的雲端服務。它是一套命令列工具,要裝進你自己的專案裡,而且需要一個自己的 AI 模型來推理。那個模型是 Anthropic 的 Claude,呼叫費用由你自己負擔。
開始使用
- 在專案裡執行
npx @antiwork/shortest init。這個指令會把套件裝成開發相依項目、建立shortest.config.ts,並加上放金鑰的.env.local。 - 把 Anthropic API 金鑰填進
.env.local。Shortest 會從ANTHROPIC_API_KEY這個變數讀取。 - 在設定檔裡填好
baseUrl,讓測試知道要開哪個網站。 - 建立一個符合設定檔樣式的測試檔,然後把測試寫成一句白話英文。
- 執行
pnpm shortest跑所有測試,或指定檔名只跑其中一個。
產品資訊
快速了解 Shortest 的定價、支援平台與效能。
適合對象
這項工具最適合的使用者、任務與情境。
使用者
- 沒有專職 QA 工程師的小型開發團隊:Shortest 讓開發者用白話文涵蓋核心流程,但 API 金鑰和 CI 設定還是得有人打理。
- 受夠脆弱選擇器的 QA 工程師:AI 會自己適應小幅度的介面變動,每次改版後修測試的時間就少了。
- 開源貢獻者和愛動手的人:Shortest 採 MIT 授權,你可以讀原始碼、fork 一份,再調整測試的執行方式。
任務
- 測試登入或註冊流程:用一句話寫下用電子郵件和密碼登入,Shortest 就會帶著瀏覽器走完。
- 檢查 API 回應:描述端點應該回傳什麼,Shortest 能去呼叫並驗證結果。
- 在 CI 裡跑回歸檢查:把 Anthropic 金鑰加進 secrets,測試就能在流程中以無介面模式執行。
情境
- 每週出貨、卻老是把一人測試套件弄壞的新創團隊:Shortest 能吸收那些從前要花上好幾小時的小幅介面改動。
- 在編預算前先評估 AI 驅動 QA 的團隊:免費的開源授權讓你用近乎零成本在真實專案上試跑。
主要功能
用白話文寫測試
核心概念是用一句讀得懂的話取代一整套腳本。你寫下類似「Login to the app using email and password」的句子,把帳密傳進去,剩下的交給 Shortest。新加入的同事讀一個測試就能看懂它在驗什麼,不必先解讀選擇器。這也讓寫出第一個端到端測試的門檻低了不少。
以 Playwright 為基礎
Shortest 透過 Playwright 驅動真正的 Chromium 瀏覽器,這套引擎正是許多專業測試套件的底層。你保留了 Playwright 的瀏覽器選項,也能在設定裡傳入自訂的 context 參數。因為承接了這層基礎,這套工具能融入既有的 JavaScript 與 TypeScript 專案,而不是硬塞給你一套新技術堆疊。
用 Anthropic Claude 推理
推理層透過 AI SDK 跑在 Anthropic 的 Claude 模型上。Shortest 讀取頁面、規劃步驟,再判斷結果是否和你的描述相符。你可以透過 ai.config 區塊把它指向別的金鑰或供應商,但預設路徑假定你用自己的 Anthropic 帳號和 API 金鑰。
測試串接與生命週期鉤子
你可以把相關流程串成一條鏈,讓登入這一步餵給後面一連串動作。beforeAll、afterEach 這類生命週期鉤子讓你登入使用者、清掉狀態,或在每個測試前後關閉頁面。這讓可重複使用的流程變得實際,登入序列寫一次就能用在許多測試上。
API 端點測試
Shortest 不是只能在瀏覽器裡點來點去。你可以用自然語言描述一次 API 呼叫,或用方法、網址和查詢參數組出一個請求,再讓 AI 確認回應看起來正確。介面和後端都要測的團隊,一套工具就能通吃,不必準備兩套。
涵蓋整個流程的 CLI 指令
除了跑測試,Shortest 也提供指令,讓你在終端機裡規劃、產生和分析測試。你可以跑單一檔案、依行號跑單一測試,或在 CI 用無介面模式跑整個套件。這樣的範圍把設定、撰寫和執行都包了進來,全程不必離開命令列。
優缺點
優點
- 採 MIT 授權,免費又開源,想試用不必先訂閱。
- 白話文測試比傳統選擇器腳本好讀得多,交接起來也輕鬆。
- AI 會適應小幅度的介面變動,省下 Playwright 套件長年揹著的維護稅。
- 跑在 Playwright 上,能直接嵌進既有的 JavaScript 和 TypeScript 專案。
- 同一個框架同時處理瀏覽器流程和 API 檢查。
缺點
- AI 用量要另外付費,每次跑測試都消耗 Anthropic API 的權杖,套件一大費用就疊上去。
- 這是命令列工具,除了設定檔沒有引導式設定,預設使用者對開發有一定熟悉度。
- 結果取決於 AI 是否正確讀取頁面,一句語意含糊的句子可能導致意料之外的步驟。
- 沒有託管儀表板,也沒有代管雲端選項;設定、機密和 CI 接線都得自己來。
常見問題
Shortest 是一套 AI 測試框架,讓你用自然語言撰寫並執行端到端測試。它會自動化瀏覽器流程,例如登入或完成結帳,也能檢查 API 回應。
相關內容
探索與 Shortest 相關的工具、技能與文章。
Shortest 替代方案
Base Code
Base44 (Wix) · 程式設計 · 生產力Base Code 是 Base44 推出的共享雲端開發環境。團隊在對話中描述對既有 GitHub 儲存庫的修改,看著預覽確認結果,再以 Pull Request 交回工程團隊。
Google EmbeddingGemma 2
Google DeepMind · 寫作 · 圖片 · 程式設計Google EmbeddingGemma 2 是 7.4 億參數的開源模型,能把文字、程式碼、圖片、音訊與影片畫面轉成同一個 768 維空間裡的向量,在手機與筆電上就能執行。
GitGlow
GitGlow · 程式設計 · 生產力GitGlow 是桌面版 Git 用戶端,把你自己的程式碼與 AI 代理程式的變更集中在同一份審查裡,讓你在交付前看清楚機器上究竟要送出什麼。
