Shortest
Antiwork · 코딩
Shortest는 자연어 설명을 자동화된 엔드투엔드 브라우저 테스트로 바꿔 주는 오픈소스 AI 테스트 프레임워크다. Playwright를 기반으로 하며 본인의 Anthropic API 키로 돌아간다.
Shortest 소개
About
Shortest란
Shortest는 Ducky와 Kangaroo를 만든 Antiwork가 내놓은 무료 오픈소스 테스트 자동화 프레임워크다. 선택자와 단언을 한 단계씩 쓰는 대신, 사용자가 무엇을 해야 하는지를 평범한 한 문장으로 적는다. 클릭과 입력, 확인은 AI가 알아서 처리한다.
이 도구가 나온 이유는 QA 팀과 개인 개발자가 깨지기 쉬운 테스트 스크립트를 관리하느라 쓰는 시간을 줄이기 위해서다. 버튼이 옮겨지거나 라벨이 바뀌면 기존 Playwright 테스트는 깨지고 누군가 선택자를 고쳐야 한다. Shortest는 페이지를 읽고 적응하는 AI 모델에 기대므로, 사소한 UI 변경으로 테스트 묶음이 무너지는 일이 줄어든다.
걸리는 점은 Shortest가 호스팅되는 클라우드 서비스가 아니라는 것이다. 자기 프로젝트에 설치하는 명령줄 도구이고, 추론을 담당할 AI 모델이 따로 필요하다. 그 모델은 Anthropic의 Claude이며, 호출 비용은 본인이 부담한다.
시작하기
- 프로젝트에서
npx @antiwork/shortest init을 실행한다. 이 명령은 패키지를 개발 의존성으로 설치하고,shortest.config.ts파일을 만들고, 키를 담을.env.local을 추가한다. .env.local에 본인의 Anthropic API 키를 넣는다. Shortest는ANTHROPIC_API_KEY변수에서 읽는다.- 설정 파일에
baseUrl을 지정해 테스트가 열 사이트를 알려 준다. - 설정의 패턴에 맞는 테스트 파일을 만들고, 테스트를 평이한 영어 한 문장으로 쓴다.
pnpm shortest로 모든 테스트를 실행하거나, 파일 이름을 넘겨 하나만 돌린다.
제품 정보
Shortest의 요금, 지원 플랫폼, 성능을 한눈에 확인해 보세요.
추천 대상
이 도구가 가장 잘 맞는 사용자, 작업, 상황입니다.
사용자
- 전담 QA 엔지니어가 없는 작은 개발 팀
- 깨지기 쉬운 선택자에 지친 QA 엔지니어
- 오픈소스 기여자와 만지기를 좋아하는 사람
작업
- 로그인이나 가입 흐름 테스트
- API 응답 확인
- CI에서 회귀 점검 실행
활용 상황
- 매주 배포하면서 한 사람이 관리하는 테스트 묶음을 자꾸 깨뜨리는 스타트업
- 예산을 정하기 전에 AI 기반 QA를 가늠하려는 팀
주요 기능
평이한 문장으로 쓰는 테스트
핵심은 스크립트 대신 읽을 수 있는 한 문장이다. "Login to the app using email and password" 같은 문장을 쓰고 자격 증명을 넘기면 나머지는 Shortest가 해결한다. 새로 합류한 동료도 선택자를 해독하지 않고 테스트가 무엇을 확인하는지 이해할 수 있다. 첫 엔드투엔드 테스트를 쓰는 문턱도 낮아진다.
Playwright 기반
Shortest는 Playwright를 통해 실제 Chromium 브라우저를 조작한다. 많은 프로용 테스트 묶음이 쓰는 바로 그 엔진이다. Playwright의 브라우저 옵션을 그대로 쓰고, 설정에서 사용자 정의 컨텍스트도 넘길 수 있다. 이 토대를 물려받기 때문에 새 스택을 강요하지 않고 기존 JavaScript와 TypeScript 프로젝트에 들어간다.
Anthropic Claude로 추론
추론 계층은 AI SDK를 거쳐 Anthropic의 Claude 모델 위에서 돌아간다. Shortest는 페이지를 읽고 단계를 계획하며, 결과가 적은 내용과 맞는지 판단한다. ai.config 블록으로 다른 키나 공급자로 돌릴 수 있지만, 기본 경로는 본인의 Anthropic 계정과 API 키를 전제로 한다.
테스트 연결과 수명 주기 훅
관련 흐름을 하나의 체인으로 묶어 로그인 단계가 뒤따르는 일련의 동작으로 이어지게 할 수 있다. beforeAll, afterEach 같은 수명 주기 훅으로 사용자를 로그인시키고, 상태를 지우고, 각 테스트 앞뒤로 페이지를 닫을 수 있다. 재사용 가능한 흐름이 실용적으로 바뀌어, 로그인 절차를 한 번 쓰고 여러 테스트에서 다시 쓴다.
API 엔드포인트 테스트
Shortest는 브라우저를 클릭하고 다니는 데 그치지 않는다. API 호출을 자연어로 서술하거나, 메서드와 URL, 쿼리 파라미터로 요청을 구성하고, 응답이 맞는지 AI가 확인하게 할 수 있다. 화면과 백엔드를 함께 테스트하는 팀은 두 개가 아니라 한 개의 도구로 끝낸다.
전체 흐름을 위한 CLI 명령
테스트 실행 외에도 Shortest는 터미널에서 테스트를 계획하고 생성하고 분석하는 명령을 제공한다. 단일 파일, 줄 번호로 지정한 하나의 테스트, CI용 헤드리스 전체 묶음 실행까지 고를 수 있다. 이 폭이 설정과 작성, 실행을 명령줄을 벗어나지 않고 감당한다.
장단점
장점
- MIT 라이선스로 무료이자 오픈소스라, 써 보는 데 구독이 필요 없다.
- 평이한 문장 테스트는 선택자 기반 스크립트보다 훨씬 읽기 쉽고 넘겨주기 쉽다.
- AI가 작은 UI 변경에 적응해, Playwright 묶음을 괴롭히던 유지보수 부담을 덜어 준다.
- Playwright 위에서 돌아가므로 기존 JavaScript와 TypeScript 프로젝트에 들어간다.
- 브라우저 흐름과 API 점검을 하나의 프레임워크에서 처리한다.
단점
- AI 사용은 별도로 지불하고 테스트를 돌릴 때마다 Anthropic API 토큰을 쓰므로, 큰 묶음이면 비용이 쌓인다.
- 명령줄 도구이고 설정 파일 외에 안내형 설치가 없어, 어느 정도 개발 감각을 전제로 한다.
- 결과는 AI가 페이지를 제대로 읽는지에 달려 있고, 모호한 문장은 예상 밖의 단계로 이어질 수 있다.
- 호스팅 대시보드나 관리형 클라우드 옵션이 없어, 설정과 시크릿, CI 연결을 직접 맡아야 한다.
자주 묻는 질문
Shortest는 자연어로 엔드투엔드 테스트를 작성하고 실행하는 AI 테스트 프레임워크다. 로그인이나 결제 완료 같은 브라우저 흐름을 자동화하고, API 응답도 확인할 수 있다.
관련 콘텐츠
Shortest와 관련된 도구, 스킬, 아티클을 살펴보세요.
Shortest 대안
Forefront
Forefront · 코딩Forefront는 오픈소스 AI로 무언가를 만드는 웹 플랫폼이다. 대표적인 오픈소스 언어 모델을 자신의 데이터로 미세 조정하고, 성능을 평가하고, API로 실행하거나 내보내 직접 호스팅할 수 있다. 폐쇄형 플랫폼의 편의를 원하면서도 모델과 데이터의 소유권은 놓지 않으려는 개발자가 대상이다.
Startkit
StartKit.AI · 코딩Startkit은 AI SaaS와 AI 래퍼 제품을 만들기 위한 보일러플레이트다. 지루한 부분을 미리 연결해 둔 AI 스타트업 보일러플레이트라고 생각하면 된다. 인증, Stripe와 Lemon Squeezy 결제, 사용량 제한, 트랜잭션 이메일, 그리고 OpenAI, Anthropic, Groq, Llama와 통신하는 AI API 스타터 키트가 포함된다. 저장소를 복제하고 가격을 정한 뒤 사용자가 실제로 돈을 내는 부분에 착수하면 된다. React와 Tailwind 위의 Next.js로 만들어졌기 때문에 보일러플레이트 코드의 상당 부분이 이미 익숙하게 느껴진다.
Testim
Tricentis · 코딩Testim은 웹, 모바일, Salesforce 애플리케이션 전반에 걸쳐 엔드투엔드 테스트를 만들고 실행하는 AI 기반 테스트 자동화 플랫폼이다. 머신러닝에 기대어 인터페이스가 바뀌어도 테스트를 안정적으로 유지하므로, 팀은 깨진 셀렉터를 고치는 데 쓰는 시간을 줄인다. 오늘부터 쓸 수 있는 자동화 테스트 도구치고 나쁘지 않다. 브라우저에서 동작을 녹화해 테스트를 만들고, 더 세밀한 제어가 필요하면 JavaScript를 더한다. 바쁜 QA 팀에게 탄탄한 선택이다.