Probility

동시성과 지속 시간을 손으로 맞추는 대신, 무엇을 테스트하고 싶은지 설명하면 Probility가 구성을 제안한다. 스크립트가 많은 부하 도구와 이 플랫폼을 갈라놓는 기능이며, 숫자에 감각이 생길 만큼 자주 테스트를 돌리지 않는 팀을 겨냥한다. 직접 설정하고 싶다면 모든 값을 덮어쓸 수 있다.

Postman 호출에서 쓰는 것과 같은 요소로 테스트를 만든다. HTTP 메서드, URL, 헤더, 요청 본문이다. 플랫폼은 OpenAPI나 Swagger 명세에서 직접 가져오기도 한다. 즉 API에 이미 명세가 있으면 수동 설정 대부분을 건너뛸 수 있다. 열댓 개의 요청을 손으로 만들 때 끼어드는 복사 붙여넣기 오류도 줄어든다.

테스트는 설정 가능한 가상 사용자, 지속 시간, 점진적 증가 기간으로 실행되므로 느린 트래픽 증가나 갑작스러운 급증을 흉내 낼 수 있다. 플랫폼은 1만 명 이상의 가상 사용자로 확장한다고 내세우며, 동시성은 요금제 등급으로 상한이 정해진다. 점진적 증가가 여기서 중요한 이유는, 모두가 한꺼번에 엔드포인트를 때리는 것과 사용자를 서서히 들여보내는 것이 알려 주는 바가 다르기 때문이다.

테스트가 도는 동안 실시간 진행 업데이트, 진행 중인 요청 수, 즉각적인 성능 피드백을 받는다. 실행이 끝날 때까지 기다리지 않아도 뭔가 잘못된 것을 알아챌 수 있다. 처음 몇 초에 오류율이 치솟으면 테스트를 멈추고 구성을 고칠 수 있다. 실행 전체를 태워 버리지 않아도 된다.

결과 화면은 응답 시간, 성공률, 처리량, 백분위수 내역을 다룬다. 주목할 만한 부분은 백분위수다. 평균 응답 시간은 사용자가 실제로 느끼는 느린 꼬리를 감추기 때문이다. 내보낼 수 있는 보고서가 있으면 실행을 지켜보지 않은 사람에게 숫자를 건넬 수 있다.

접근은 이메일 인증과 구독 기반 제어를 거친다. 대표 기능은 아니지만, URL을 아는 누구에게나 닿아서는 안 되는 내부 엔드포인트나 스테이징 환경을 테스트한다면 중요하다. 테스트 구성과 결과는 계정에 묶여 유지된다.