Qodex

diff만 읽는 리뷰어가 주는 건 의견이다. Qodex는 실행 중인 앱을 상대로 시나리오를 돌리고 무슨 일이 있었는지 보고한다. 모든 지적에는 실패한 요청, 응답, 스크린샷이 붙으므로 보는 것은 추측이 아니라 사실이다. 이 증거가 있어야 판정을 진짜 게이트로 다룰 수 있다.

같은 실행이 세 층을 덮는다. HTTP와 GraphQL 시나리오, Playwright를 통한 브라우저 실행, OWASP에 맞춘 보안 프로브다. Playwright 시나리오는 표준 규격으로 다룬다. 보안 의미는 일부러 뒤집혀 있어, 통과는 공격이 막혔다는 뜻이고 에이전트가 어설션을 풀어 실패한 테스트를 억지로 초록으로 만들 수 없다. 하나의 에이전트, 하나의 시나리오 묶음, 세 가지 커버리지다.

Qodex가 쓰는 것은 모두 표준 Playwright와 HTTP 코드라 읽고 내보내고 Qodex 없이도 실행할 수 있다. 떠나도 스위트는 남고, 독점 런타임이 붙잡지 않는다. OpenAPI, Postman, 스프레드시트, 기존 테스트에서 가져올 수 있으므로 도입이 처음부터 다시 만드는 일은 아니다.

모델이 시나리오를 쓰는 건 한 번뿐이다. 이후 리플레이는 모델 호출 없는 생성 코드라, 스위트가 커져도 청구서는 같이 커지지 않는다. 자체 모델 키를 쓰는 선택지도 있고 모든 호출이 기록되므로 비용과 프라이버시를 예측할 수 있다.

실패는 모두 사용자에게 닿기 전에 분류된다. 진짜 버그는 증거와 함께 오고, 낡은 테스트는 승인할 수정 diff로 오며, 환경 문제는 표시되고 스위트에 계산되지 않는다. 증거 없는 지적은 병합을 막지 않는다. 이 구분이 게이트를 음소거하는 대신 신뢰받게 만든다.

Qodex는 몇 분 만에 GitHub 앱으로 설치되어 URL을 상대로 실행된다. 앱에 아무것도 들어가지 않고 CI에 러너를 두지 않으며 기존 테스트를 다시 쓸 필요도 없다. GitLab, CLI, Slack, Microsoft Teams, Jira, Sentry, Datadog, webhook과 연결되므로 알림은 팀이 이미 일하는 곳에 도착한다.