QAgent

QAgent는 하나의 모호한 점수 대신 8개의 개별 지표로 에이전트를 채점한다. 이들은 답변 품질, 사실 근거성, 정책 준수, 에스컬레이션 정확성, RAG 충실성, 문맥 관련성, 문맥 재현율, 멀티턴 기억을 포괄하며, 각 차원이 실제 프로덕션 실패 모드에 대응한다. 이 세부사항이 중요하다. 낮은 숫자는 막연한 분위기가 아니라 구체적인 문제를 가리킨다.

문자열이나 정규식 패턴을 대조하는 대신, QAgent는 보정된 심판 모델로 각 응답을 심문한다. 속도를 위해 Groq LPU에서 돌아가는데, 완전한 회귀 스위트를 1분 안에 끝내고 싶을 때 중요하다. 통과와 실패 판정에는 신뢰 수준이 붙어서, 결과가 경계선에 가까워 믿기 전에 수작업으로 더 볼 가치가 있는 때를 알 수 있다.

모든 테스트는 세 가지 재료를 결합한다. 당신의 공식 규칙, RFC 2119 스타일의 기대 동작을 담은 테스트 프롬프트, 에이전트의 실시간 응답이다. 심판은 루브릭에 엄격하게 대조해 확인한다. 정중하지만 틀린 답변은 여전히 실패한다. 이것이 QAgent와 채팅 창에서의 느낌 점검을 가르는 차이다.

심판은 환각과 정상 동작의 차이를 안다. 세션마다 바뀌는 티켓 ID, 실시간 잔액, 정중한 인사는 근거 없는 주장으로 표시되지 않는다. 좋다. 최상위 검색 청크가 완전한 답을 담고 있으면 하위 결과가 점수를 끌어내리지 않는다. 탈옥 테스트는 공격 문서가 없다고 검색기에게 페널티를 주지 않는다.

QAgent는 프롬프트 반복마다 점수 차이를 기록한다. 한 사례를 고친 변경이 다른 곳에서 하락을 일으켰는지 즉시 보인다. 바로 그게 핵심이다. 시스템 프롬프트를 자주 편집하는 팀에게 이것은 조용한 성능 저하를 차트 위에 보이는 선으로 바꾼다.

Solo 플랜은 CSV와 인쇄 가능한 품질 감사 보고서를 내보낸다. 근거성 비율, RAG 충실성, 정책 준수를 보여주며, 고객이 약속이 아니라 증거를 원할 때 유용하다. 파일을 보내면 된다. 보고서는 테스트 실행을 프로젝트 인도에 첨부할 수 있는 무언가로 바꾼다.