벤치마크 점수가 높다고 내 업무에서도 잘하는 건 아니다. LLM 평가는 눈에 보이는 숫자와 실제 성능 사이의 간격을 어떻게 메우느냐의 문제다.
LLM 평가란 무엇인가
LLM 평가는 대규모 언어 모델이 얼마나 잘 작동하는지를 일관된 기준으로 재는 작업이다. 모델을 고르기 전에, 또는 고른 뒤에도 계속 필요하다. 챗봇 하나를 쓰더라도 "이 모델이 내 업무에 맞나"를 판단하려면 뭔가를 재야 하기 때문이다.
핵심은 재는 대상이 두 가지로 나뉜다는 점이다. 하나는 벤치마크, 다른 하나는 지표다. 벤치마크는 문제 묶음과 정답 세트를 함께 묶은 시험지다. 지표는 채점 방식이다. 이 둘을 헷갈리면 "우리 팀은 정확도 92%"라고 말하면서 정작 무엇을 어떻게 쟀는지는 설명하지 못하는 상황이 된다.
평가가 까다로운 이유는 언어가 숫자처럼 딱 떨어지지 않기 때문이다. 같은 질문에도 답이 여러 개일 수 있고, 잘 쓴 답과 못 쓴 답의 경계가 사람마다 다르다. 그래서 LLM 평가는 정답 하나를 맞히는 시험과 성격이 다르다.
벤치마크는 무엇을 재나
벤치마크는 특정 능력을 겨냥해 만든 문제 묶음이다. 상식 추론, 수학, 코딩, 지시 따르기처럼 능력별로 따로 존재한다.
널리 쓰이는 것으로는 상식과 추론을 폭넓게 묻는 MMLU, 코드를 짜서 통과시키는 HumanEval, 실제 깃허브 이슈를 고치는 SWE-bench가 있다. 사람이 둘 중 나은 답을 고르는 방식으로 순위를 매기는 LMSYS 챗봇 아레나도 같은 계열이다.
벤치마크 | 재는 것 | 채점 방식 |
|---|---|---|
MMLU | 상식, 추론, 학문 전반 | 객관식 정답 대조 |
HumanEval | 코드 작성 | 자동 테스트 통과 여부 |
SWE-bench | 실제 소프트웨어 버그 수정 | 저장소 테스트 통과 여부 |
LMSYS 챗봇 아레나 | 전반적 선호도 | 사람 투표로 순위 산정 |
벤치마크의 강점은 비교다. 같은 시험지를 여러 모델에 풀리면 상대 순위가 나온다. 모델을 고를 때 출발점으로는 유용하다.
한계는 시험이라는 성격 자체에 있다. 벤치마크는 특정 문제 세트에 맞춰져 있으니, 그 세트와 내 업무가 닮아 있지 않으면 점수는 큰 의미가 없다. 실제로 MMLU에서 앞선 모델이 사내 문서 요약에서는 뒤처지는 일이 흔하다. 시험 문제는 넓게 훑지만, 내 업무는 좁고 깊기 때문이다.
지표는 어떻게 답을 채점하나
지표는 모델이 낸 답을 숫자로 바꾸는 규칙이다. 크게 세 갈래로 나뉜다.
정답이 하나로 정해지는 경우에는 정확도나 F1 같은 지표를 쓴다. 분류 작업이나 객관식이 여기 속한다. 번역이나 요약처럼 정답이 하나가 아닌 경우에는 문자열이 얼마나 겹치는지를 보는 BLEU나 ROUGE를 쓴다. 다만 이런 겹침 지표는 의미가 같아도 표현이 다르면 낮은 점수를 주는 약점이 있다.
주관적인 품질은 다른 방식이 필요하다. 최근 많이 쓰는 것이 LLM-as-judge, 즉 심사 모델을 붙여 답을 채점하는 방식이다. 사람이 일일이 채점하는 비용을 줄이면서 자연스러움이나 유용성 같은 항목을 잴 수 있다.
문제는 심사 모델도 편향을 갖는다는 점이다. 자기가 낸 답이나 비슷한 스타일의 답을 더 높게 주는 경향이 있고, 답의 순서에 따라 점수가 흔들리기도 한다. 그래서 심사 모델 점수는 사람 평가와 교차 검증을 거쳐야 신뢰할 수 있다.
실제 성능을 재는 자체 평가 세트 만들기
공개 벤치마크는 출발점일 뿐이다. 내 업무에 맞는 성능을 알려면 자체 평가 세트가 필요하다. 절차는 생각보다 단순하다.
먼저 내 애플리케이션이 처리할 작업 유형을 다섯에서 열다섯 개로 쪼갠다. 다음으로 각 유형마다 대표 사례를 모은다. 실제 사용자 문의, 사내 문서, 과거 티켓처럼 이미 손에 있는 자료를 쓰면 된다. 그다음 사람이 직접 정답이나 채점 기준을 붙인다. 마지막으로 지표를 정해 자동으로 채점한다.
여기서 중요한 건 대표성이다. 실제 입력이 어떻게 들어오는지를 그대로 반영해야 한다. 오타, 줄임말, 애매한 표현이 섞인 실제 문의를 정돈된 예시로 바꿔 놓으면, 평가는 좋게 나오지만 실전에서는 무너진다.
세트를 한 번 만들고 끝내면 안 된다. 모델이 바뀌고 사용자 요구가 바뀌면 세트도 갱신해야 한다. 어떤 팀은 새로 발견된 실패 사례를 평가 세트에 계속 편입한다.
평가를 배포 이후까지 끌고 가기
평가는 모델을 고르는 순간 끝나지 않는다. 배포한 뒤에도 계속 돌려야 한다. 실제 입력 분포가 시간이 지나며 바뀌기 때문이다. 사용자가 갑자기 다른 종류의 질문을 던지기 시작하면, 어제 잘하던 모델이 오늘은 헛다리를 짚는다.
그래서 운영 단계에서는 평가를 자동화된 검문소처럼 쓴다. 새 프롬프트나 모델 버전을 올리기 전에 평가 세트를 통과시키고, 점수가 기준 아래로 떨어지면 배포를 멈춘다. 코드를 올리기 전에 테스트를 돌리는 것과 같은 원리다.
지연 시간과 비용도 함께 봐야 한다. 품질이 조금 오르는 대신 응답이 두 배 느려지고 비용이 세 배로 뛴다면, 그 선택이 맞는지는 업무가 정한다. 평가는 품질만이 아니라 "이 비용을 감당할 만한가"까지 답해야 한다.
벤치마크 점수를 읽는 법
벤치마크 순위표는 편리하지만, 그대로 믿으면 위험하다. 점수가 어떻게 나왔는지를 봐야 한다. 몇 문제로 쟀는지, 오염은 없었는지, 어떤 설정에서 돌렸는지를 확인해야 한다.
오염 문제는 특히 짚어야 한다. 학습 데이터에 벤치마크 문제나 그와 거의 같은 문제가 섞여 있으면, 모델은 이해해서 맞힌 게 아니라 외워서 맞힌 것일 수 있다. 그래서 새 벤치마크가 나오면 시간이 지날수록 점수가 부풀려지는 경향이 있다.
또 하나는 설정이다. 같은 모델도 어떤 추론 노력을 쓰느냐에 따라 점수가 달라진다. 최고 점수를 뽑은 설정이 내가 쓰는 기본 설정과 다를 수 있다.
결국 벤치마크는 여러 후보를 빠르게 추리는 필터로 쓰고, 최종 결정은 자체 평가 세트와 실제 사용으로 내리는 게 안전하다.
정리: 평가는 한 번의 시험이 아니다
LLM 평가는 벤치마크 하나를 보고 끝내는 일이 아니다. 공개 시험으로 후보를 추리고, 내 업무를 닮은 자체 세트로 최종 후보를 가르고, 배포한 뒤에도 계속 재는 흐름이다.
지금 모델을 고르는 중이라면 두 가지부터 해보면 된다. 하나는 공개 벤치마크에서 내 업무와 가까운 능력을 표시해 두는 것, 다른 하나는 사내 자료로 작은 평가 세트를 직접 만드는 것이다. 스무 개짜리 세트라도 직접 만든 것이 남의 순위표보다 내 결정에 더 가깝다.






