전화 상담 녹취를 글로 옮기는 일은 오래 GPU 여러 장을 전제로 했다. Reson8이 내놓은 Rumble-2-Flash는 그 전제를 0.5B 파라미터로 줄여 놓았다.
Rumble-2-Flash는 0.5B, 비교 상대는 30B다
크기 차이부터 보는 게 빠르다. 한쪽은 5억 개 파라미터, 다른 쪽은 300억 개다. 60배 차이다.
Reson8이 Apache 2.0으로 내놓은 open speech model인 Rumble-2-Flash는 엔비디아의 Nemotron 3.5 Transcribe와 같은 시험대에 섰다. 무대는 앱텍(AppTek)이 만든 302시간 분량의 헬프라인 통화 기록이고, 영어 억양 14종이 섞여 있다. 전화 음성은 잡음과 끊김이 많아 받아쓰기 모델에게 가장 불리한 조건에 가깝다.
결과는 Rumble-2-Flash가 7.86퍼센트, Nemotron 3.5 Transcribe가 7.78퍼센트다. 0.08퍼센트포인트 차이, 사실상 동률이다.
여기서 한 가지를 분명히 해야 한다. 이건 60배 작은 모델이 대형 모델과 같은 성적을 냈다는 뜻이고, 더 잘한다는 뜻은 아니다. 두 숫자 모두 회사가 자사 블로그와 모델 카드에 적은 값이다.
Open ASR Leaderboard에서 6.96퍼센트
여러 언어를 한 줄로 세운 성적도 있다. Open ASR Leaderboard의 다국어 트랙에서 평균 오류율 6.96퍼센트를 기록했다. 중국어와 독일어, 프랑스어, 이탈리아어, 스페인어, 포르투갈어, 힌디어, 네덜란드어, 영어 아홉 개 언어를 평균한 값이다.
영어 트랙만 보면 6.6퍼센트다. 메타의 omniASR-LLM 7B보다 낮은 수치인데, 그 모델은 Rumble-2-Flash보다 15배쯤 크다. Whisper large-v3보다도 앞선다고 Reson8은 적었다.
Apache 2.0라서 달라지는 것
라이선스가 Apache 2.0이라는 점은 성적보다 실무에 큰 영향을 준다. 상업 서비스에 넣어도 되고, 가중치를 고쳐 다시 배포해도 된다. 가중치는 허깅페이스의 Reson8/Rumble-2-Flash에 올라와 있고, 같은 회사 API로도 쓸 수 있다.
속도는 7,000 RTFx를 넘는다. 묶음 처리를 할 때 1시간 분량 오디오를 0.5초쯤에 끝낸다는 계산이다. 실시간 통화를 받아쓰는 용도로도 남는 속도다.
그럼 지금 쓰는 분당 과금 API를 바로 버려도 될까? 그 전에 자기 데이터로 확인할 게 남아 있다(뒤에서 다시 본다).
설정에 손이 거의 안 간다. 트랜스포머와 vLLM에서 기본으로 지원하고, 별도 코드나 trust_remote_code 옵션을 켤 필요가 없다. 출력도 손볼 수 있다. 숫자를 기호로 받을지 글자로 받을지, 간투어를 남길지 지울지, 반복 발화를 그대로 둘지 정할 수 있고, 언어를 강제하거나 자동 감지 결과를 구조화해 받는 모드도 있다.
Rumble-2-Flash의 증류 방식, GOLD
공개 글에서 가장 기술적인 대목은 학습 방법이다. 이 모델은 Reson8의 대형 모델 Rumble-2를 학생으로 다시 세운 결과물이다. 학생이 직접 오디오를 받아쓰고, 교사가 토큰 하나하나에 점수를 매기는 방식으로 학습했다.
문제는 두 모델이 쓰는 토크나이저가 달랐다는 점이다. 같은 문장도 쪼개는 단위가 다르면 채점이 어긋난다. 팀은 GOLD라는 방법으로 토큰을 합쳐 두 모델이 같은 텍스트를 두고 비교하게 만들었다.
Qwen3-ASR 1.7B에는 아직 진다
성적표에서 가장 정직한 줄은 이 부분이다. 같은 앱텍 시험대에서 Qwen3-ASR 1.7B는 7.4퍼센트를 냈다. Rumble-2-Flash보다 낮다. 크기는 세 배 남짓인데도 더 정확하다.
Qwen3-ASR 0.6B는 8.7퍼센트로 뒤처진다. 비슷한 크기끼리 붙으면 Rumble-2-Flash가 앞서고, 조금 더 큰 모델과 붙으면 순위가 뒤집힌다는 뜻이다.
Rumble-2-Flash가 필요한 팀은 어디인가
분당 과금 API를 쓰던 팀이라면 계산이 달라진다. 상담 녹취를 하루 수천 건 처리하는 곳은 모델 값보다 호출 요금이 더 큰 경우가 많다.
국내 보험사나 카드사 콜센터는 사정이 하나 더 있다. 상담 녹취에는 주민번호와 계좌번호가 섞여 있어 외부 API로 보내기 어렵다. 이런 팀에게 Apache 2.0 가중치는 사내 서버에 두는 선택지를 열어 준다.
다만 검증은 각자 몫이다. 국내 통화 데이터로 성능이 유지되는지, 사투리와 잡음이 섞인 녹취에서 오류율이 얼마나 오르는지는 직접 재 봐야 한다. GPU 한 장에 올려 국내 통화 수십 시간을 돌려 보는 것으로 시작하면 된다. 그 결과가 만족스러우면 API 요금표를 다시 계산할 시점이다.






