AI 모델

Rumble-2-Flash는 0.5B로 30B 전화 상담 성적을 따라잡았다

전화 상담 녹취를 글로 옮기는 일은 오래 GPU 여러 장을 전제로 했다. Reson8이 내놓은 Rumble-2-Flash는 그 전제를 0.5B 파라미터로 줄여 놓았다.

김민준김민준
인기 지수: 560
어두운 배경에 길게 뻗은 청록색 오디오 파형과 주황색 강조 막대 하나

전화 상담 녹취를 글로 옮기는 일은 오래 GPU 여러 장을 전제로 했다. Reson8이 내놓은 Rumble-2-Flash는 그 전제를 0.5B 파라미터로 줄여 놓았다.

Rumble-2-Flash는 0.5B, 비교 상대는 30B다

크기 차이부터 보는 게 빠르다. 한쪽은 5억 개 파라미터, 다른 쪽은 300억 개다. 60배 차이다.

Reson8이 Apache 2.0으로 내놓은 open speech model인 Rumble-2-Flash는 엔비디아의 Nemotron 3.5 Transcribe와 같은 시험대에 섰다. 무대는 앱텍(AppTek)이 만든 302시간 분량의 헬프라인 통화 기록이고, 영어 억양 14종이 섞여 있다. 전화 음성은 잡음과 끊김이 많아 받아쓰기 모델에게 가장 불리한 조건에 가깝다.

결과는 Rumble-2-Flash가 7.86퍼센트, Nemotron 3.5 Transcribe가 7.78퍼센트다. 0.08퍼센트포인트 차이, 사실상 동률이다.

여기서 한 가지를 분명히 해야 한다. 이건 60배 작은 모델이 대형 모델과 같은 성적을 냈다는 뜻이고, 더 잘한다는 뜻은 아니다. 두 숫자 모두 회사가 자사 블로그와 모델 카드에 적은 값이다.

Open ASR Leaderboard에서 6.96퍼센트

여러 언어를 한 줄로 세운 성적도 있다. Open ASR Leaderboard의 다국어 트랙에서 평균 오류율 6.96퍼센트를 기록했다. 중국어와 독일어, 프랑스어, 이탈리아어, 스페인어, 포르투갈어, 힌디어, 네덜란드어, 영어 아홉 개 언어를 평균한 값이다.

영어 트랙만 보면 6.6퍼센트다. 메타의 omniASR-LLM 7B보다 낮은 수치인데, 그 모델은 Rumble-2-Flash보다 15배쯤 크다. Whisper large-v3보다도 앞선다고 Reson8은 적었다.

Apache 2.0라서 달라지는 것

라이선스가 Apache 2.0이라는 점은 성적보다 실무에 큰 영향을 준다. 상업 서비스에 넣어도 되고, 가중치를 고쳐 다시 배포해도 된다. 가중치는 허깅페이스의 Reson8/Rumble-2-Flash에 올라와 있고, 같은 회사 API로도 쓸 수 있다.

속도는 7,000 RTFx를 넘는다. 묶음 처리를 할 때 1시간 분량 오디오를 0.5초쯤에 끝낸다는 계산이다. 실시간 통화를 받아쓰는 용도로도 남는 속도다.

그럼 지금 쓰는 분당 과금 API를 바로 버려도 될까? 그 전에 자기 데이터로 확인할 게 남아 있다(뒤에서 다시 본다).

설정에 손이 거의 안 간다. 트랜스포머와 vLLM에서 기본으로 지원하고, 별도 코드나 trust_remote_code 옵션을 켤 필요가 없다. 출력도 손볼 수 있다. 숫자를 기호로 받을지 글자로 받을지, 간투어를 남길지 지울지, 반복 발화를 그대로 둘지 정할 수 있고, 언어를 강제하거나 자동 감지 결과를 구조화해 받는 모드도 있다.

Rumble-2-Flash의 증류 방식, GOLD

공개 글에서 가장 기술적인 대목은 학습 방법이다. 이 모델은 Reson8의 대형 모델 Rumble-2를 학생으로 다시 세운 결과물이다. 학생이 직접 오디오를 받아쓰고, 교사가 토큰 하나하나에 점수를 매기는 방식으로 학습했다.

문제는 두 모델이 쓰는 토크나이저가 달랐다는 점이다. 같은 문장도 쪼개는 단위가 다르면 채점이 어긋난다. 팀은 GOLD라는 방법으로 토큰을 합쳐 두 모델이 같은 텍스트를 두고 비교하게 만들었다.

Qwen3-ASR 1.7B에는 아직 진다

성적표에서 가장 정직한 줄은 이 부분이다. 같은 앱텍 시험대에서 Qwen3-ASR 1.7B는 7.4퍼센트를 냈다. Rumble-2-Flash보다 낮다. 크기는 세 배 남짓인데도 더 정확하다.

Qwen3-ASR 0.6B는 8.7퍼센트로 뒤처진다. 비슷한 크기끼리 붙으면 Rumble-2-Flash가 앞서고, 조금 더 큰 모델과 붙으면 순위가 뒤집힌다는 뜻이다.

Rumble-2-Flash가 필요한 팀은 어디인가

분당 과금 API를 쓰던 팀이라면 계산이 달라진다. 상담 녹취를 하루 수천 건 처리하는 곳은 모델 값보다 호출 요금이 더 큰 경우가 많다.

국내 보험사나 카드사 콜센터는 사정이 하나 더 있다. 상담 녹취에는 주민번호와 계좌번호가 섞여 있어 외부 API로 보내기 어렵다. 이런 팀에게 Apache 2.0 가중치는 사내 서버에 두는 선택지를 열어 준다.

다만 검증은 각자 몫이다. 국내 통화 데이터로 성능이 유지되는지, 사투리와 잡음이 섞인 녹취에서 오류율이 얼마나 오르는지는 직접 재 봐야 한다. GPU 한 장에 올려 국내 통화 수십 시간을 돌려 보는 것으로 시작하면 된다. 그 결과가 만족스러우면 API 요금표를 다시 계산할 시점이다.

이 소식 공유하기

출처

관련 AI 뉴스

상승하는 보상 곡선과 27B 배지가 나란히 있는 터미널 창
AI 모델

DaisyRose-27B, 18일 학습으로 Terminal-Bench 4.1 점수 두 배

RadixArk가 20일 공개한 DaisyRose-27B는 새로 설계한 모델이 아니다. Qwen3.8-27B의 구조와 토크나이저, 채팅 템플릿, 이미지 이해, 256K 컨텍스트를 그대로 두고 reinforcement learning만으로 다시 훈련한 결과물이다.

인기 지수: 1,330
노트북 윤곽 안에서 세 장의 층 시트가 고리 화살표를 통과하는 그림
AI 모델

Inkling 2 Mini, 24개 층을 세 번 돌려 노트북에 올렸다

Thinking Machines Lab이 20일 open weights로 공개한 Inkling 2 Mini는 가운데 12개 층을 토큰마다 세 번 돌리는 looped transformer다. 계산은 48층만큼 하면서 저장은 24층으로 끝내고, 그 대신 외운 사실은 늘리지 않는다.

인기 지수: 1,710
짙은 파란 배경 위로 작은 빛 코어를 감싸 도는 세 개의 네온 고리
AI 모델

Gemini 4 Neon 공개, 구독자 선택지는 네 개로 정리됐다

구글이 Gemini 4 Neon을 내놓으면서 유료 구독자가 고를 수 있는 모델이 다시 바뀌었다. Argon에 익숙해진 사람과 3.1 Pro를 쓰던 사람은 오늘 앱을 열어 목록을 다시 봐야 한다.

인기 지수: 1,500
추론 광선이 둘러싼 큰 모델 코어 옆의 작은 고속 코어와 오른쪽으로 떨어지는 가격 막대
AI 모델

GPT-6.2 Astra, 20% 싸졌지만 1등은 아니다

OpenAI가 11월 17일 GPT-6.2 Astra와 GPT-6.2 Sol을 공개하고 Astra의 API 값을 20% 깎았다. 토큰 단가가 내려간 것과 작업 하나에 나가는 돈이 줄어든 것은 같은 말이 아니다.

인기 지수: 1,900