Captioner

Captioner는 조정된 Whisper 모델로 영상 음성을 글자로 바꾼다. 대충 훑지 않고 정확도에 공을 들인다. 팀은 98% 이상의 정확도를 내세우고, 엔진은 영어와 중국어를 가장 세심하게 다듬고 광둥어 지원도 더했다. 정확도는 언어마다 다르니 짧은 클립으로 먼저 시험해 볼 값어치가 있다.

어떤 받아쓰기 도구든 믿을 만한 타이밍을 돌려주지는 않는다. Captioner는 처리 단계를 하나 더 넣어 자막을 실제 음성에 맞추고, 더 세밀하게 다루고 싶을 때는 단어 단위 타임스탬프도 내놓는다. 자막 블록을 손으로 밀어 맞추는 지루한 과정을 덜어 준다.

받아쓰기가 끝난 뒤엔 모든 작업이 브라우저에서 이뤄진다. 문구를 고치고 타이밍을 조정하고 자막을 다시 배치하는 데 다른 앱을 열 필요가 없다. 편집 도구는 크리에이터가 만들었고, 화면은 설정 벽이 아니라 사람이 실제로 손대는 곳을 겨냥한다.

대본이나 받아쓰기를 이미 써 뒀다면 그걸 불러와 Captioner가 음성에 맞추게 한다. YouTube 자동 동기화와 비슷하게 움직이지만 텍스트는 편집 가능한 채로 남는다. 내 판본이 기계보다 정확할 때 특히 쓸모 있다.

클릭 한 번이면 자막을 다른 언어로 바꾸고, 다시 공개할 클립에서는 자막 번역 도구로 일한다. Captioner는 스페인어, 포르투갈어, 프랑스어, 독일어, 러시아어, 아랍어, 힌디어, 태국어 등 번역 언어를 담당하고, 영어와 일본어, 한국어도 대상에 넣는다. 같은 클립을 두 번째 편집 없이 여러 시청자층에 보낼 수 있다.

Captioner는 SBV, SRT, VTT 파일을 내보낸다. 대부분의 편집 프로그램이 읽는 형식이다. 자막을 입힌 채로 영상을 건네고 싶다면 편집기에서 글꼴 스타일을 고르고 자막이 켜진 영상을 렌더링한다. 시청자가 자막을 꺼 둬도 글자가 보인다.

받아쓰기 전에 내장 음성 추출 단계가 말소리를 음악과 소음에서 분리한다. 배경 음악을 먼저 꺼 둘 필요가 없고, 배경 소리가 있는 영상에서도 자막은 읽기 쉽게 유지된다.