VideoLingo

자막과 더빙의 전 과정이 Streamlit 창 하나에서 돌아간다. YouTube 링크를 붙이거나 로컬 파일을 지정하고 언어와 모델을 정하면 다운로드, 인식, 분할, 번역, 내보내기를 차례로 처리한다. 각 단계가 결과를 디스크에 쓰기 때문에 실패한 단계만 다시 돌릴 수 있다. 처음부터 전부 재실행할 필요가 없다.

인식은 Qwen3-ASR과 강제 정렬기를 함께 쓴다. 시간을 새기는 단위가 문장 전체가 아니라 낱말 하나하나다. 이 정확도 덕분에 자막이 제 박자에 나온다. 모델을 로컬에서 돌리기 싫다면 오디오를 ElevenLabs나 MAI-Transcribe-2로 보낼 수도 있다. 다만 음성이 외부로 나간다는 점은 알아 두자.

긴 발화는 한 줄 자막에 담기지 않는다. NLP 규칙과 LLM 처리를 결합해 전사문을 길이 제한이 있는 짧고 읽기 좋은 자막으로 나눈다. 사람 자막 편집자가 쓰는 논리와 같다. 번역은 분할 뒤에 돌기 때문에 번역된 자막도 원래 발화의 타이밍을 지킨다.

번역은 기본적으로 두 단계로 진행된다. 직접 만든 용어 목록과 AI가 생성한 용어집이 고유명사와 전문용어, 반복되는 표현을 파일 전체에서 일관되게 맞춘다. 선택 사항인 되짚기 단계는 기계적인 번역문을 자연스러운 문장으로 고쳐 쓴다. 좋은 LLM이 값을 하는 지점이 여기다. 약한 모델은 밋밋하고 직역투인 자막만 낸다.

더빙은 선택 사항이며 OpenAI TTS, Fish Audio, SiliconFlow, GPT-SoVITS, Edge TTS 등 여러 음성 엔진과 함께 작동한다. 음성 복제는 GPT-SoVITS가 가장 뛰어나지만 중국어와 영어만 다룬다. 다른 공급자는 더 많은 언어를 지원한다. 타이밍과 말투는 번역과 음성에 달려 있고, 속도를 조절한다고 완벽한 동기화가 보장되지는 않는다.

자동화를 위해 VideoLingo는 화면과 같은 처리 흐름을 공유하는 로컬 HTTP API를 제공한다. 스크립트와 AI 에이전트는 작업을 하나씩 넣고 진행 상황을 확인하며 결과를 내려받고 실패를 재시도할 수 있다. 예전 Excel 일괄 처리 방식은 이걸로 대체됐고, 프로젝트는 더 이상 권장하지 않는다.

각 단계가 진행 상황을 디스크에 기록하기 때문에 중간에 일시정지하거나 다시 시작하고 멈췄다가 나중에 이어갈 수 있다. 모델의 성공 응답은 캐시돼 실패 후 재실행할 때 완료된 작업을 그대로 쓴다. 같은 번역에 두 번 비용을 치를 일이 없다.