Captioner

Captioner は調整済みの Whisper モデルで動画の音声を文字にする。Whisper 文字起こしを土台に、ざっと流すのではなく精度に手をかける。チームは 98 % 以上の正確さをうたい、エンジンは英語と中国語を最も念入りに調整し、広東語のサポートも加えている。精度は言語によって変わるので、短いクリップで試しておく価値はある。

文字起こしツールが返すタイミングが信頼できるとは限らない。Captioner は処理を一段追加して字幕を実際の音声に合わせ、細かく制御したいときは単語単位のタイムスタンプも出す。字幕ブロックを手でずらす面倒な工程を省ける。

文字起こしのあとは、すべてブラウザで完結する。文言を直し、タイミングを調整し、字幕を組み直すのに別のアプリを開く必要はない。編集ツールはクリエイターが作り、画面は設定の壁ではなく、実際に人が触る場所へ向いている。

すでに台本や文字起こしを書いているなら、それを読み込ませ、Captioner に音声へ合わせてもらえる。YouTube の自動同期と似た動きだが、テキストは編集可能なまま残る。自分の版が機械より正確なときに効く。

ワンクリックで字幕を別の言語へ変えられる。再公開する予定のクリップでは字幕翻訳ツールとして働く。Captioner はスペイン語、ポルトガル語、フランス語、ドイツ語、ロシア語、アラビア語、ヒンディー語、タイ語などの翻訳先に対応し、同じクリップを二度目の編集なしで複数の視聴者へ届けられる。

Captioner は SBV、SRT、VTT のファイルを書き出し、SRT VTT 書き出しにもそのまま応える。多くの編集ソフトが読む形式だ。字幕を入れた状態で動画を渡したい場合は、エディタでフォントのスタイルを選び、字幕を表示した動画をレンダリングする。視聴者が字幕を切っていても文字は見える。

文字起こしの前に、内蔵の音声抽出の工程が話し声を音楽やノイズから分ける。BGM を先に消す必要はなく、背景音のある動画でも字幕は読みやすく保たれる。