Caplo
Shanghai Spark Light Technology Co., Ltd. · ライティング
Caploは、他のiPhone・iPadアプリが再生する音声を聞き取り、リアルタイムの翻訳字幕をフローティングのピクチャ・イン・ピクチャウィンドウに表示するiOS向けの字幕翻訳ツールだ。iPad向けのライブ字幕アプリとしても、外国語のライブ配信、アニメ、スポーツ実況、ポッドキャスト、オンライン講座、字幕がなかったり遅れたりするニュース映像を追う人のためのリアルタイム字幕アプリとしても機能する。iOSの画面ブロードキャストの流れから起動し、言語を選べば、元のアプリを再生したまま読み進められる。設定は1分ほどで終わる。
Caplo について
Caploとは
Caploは、Sparklight AIがiPhoneとiPad向けに作った字幕アプリだ。他のアプリ内で再生される音声を取り込み、その場で文字起こしし、結果を読める言語に翻訳する。字幕はピクチャ・イン・ピクチャウィンドウに浮かぶため、画面を切り替えさせるのではなく、見ているものの上に重なる。
解決する問題は単純だ。ライブコンテンツの多くは、字幕が欠けていたり、遅れていたり、1言語しか用意されていなかったりする。Crunchyrollのエピソード、Weverseのリプレイ、地域のスポーツ中継は、視聴者に推測を強いることが多い。では、字幕がまったく出てこないときはどうするのか。Caploは恒久的な字幕トラックではなく、リアルタイムの補助としてその隙間を埋める。
先に知っておくべき主な限界は、ビデオ通話には対応しないという点だ。Zoom、FaceTime、Microsoft Teams、Google Meetはすべて対象外となる。精度もおおよそでしかない。ライブ音声認識と機械翻訳は遅れたり細部を落としたりするので、字幕は逐語的な記録ではなく便利な補助輪として扱うといい。
はじめかた
- 比較的新しいiOSが動くiPhoneまたはiPadで、App StoreからCaploをインストールする。
- アプリを開き、コントロールセンターからiOSの画面ブロードキャストを開始して、Caploが他のアプリの音声を拾えるようにする。
- 話される言語と、字幕に翻訳したい言語を選ぶ。
- 見たいアプリに切り替える。字幕は移動できるフローティングのピクチャ・イン・ピクチャウィンドウに表示される。
- あとで履歴からセッションを見返し、テキストをコピーするかMarkdownにエクスポートする。
AIツール情報
Caploの料金、対応プラットフォーム、性能を簡単に確認できます。
こんな人におすすめ
このツールが最も力を発揮するユーザー、タスク、シーン。
ユーザー
- 語学学習者：画面に残り続ける字幕で、本物の外国語音声を聴く練習ができる。現在のレベルより少し上の内容と組み合わせるのがいい。
- アニメや韓国ドラマの視聴者：公式字幕が遅れたり、欠けていたり、読めない言語のままだっても、作品を追える。
- スポーツファン：1言語でしか放送しない地域の中継でも、実況についていける。
タスク
- ライブ配信中に翻訳字幕を読む：Caploは配信が続く間、音声をほぼリアルタイムで文字起こしし、翻訳する。
- 別の言語で行われるオンライン講座を追う：字幕が講義を読める文字に変え、動画を止めずに済む。
- 話されるポッドキャストを文字として残す：セッション履歴が文字起こしを保存するので、あとで見返したりエクスポートしたりできる。
シーン
- Crunchyrollのエピソードを公開当日の夜、字幕が出る前に見る：Caploが一時的な字幕レイヤーを足すので、待たなくていい。
- お気に入りのクリエイターのWeverseライブを見る：プラットフォーム自身の字幕が遅れたとき、翻訳字幕がその隙間を埋める。
- 外国語の国際ニュースや製品発表を追う：字幕が放送を自分の言語で読めるものに変える。
主な機能
リアルタイム文字起こし
Caploは、端末上の取り込みと音声認識を使い、再生されるそばから生の音声を文字にする。文字起こしはまとめてではなく連続的に更新されるため、長い間を置かずに会話や放送を追える。ほかのすべてがその上に成り立つ土台の層だ。
60言語の翻訳字幕
このアプリは60言語に対応し、英語、簡体字中国語、日本語、韓国語、スペイン語、フランス語、ドイツ語、ポルトガル語、ロシア語、アラビア語、ヒンディー語、タイ語などが含まれる。外国語の音声ソースから字幕を自分の言語へリアルタイムで翻訳でき、これが言語をまたいで視聴する際の中心的な用途だ。言語名はアプリ自身のリストからそのまま取られ、この組み合わせを選ぶのに数タップしかかからない。
一緒に動く字幕
字幕は他のアプリの上に残るピクチャ・イン・ピクチャウィンドウに浮かぶ。元の動画を全画面で見続けながら、動かせるパネルで翻訳されたテキストを読める。ピクチャ・イン・ピクチャ字幕こそ、Caploを標準の字幕トラックと分ける点だ。テキストがアプリをまたいで一緒に動くからだ。
履歴とiCloud同期
すべてのセッションは履歴に保存され、オンにすれば個人のiCloudアカウントで同期できる。記録は初期設定では端末上にローカル保存される。そこからテキストをコピーしたり、ノートや学習資料用にMarkdownへエクスポートしたりできる。
特定の配信アプリを軸に作られている
このアプリは何でも網羅するふりをせず、いくつかの実際のシナリオに寄り添う。Crunchyrollのアニメ、Weverseのクリエイター配信、ライブスポーツ、国際ニュース、ポッドキャスト、講座、ゲーム配信に合わせて調整されている。それぞれのサイトに独自の活用例があり、チームがどこで最も効くと見ているかが分かる。つまり、どんなアプリでも、ではない。人が本当に困っているものだけだ。
メリットとデメリット
メリット
- 字幕が他のアプリの上に浮かぶので、見ている動画を離れずに済む
- 話される言語と翻訳先の言語を組み合わせるだけで、60言語をカバーする
- セッション履歴が文字起こしを保存し、Markdownにエクスポートする
- 記録は端末上に残り、自分のiCloudで同期する
- 無料プランがあり、たまに使う人向けのクレジットパックもある
デメリット
- Zoom、FaceTime、Teams、Google Meetに対応せず、通話は対象外となる
- ライブ翻訳は遅れたり細部を落としたりするので、公式字幕の代わりにはならない
- iPhoneとiPad専用で、Android版もデスクトップ版もない
よくある質問
使える。iOSの画面ブロードキャストの流れで他のアプリの音声を取り込み、フローティングのピクチャ・イン・ピクチャウィンドウにライブ字幕を表示する。例外はビデオ通話と会議のアプリだ。Zoom、FaceTime、Microsoft Teams、Google Meetには対応しない。
関連コンテンツ
Caploに関連するツール、スキル、記事を探す。
Caploの代替ツール
Google EmbeddingGemma 2
Google DeepMind · ライティング · 画像 · コーディングGoogle EmbeddingGemma 2 は 7 億 4000 万パラメータのオープンなモデルで、テキスト、コード、画像、音声、動画フレームを同じ 768 次元空間のベクトルに変え、スマートフォンやノート PC 上で動く。
MePersona
MePersona, Inc. · ライティング · 生産性向上 · マーケティングMePersonaはクリエイター向けのAI統合受信箱だ。あなたの話し方を学習し、12プラットフォームに届くファンメッセージの返信を下書きして、承認したものだけを送る。
Fluence
Yay Software (Yannick Huchard) · ライティング · 音声・言語 · 生産性向上Fluence は Android 向けのドキュメントリーダーだ。PDF、EPUB、Word 文書、ウェブ記事を読み上げ、発話中の文を画面で追わせ、本文についての質問にも端末上で答える。