duration.ai

Durationはスマホ向けAIモデルであるCrosstalkシリーズを手がける。サーバーではなくスマホに合わせて調整したテキスト読み上げだ。音声は実時間より速く生成され、ほぼ即座に始まる。モバイルチップの加速で負荷はクラウドに乗らない。代わりに、最良のモデルは新しいiPhoneに限られる。

モデルは短いサンプルから声をクローンし、旗艦アプリはそれを端末上だけで完結させる。5〜10秒の音声を録れば、自分の声の音声がすぐ手に入る。データは端末から出ていかない。自分の声をサービスに預けたくない人には大きい。

Crosstalkモデルは音声を生成しながら単語ごとのタイミングを出すので、字幕は別途の文字起こしなしでそろう。このタイミングは、音声が作られる最中にライブでカラオケ風にハイライトを動かせる精度がある。多くの字幕作業から工程が一つ丸ごと消える。

移植したノイズ除去がスマホ上で音声録音を整える。Durationによれば、音声では有料クラウドツールに近い。背景音楽や回っているファン、重なった話し声に対応し、短いクローン用サンプルがぐっと使いやすくなる。残響は弱点で、音声に残ったままになる。

小さいモデルは2020年のiPhone 12 Proと2021年のFairphone 4までさかのぼって対応し、別途ダウンロードなしでアプリのバンドルに収まる。性能は新しいチップほど上がり、最近の旗艦ならクリップを何倍も速く処理する。この幅が、オンデバイス音声を多くの人にとって現実的にする。

DurationはiOS向けモデルをApple Neural Engine向けに調整する。この種の計算を速く、しかもごく一部の電力でこなす。スマホは熱くなりにくく、アプリのほかの部分にリソースが残る。Androidは依然としてCPU頼みだ。アクセラレータをうまく使うのが難しいからだ。