Hume AI

EVIは発話をやり取りするだけでなく、会話を成り立たせるために作られたリアルタイム音声モデルだ。話している間の声の音程、リズム、音色を測り、あなたが落ち着いているのか、いらだっているのか、気が散っているのかをくみ取って応じる。考えを言い終えたタイミングを察し、いつでも割り込みを受け付ける。遮れば、途中から話の糸口を拾い直す。EVI 4-miniは英語、日本語、韓国語、スペイン語、フランス語、ポルトガル語、イタリア語、ドイツ語、ロシア語、ヒンディー語、アラビア語に対応する。

Octaveは別名Octave音声合成とも呼ばれ、音声言語モデルだ。つまり、しゃべる前に言葉の意味を理解する。ささやくべきか、叫ぶべきかを見極め、台詞に合わせて音程、速さ、発音を調整する。説明文から声を作ることも、自分の声を複製することもできる。生成した音声の権利はHumeの規約のもとで手元に残ると同社は説明する。狙いはオーディオブック、ポッドキャスト、キャラクターの声寄せであり、機械的なアナウンスではない。

表情APIは声と顔を構造化された数字に変える。音声からは数百の表情と声質のスコアを返し、いずれも0から1の確率で、50以上の言語をネイティブに計測する。映像からは、検出した顔の表情と目に見える動きを採点する。結果にはタイムスタンプが付き、各スコアが録音の正確な瞬間とつながる。通話のどこで話がこじれたかを突き止められる。

VoiceEQは、音声システムがテストを通っても人をがっかりさせる、という現実へのHumeの答えだ。実際の会話データを取り込み、用途ごとにまとめ、あなたにとって重要なシナリオと合格基準を備えたテスト群を生成する。次にモデルやエージェントを現実に近い条件で走らせ、自動スコアと人の評価を組み合わせ、失敗を直すべき項目の短いリストに落とし込む。

Real World VoiceEQは、聴き手が実際に体験するものを基準に音声モデルを採点する公開ベンチマークだ。15を超える軸と60の指標を扱い、開発中に集めた人の判断を土台にし、音声生成、音声間変換、認識、理解を分けて見る。モデルを選ぶ側にとっては、書き起こしだけではなく、自然さ、間合い、文脈でシステムを比べる手段になる。

学習の燃料が要るチーム向けに、Humeは会話、多言語、発声音を扱う注釈付きデータセットを50以上の言語で提供する。Prismパイプラインは自社のクラウド上で音声を整え、切り分け、文字起こしし、タグを付ける。低品質の録音や個人情報はモデルに届く前に取り除く。いずれもデータの質が結果を決める研究の流れに向く。

Human Feedback APIは、実在し選別された評価者による構造化された評価を走らせ、自然さ、好み、明瞭さの評点を数時間で返す。その隣にはPython、TypeScript、ReactのSDKと、EVI、Octaveのプレイグラウンドがある。開発者は配管を一から組まずに、アイデアから動く試作まで進める。