Kyutai TTS

Was ist Kyutai TTS

Kyutai TTS ist ein Modell für Text zu Sprache, das auf Streaming ausgelegt ist. Es liest Text laut vor, wartet aber nicht, bis Sie fertig getippt haben. Es spricht, sobald es die ersten Wörter hat, und genau das trennt es von Offline-Engines, die den ganzen Satz brauchen, bevor ein Ton kommt.

Kyutai ist ein französisches Labor für offene Wissenschaft, finanziert von der Iliad-Gruppe, der CMA CM-Gruppe und Schmidt Sciences. Das Labor baute Kyutai TTS 1.6B, eines von mehreren Kyutai Audiomodellen, für die eigene Arbeit an Moshi, einem Sprachdialogsystem, und veröffentlichte die Gewichte danach öffentlich. Diese Version zielt auf Sprachsynthese mit niedriger Latenz, eine Aufgabe, die die meisten Engines erst nach dem ganzen Text erledigen. Wer Sprachtools sucht, kann einen sprechenden Assistenten bauen, Erzählungen erzeugen oder einer App Sprache geben, ohne pro Zeichen zu zahlen.

Der Haken liegt darin, wie das Modell seine Geschwindigkeit erreicht. Es wurde mit 2,5 Millionen Stunden öffentlichem Audio trainiert und läuft am besten auf einer GPU, also ist es kein fertiger Cloud-Dienst mit klarem Monatspreis. Sie laden die Gewichte herunter, richten eine Umgebung ein und starten es selbst. Es gibt zwei Versionen: das Streaming-Modell mit 1.6B, um das es hier geht, und das neuere Pocket TTS, ein kleineres Modell für CPU-Rechner.

Erste Schritte

1. Legen Sie ein kostenloses Konto bei Hugging Face an und akzeptieren Sie die Modelllizenz auf der Kyutai TTS-Seite.
2. Installieren Sie das Python-Paket moshi per pip, oder das Crate moshi-server, wenn Sie es in der Produktion bereitstellen wollen.
3. Laden Sie den Checkpoint und den Mimi-Audiocodec in Python, dann richten Sie das Modell auf einen Texteingabe.
4. Erzeugen Sie Audio in Blöcken für die Streaming-Wiedergabe, oder lassen Sie es auf einer Datei für die Offline-Ausgabe laufen.
5. Wählen Sie eine fertige Stimme aus dem Repository tts-voices, oder bringen Sie Ihren eigenen Stimm-Embedding mit.