Zyphra Zonos

Zonos TTS ahmt eine Stimme aus einem Referenzclip von etwa 10 bis 30 Sekunden nach, ohne zusätzliches Training. Dieses Stimmklon-Modell Sie geben sauberes Audio und einen Text, und das Modell sagt voraus, wie diese Person Ihr Skript lesen würde. Zyphra berichtet, dass Tester Klone aus kurzen Proben beim ersten Hören überzeugend fanden, doch das Tempo kann bei längeren Passagen abweichen.

Neben den Stimm-Embeddings können Sie dem Text ein Audio-Präfix beifügen. Das schiebt das Modell in Richtung schwer kopierbarer Verhaltensweisen wie Flüstern, die Embeddings allein kaum wiedergeben. Es hilft, wenn der genaue Vortrag mehr zählt als die reine Ähnlichkeit.

Die Konditionierung legt Sprechtempo, Tonhöhenschwankung, Höchstfrequenz und Audioqualität als Regler offen. Auch Emotionen wie Freude, Wut, Trauer und Angst lassen sich einstellen. Wer Dialoge oder dramatische Lesungen produziert, wählt Zonos genau wegen dieser Kontrolle statt eines Generators mit fester Stimme.

Zonos v0.1, ein mehrsprachiges TTS, deckt Englisch, Japanisch, Chinesisch, Französisch und Deutsch ab. Englisch dominiert die über 200.000 Trainingsstunden, dort sind die Ergebnisse am klarsten, während die übrigen Sprachen solide, aber weniger ausgefeilt sind. Das reicht für mehrsprachige Projekte, die sonst mehrere Werkzeuge bräuchten.

Sie wählen zwischen einem Transformer-Backbone und einem Transformer-Mamba-Hybrid. Laut Zyphra war der Hybrid das erste TTS-Modell, das diese Designs verbindet. Beide teilen dieselbe Parameterskala, also hängt die Wahl davon ab, wie sie sich auf Ihrer Hardware und mit Ihren Inhalten verhalten.

Die Apache-2.0-Gewichte laufen vollständig offline, und eine mitgelieferte Docker-Datei übernimmt die Einrichtung. Zyphra zufolge erreicht das Modell auf einer RTX 4090 einen Echtzeitfaktor von etwa 2x, erzeugt also zwei Sekunden Audio pro Sekunde Rechenzeit. Der lokale Betrieb hält das Audio privat und streicht laufende Nutzungsgebühren.