Fish Speech

10 bis 30 Sekunden Referenzaudio genügen, um ein Timbre zu reproduzieren, und Fish Audio nennt auf der Startseite 15 Sekunden. Der Klon übernimmt Akzent, Tonhöhe und Sprechrhythmus, nicht bloß einen vagen Eindruck. Am besten funktioniert eine Monoaufnahme nah am Mikrofon; Musik im Hintergrund ruiniert das Ergebnis am schnellsten.

Die Darbietung steuern Sie mit Anweisungen in eckigen Klammern, gesetzt dort, wo die Stimmung kippt: [whispering], [angry], [sighing], [laughing], [pause]. Drama 3 versteht auch freie Formulierungen, [barely holding it together, forcing a smile] wirkt als Tag. Gepaarte Tags wie die für Betonung richten nur einzelne Wörter einer Zeile aus. Genau das trennt das Modell von älteren Engines, bei denen Sie Tempo und Tonhöhe drehten und auf Glück hofften.

Drama 3 spricht 83 Sprachen, deutlich mehr als die 13 von Fish Speech 1.5. Damit gehört es zu den breitesten mehrsprachigen TTS-Modellen, die Sie herunterladen können. Ein mehrsprachiges TTS mit dieser Abdeckung ist selten. Entscheidend ist das Klonen über Sprachgrenzen: Sie klonen eine Stimme einmal und generieren in einer anderen Sprache, während die Sprecheridentität bleibt. Richtungs-Tags dürfen in der Sprache stehen, in der Sie denken, das Modell wendet sie trotzdem an.

Ein Text kann mehrere Figuren über Sprecher-IDs enthalten, und das Modell erzeugt den ganzen Dialog in einem Durchlauf. Für Hörspiele, Zwischensequenzen oder Videos mit zwei Moderatoren entfällt die Schleife aus Generieren, Zusammenkleben und neu Taktieren, die Mehrsprecherarbeit mühsam machte.

Drama 3 lässt Sie eine fertige Aufnahme wie ein Dokument bearbeiten. Ein Wort ersetzen, und Timbre sowie Übergänge drumherum bleiben intakt, statt fünf Minuten Audio wegen eines Fehlers neu zu erzeugen. Die mehrstufige Überarbeitung wirkt andersherum: Sie sagen, die letzte Aufnahme solle sanfter oder trauriger sein, und das Modell generiert mit diesem Kontext neu.

Code und Gewichte sind öffentlich, und die Community-Lizenz erlaubt kommerzielle Nutzung unter 500.000 Dollar Jahresumsatz. Für Teams mit Datenschutzauflagen oder planbarem Volumen ist das eine echte Option: Lokale Inferenz kostet nichts pro Zeichen. Dafür zahlen Sie mit GPU-Hardware, Einrichtungszeit und der Pflege eines Python-Stacks.

Die gehostete API liefert Audio während der Generierung, mit dem ersten Ton nach rund 100 ms und einem Echtzeitfaktor von 0,195 auf einer H200 nach Messungen von Fish Audio. Sprachsynthese, Spracherkennung und ein Voice-Agent-Endpunkt teilen sich denselben Schlüssel. In einem Sprachprodukt entscheidet diese Latenz, ob ein Assistent ins Wort fällt oder abwartet.