Orpheus TTS

Orpheus TTS erzeugt Intonation, Emotion und Rhythmus, die laut den Autoren mit den besten Closed-Source-Systemen mithalten oder sie übertreffen. Es greift Hinweise im Text auf und kann dort ein Seufzen oder Lachen einstreuen, wo die Schrift es nahelegt. Das ist das Hauptversprechen, und genau das brachte das Projekt in die Open-Source-Debatte. Sauberer Text mit klaren Hinweisen liefert die besten Ergebnisse.

Das vortrainierte Modell kopiert eine Stimme ohne jedes Feintuning. Geben Sie ihm ein oder mehrere Text-Sprache-Paare im Prompt, und es imitiert die Person mit neuem Text. Je mehr Paare Sie übergeben, desto sicherer trifft es die richtige Stimme. Das unterscheidet es von älteren Systemen, die Stunden an Aufnahmen brauchten.

Sie steuern die Vortragsweise mit einfachen Tags, darunter Lachen, Kichern, Seufzen, Husten, Schniefen, Stöhnen, Gähnen und Keuchen. Das Modell liest sie als Teil des Textes und formt das Audio darum. Für Dialoge, Hörbücher oder einen Chatbot, der menschlich klingen soll, hilft diese Kontrolle enorm. Die unterstützten Tags unterscheiden sich in der mehrsprachigen Version je Sprache.

Die Streaming-Latenz liegt bei rund 200 Millisekunden, und die Dokumentation nennt etwa 100 bei Streaming-Eingabe. Bei Echtzeitnutzung wie Sprachassistenten entscheidet dieser Abstand, ob ein Gespräch natürlich wirkt. Das Paket sendet Audioabschnitte, sobald sie entstehen, sodass die Wiedergabe vor dem vollständigen Clip beginnt.

Neben den englischen Modellen in feinabgestimmter und vortrainierter Form plant das Projekt mehrere kleinere Versionen mit 1B, 400M und 150M Parametern. Kleinere Modelle tauschen etwas Qualität gegen Tempo und leichtere Hardware, was zählt, wenn Sie auf bescheidenen Maschinen arbeiten. Die Roadmap führt sie als kommende Veröffentlichungen.

Das Repository liefert Skripte für Training und Datenverarbeitung, um das Basismodell an Ihren eigenen Sprecher anzupassen. Nach etwa 50 Beispielen werden die Ergebnisse gut, und das Team empfiehlt 300 pro Sprecher für das beste Ergebnis. Der Ablauf ähnelt dem Feintuning eines Sprachmodells mit Trainer und Transformers, ML-Erfahrung hilft also.

Sie können Orpheus TTS über das Python-Paket, einen Weg ohne GPU mit llama.cpp oder ein dediziertes Deployment bei Baseten betreiben, dem bevorzugten Inferenzpartner des Projekts. Community-Builds ergänzen eine OpenAI-kompatible API und eine Gradio-Weboberfläche. Wählen Sie den Weg, der zu Ihrer Auslieferung passt.