Orpheus TTS

Orpheus TTS produit une intonation, une émotion et un rythme qui, selon ses auteurs, rivalisent avec les meilleurs systèmes propriétaires, voire les dépassent. Il capte les signaux du texte et peut glisser un soupir ou un rire là où l'écriture le suggère. C'est sa promesse principale, et c'est ce qui a mis le projet au centre des discussions sur l'open source. Un texte propre et bien balisé donne les meilleurs résultats.

Le modèle pré-entraîné copie une voix sans aucun ajustement. Donnez-lui une ou plusieurs paires texte-parole dans le prompt et il imite la personne sur un texte nouveau. Plus vous passez de paires, plus il tombe sûrement sur la bonne voix. C'est ce qui le distingue des anciens systèmes qui exigeaient des heures d'enregistrement.

Vous orientez l'interprétation avec des balises simples, comme rire, petit rire, soupir, toux, reniflement, gémissement, bâillement et halètement. Le modèle les lit comme du texte et façonne l'audio autour. Pour des dialogues, des livres audio ou un chatbot qui doit sonner humain, ce contrôle change beaucoup. Les balises prises en charge varient selon la langue dans la version multilingue.

La latence en streaming tourne autour de 200 millisecondes, et la documentation indique qu'elle peut descendre vers 100 avec une entrée en streaming. Pour des usages en temps réel comme les assistants vocaux, cet écart décide si la conversation paraît naturelle. Le paquet émet les segments audio au fil de leur génération, donc vous pouvez lancer la lecture avant que le clip entier soit prêt.

Au-delà des modèles anglais ajusté et pré-entraîné, le projet prévoit plusieurs versions plus petites de 1B, 400M et 150M paramètres. Les petits modèles échangent un peu de qualité contre de la vitesse et un matériel plus léger, ce qui compte si vous déployez sur des machines modestes. La feuille de route les liste comme prochaines sorties.

Le dépôt fournit des scripts d'entraînement et de traitement des données pour adapter le modèle de base à votre propre locuteur. Les résultats deviennent bons après une cinquantaine d'exemples, et l'équipe conseille de viser 300 par locuteur pour le meilleur rendu. La démarche ressemble à l'ajustement d'un modèle de langage avec Trainer et Transformers, donc un bagage en ML aide.

Vous pouvez lancer Orpheus TTS via le paquet Python, une voie sans GPU avec llama.cpp ou un déploiement dédié chez Baseten, le partenaire d'inférence privilégié du projet. Des builds communautaires ajoutent une API compatible OpenAI et une interface web Gradio. Choisissez la voie qui colle à votre façon de livrer.