Fish Speech

10 à 30 secondes d'audio de référence suffisent pour reproduire un timbre, et Fish Audio annonce 15 secondes sur sa page d'accueil. Le clone retient l'accent, la hauteur et le rythme de parole, pas seulement une impression générale. Un fichier mono enregistré près du micro donne le meilleur résultat ; la musique de fond est le moyen le plus rapide de tout gâcher.

Le rendu se pilote avec des instructions entre crochets, placées là où l'humeur change : [whispering], [angry], [sighing], [laughing], [pause]. Drama 3 accepte aussi la direction libre, donc [barely holding it together, forcing a smile] fonctionne comme balise. Les balises par paires, comme celles d'emphase, ne dirigent que quelques mots dans la phrase. C'est la vraie différence avec les anciens moteurs, où l'on réglait vitesse et hauteur en espérant que ça passe.

Drama 3 parle 83 langues, bien au-delà des 13 gérées par Fish Speech 1.5. Cela le place parmi les modèles TTS multilingues les plus larges que l'on peut télécharger. Le point clé reste le clonage entre langues : vous clonez une voix une fois et générez dans une autre langue en conservant l'identité du locuteur. Les balises de direction s'écrivent dans la langue où vous pensez, et le modèle les applique quand même.

Un seul texte peut contenir plusieurs personnages repérés par des identifiants de locuteur, et le modèle génère tout l'échange d'une traite. Pour la fiction audio, les cinématiques de jeu ou une vidéo à deux présentateurs, cela supprime la boucle générer, coller, recaler qui rendait le travail multi-voix pénible.

Drama 3 permet de retoucher une prise terminée comme un document. Remplacez un mot et le timbre ainsi que les transitions alentour restent intacts, ce qui évite de régénérer cinq minutes d'audio pour une seule erreur. La révision par tours va dans l'autre sens : vous indiquez que la dernière prise devrait être plus douce ou plus triste, et le modèle la reprend avec ce contexte.

Le code et les poids sont publics, et la licence communautaire autorise l'usage commercial sous 500 000 dollars de revenus annuels. Pour une équipe avec des contraintes de confidentialité ou un volume prévisible, l'option est sérieuse : l'inférence locale ne facture pas au caractère. En échange, il faut du matériel, du temps d'installation et l'entretien d'une pile Python.

L'API hébergée émet l'audio pendant la génération, avec un premier son autour de 100 ms et un facteur temps réel de 0,195 sur une H200 selon les mesures de Fish Audio. Synthèse vocale, reconnaissance vocale et endpoint d'agent vocal partagent la même clé. Sur un produit conversationnel, cette latence sépare un assistant qui coupe la parole d'un assistant qui attend son tour.