F5 TTS

F5-TTS copia una voz a partir de un clip de referencia corto, sin entrenamiento ni ajuste. Apúntalo a unos segundos de habla clara, dale la transcripción correspondiente y lee texto nuevo con el tono de ese hablante. Esta es la función que separa al proyecto de los sistemas antiguos, que necesitaban horas de datos. Un audio de referencia más limpio da un parecido mayor.

El modelo junta flow matching con un Diffusion Transformer y un refinador de texto ConvNeXt V2. Esa combinación le deja generar habla con menos pasos de muestreo que los modelos de difusión anteriores, y eso recorta la espera. El paper reporta un factor de tiempo real de 0.15 en inferencia, es decir, produce audio más rápido de lo que se reproduce en el hardware probado. Para quien lanza trabajos por lotes, esa diferencia se multiplica.

Una sola configuración de TTS multilingüe cubre varios idiomas y puede alternar entre ellos dentro de una misma frase. Eso ayuda cuando un guion mezcla términos en inglés dentro de otro idioma, algo habitual en narración técnica. No necesitas un modelo aparte por idioma. La pronunciación aún cambia según el idioma, así que prueba los que vayas a usar.

El muestreo Sway es un truco de inferencia que cambia cómo el modelo elige los pasos de flujo durante la generación. Mejora la calidad del habla y la robustez sin reentrenar, y los autores señalan que se puede meter en otros modelos de flow matching. Lo controlas desde los ajustes de muestreo del config o la CLI. Es de esas opciones que rinden cuando las ajustas a tu contenido.

Los guiones largos se parten en trozos y se vuelven a unir para que la voz se mantenga estable durante todo el pasaje. Esto hace que los capítulos de audiolibro y la narración larga sean prácticos, en lugar de ir frase a frase. El modelo sostiene un tono firme entre segmentos. Para archivos muy largos, cuenta con más tiempo de renderizado.

Más allá de la inferencia, F5-TTS incluye código de entrenamiento y ajuste que puedes correr con tus datos. Hay una ruta con Hugging Face Accelerate y una interfaz Gradio para quien prefiera un flujo visual. Los equipos con una voz o un acento propios pueden adaptar el modelo base. Esto pide una GPU y algo de paciencia con el bucle de entrenamiento.

Puedes instalar F5-TTS como paquete pip para inferencia rápida, clonar el repositorio para control total, o tirar de una imagen Docker. Una app Gradio da interfaz de navegador y una CLI cubre el uso con scripts. Las opciones de despliegue en caliente con Triton y TensorRT-LLM bajan la latencia hasta unos 253 ms en una sola GPU L20. Elige el camino que encaje con cómo lo vas a publicar.