Zyphra Zonos

Zonos TTS imita una voz a partir de un clip de referencia de unos 10 a 30 segundos, sin entrenamiento adicional. Este modelo de clonación de voz Le das audio limpio y un texto, y predice cómo leería esa persona tu guion. Zyphra cuenta que los revisores encontraron convincentes los clones con muestras cortas a la primera escucha, pero el ritmo puede desviarse en pasajes largos.

Además de los embeddings de voz, puedes añadir un prefijo de audio junto a tu texto. Eso empuja al modelo hacia comportamientos difíciles de copiar, como susurrar, que los embeddings solos no reproducen bien. Es práctico cuando la entrega exacta importa más que la similitud pura.

La configuración expone velocidad, variación de tono, frecuencia máxima y calidad de audio como ajustes. Las emociones, entre ellas alegría, ira, tristeza y miedo, también son parametrizables. Para quien produce diálogos de personajes o lecturas dramáticas, ese control es la razón para elegir Zonos frente a un generador de voz fijo.

Zonos v0.1, un motor de habla multilingüe, maneja inglés, japonés, chino, francés y alemán. El inglés domina las más de 200.000 horas de entrenamiento, así que ahí verás los resultados más nítidos, mientras el resto de idiomas es sólido pero menos pulido. Basta para proyectos multilingües que de otro modo necesitarían varias herramientas.

Eliges entre una base Transformer y un híbrido Transformer-Mamba. Zyphra sostiene que el híbrido fue el primer modelo TTS en combinar estos diseños. Los dos usan la misma escala de parámetros, así que la decisión depende de cómo se comporta cada uno en tu hardware y tu contenido.

Los pesos Apache 2.0 funcionan totalmente sin conexión, y un archivo Docker incluido se encarga de la instalación. Zyphra afirma que el modelo alcanza un factor de tiempo real de unas 2x en una RTX 4090, es decir, genera dos segundos de audio por cada segundo de cómputo. Ejecutarlo en local mantiene el audio privado y elimina los cargos por uso.