Zyphra Zonos

Como modelo de clonagem de voz, o Zonos TTS imita uma voz a partir de um clipe de referência de cerca de 10 a 30 segundos, sem treino extra. Você entrega áudio limpo e um texto, e ele prevê como aquela pessoa leria seu roteiro. A Zyphra relata que avaliadores acharam convincentes os clones com amostras curtas na primeira escuta, mas o ritmo pode escorregar em trechos longos.

Além dos embeddings de voz, você pode adicionar um prefixo de áudio junto ao texto. Isso empurra o modelo para comportamentos difíceis de copiar, como sussurrar, que os embeddings sozinhos não reproduzem bem. É útil quando a entrega exata importa mais que a similaridade pura.

A configuração expõe velocidade, variação de tom, frequência máxima e qualidade de áudio como ajustes. As emoções, entre elas alegria, raiva, tristeza e medo, também são ajustáveis. Para quem produz diálogos de personagem ou leituras dramáticas, esse controle é o motivo de escolher o Zonos em vez de um gerador de voz fixo.

O Zonos v0.1 atende inglês, japonês, chinês, francês e alemão. O inglês domina as mais de 200 mil horas de treino, então nele você vê os resultados mais nítidos, enquanto os outros idiomas são sólidos, mas menos polidos. Basta para projetos multilíngues que de outro modo exigiriam várias ferramentas.

Você escolhe entre uma base Transformer e um híbrido Transformer-Mamba. A Zyphra sustenta que o híbrido foi o primeiro modelo TTS a combinar esses designs. Os dois usam a mesma escala de parâmetros, então a decisão depende de como cada um se comporta no seu hardware e no seu conteúdo.

Os pesos Apache 2.0 funcionam totalmente offline, e um arquivo Docker incluído cuida da instalação. A Zyphra afirma que o modelo alcança um fator de tempo real de cerca de 2x numa RTX 4090, ou seja, gera dois segundos de áudio por segundo de computação. Rodar localmente mantém o áudio privado e elimina os custos por uso.