Voila

Voila

Maitrix.org (with UC San Diego and MBZUAI) · Voix et langage

Voila est une famille de modèles vocaux et linguistiques open source de Maitrix.org qui mène des conversations en temps réel et full-duplex avec 195 ms de latence, et plus d'un million de voix intégrées.

Aperçu de l'interface de Voila

À propos de Voila

About

Qu'est-ce que Voila

Voila est un projet de recherche, pas une application par abonnement. Une équipe de Maitrix.org, avec l'UC San Diego et la MBZUAI, a construit une famille de modèles fondateurs vocaux et linguistiques et a publié le code et les poids pour que tout le monde puisse les télécharger. L'objectif diffère de celui des assistants vocaux que vous utilisez déjà. Au lieu d'attendre un ordre puis d'y répondre, Voila est conçu pour écouter, raisonner et parler en même temps.

Presque tous les assistants vocaux reposent sur une chaîne. La reconnaissance vocale convertit vos mots en texte, un modèle de langage rédige la réponse, et un moteur de synthèse vocale la lit à voix haute. Autrement dit, ce n'est pas un seul modèle vocal et linguistique mais trois briques, dont l'une est un modèle texte-parole. Chaque maillon ajoute du délai et efface le ton, si bien que le résultat sonne mécanique. Voila supprime l'intermédiaire texte et apprend un chemin direct de l'audio à l'audio. C'est de là que vient sa mesure de 195 ms, sous les 200 à 300 ms qu'il faut à une personne pour répondre.

La contrepartie tient à l'endroit où vous l'utilisez. Voila arrive sous forme de poids ouverts et d'une démo hébergée : pas d'application grand public soignée, pas de forfait mensuel, pas de support. Si vous voulez l'intégrer à un produit, la mise en place vous revient, à vous ou à votre équipe.

Pour démarrer

  1. Ouvrez la démo de Voila sur Hugging Face pour tester le chat vocal en direct, la synthèse vocale et la reconnaissance vocale sans rien installer
  2. Téléchargez les poids ouverts depuis Hugging Face si vous comptez l'exécuter sur votre propre matériel
  3. Suivez le dépôt GitHub pour préparer l'environnement Python et charger un checkpoint de Voila
  4. Écrivez une courte instruction pour fixer la persona et le ton du locuteur, ou ajoutez un extrait audio de 10 secondes pour cloner une voix
  5. Lancez l'inférence pour une tâche comme le dialogue parlé, la transcription ou la synthèse vocale, puis affinez par un réentraînement si vous avez besoin de traduction

Informations sur le produit

Aperçu des tarifs, des plateformes compatibles et des performances de Voila.

Offre gratuiteOui
Offres payantesFree and open-source
PlateformeWeb demo, Python, open weights on Hugging Face, GitHub
DéveloppeurMaitrix.org (with UC San Diego and MBZUAI)
CatégorieVoix et langage
Date de lancementMay 2025
Dernière mise à jourMay 2025
Visites du siteN/A
Classement mondial du siteN/A
Disponibilité de l’APINon

Idéal pour

Les utilisateurs, tâches et cas d'usage où cet outil convient le mieux.

Utilisateurs

  • Chercheurs en IA et doctorants
  • Ingénieurs en apprentissage automatique qui créent des produits vocaux
  • Développeurs indépendants et amateurs
  • Concepteurs de voix et d'audio

Tâches

  • Dialogue parlé en temps réel
  • Clonage vocal
  • Synthèse vocale
  • Reconnaissance vocale
  • Jeu de rôle et voix de personnages

Cas d'usage

  • Recherche sur les modèles vocaux
  • Prototyper un agent vocal
  • Usage local et hors ligne
  • Démos multilingues
  • Enseignement et ateliers

Fonctionnalités clés

Conversation full-duplex

Voila écoute et parle en même temps, et c'est ce qui le distingue des assistants à tour de rôle. Le modèle autonome traite votre flux audio et sa propre sortie en parallèle, ce qui lui permet d'émettre des signaux d'écoute, d'accepter une interruption ou de chevaucher la parole comme le font les gens. En pratique, cela transforme un échange rigide de question et de réponse en quelque chose de plus proche d'un vrai appel. L'équipe le formule ainsi : elle veut que le modèle réagisse et prenne aussi l'initiative, au lieu d'attendre passivement.

Latence de réponse de 195 millisecondes

Le chiffre en tête de fiche, ce sont 195 ms entre la fin de la parole et le début de la réponse. Pour situer, une personne répond en général en 200 à 300 ms, donc Voila se place à la vitesse humaine ou en dessous. Cela compte parce que le délai est ce qui fait sonner un assistant vocal comme une machine. Cette valeur basse vient du fait d'écarter la chaîne de texte et de modéliser l'audio directement, ce qui réduit les pauses qui s'accumulent quand trois modules séparés se passent le travail.

Personnalisation de la voix et contrôle de la persona

On façonne la voix de deux manières. Une instruction écrite fixe la persona, le ton et la manière, un peu comme un prompt système. Un extrait audio distinct apprend au modèle le timbre du locuteur, et l'extrait peut aller de quelques secondes à plusieurs heures. Avec ce raccourci, l'équipe a préconstruit plus d'un million de voix prêtes, si bien que vous pouvez aussi en choisir une existante plutôt que d'entraîner la vôtre. Dix secondes d'échantillon suffisent pour commencer.

Un modèle pour plusieurs tâches audio

Le même modèle gère le dialogue, la synthèse vocale et la reconnaissance vocale sans version distincte par tâche. La traduction de la parole est possible avec un léger réentraînement, sans reconstruction complète. Pour qui développe, cela signifie un seul checkpoint et une seule base de code à maintenir, plutôt que de relier trois services. C'est le genre de regroupement qui économise l'infrastructure et le temps passé à garder les pièces synchronisées.

Poids et code ouverts

Tout est ouvert. Les poids et le code se trouvent sur Hugging Face et GitHub sous l'organisation Maitrix.org, et chacun peut les télécharger, les exécuter et les adapter. C'est le principal atout pour la recherche, car vous voyez comment le système fonctionne au lieu de le traiter comme une boîte noire. Il n'y a pas non plus de facturation à la minute, ni de fournisseur qui change les conditions sous vos pieds.

Prise en charge multilingue

Voila est entraîné sur des données textuelles et audio multilingues et couvre six langues : anglais, chinois, français, allemand, japonais et coréen. Il gère aussi bien la compréhension que la génération dans ces langues, si bien qu'une conversation peut passer de l'une à l'autre. Pour les équipes qui servent plus d'un marché, cette étendue évite de monter un modèle distinct par région.

Avantages et inconvénients

Avantages

  • Les 195 ms de latence placent les réponses à la vitesse humaine ou en dessous, ce qui fait qu'un assistant vocal paraît vivant
  • La conception full-duplex laisse le modèle écouter et parler à la fois, donc les interruptions et les signaux d'écoute sortent naturellement
  • Les poids et le code ouverts signifient zéro licence et une liberté totale pour inspecter, réentraîner et publier
  • Plus d'un million de voix intégrées et le clonage en 10 secondes rendent la création de personnages rapide
  • Un seul checkpoint couvre le dialogue, la synthèse vocale, la reconnaissance vocale et, avec réglage, la traduction

Inconvénients

  • Il n'y a ni application grand public ni service hébergé, donc la mise en place, l'hébergement et la maintenance vous incombent
  • Faire tourner le modèle en local exige une vraie puissance de calcul, ce qui le met hors de portée d'un utilisateur occasionnel sur portable
  • La liste de six langues est plus courte que celle des plateformes commerciales qui en annoncent des dizaines
  • La traduction demande un réentraînement au lieu de fonctionner d'emblée, donc elle coûte du travail avant de rapporter

Questions fréquentes

Voila est une famille de modèles vocaux et linguistiques open source créée par Maitrix.org avec l'UC San Diego et la MBZUAI. Il mène des conversations vocales en temps réel de bout en bout, de l'audio à l'audio, et prend en charge le dialogue parlé, la synthèse vocale, la reconnaissance vocale et, avec réglage, la traduction de la parole.