Voila

Voila

Maitrix.org (with UC San Diego and MBZUAI) · Stimme & Sprache

Voila ist eine Familie quelloffener Sprach- und Voice-Modelle von Maitrix.org, die Echtzeit-Gespräche im Vollduplex mit 195 ms Latenz führt und über eine Million integrierte Stimmen bietet.

Vorschau der Oberfläche von Voila

Über Voila

About

Was ist Voila

Voila ist ein Forschungsprojekt, keine App im Abo. Ein Team von Maitrix.org hat zusammen mit der UC San Diego und der MBZUAI eine Familie von Sprach- und Voice-Grundmodellen gebaut und Code sowie Gewichte veröffentlicht, damit jeder sie herunterladen kann. Das Ziel unterscheidet sich von dem der Sprachassistenten, die Sie bereits nutzen. Statt auf einen Befehl zu warten und ihn zu beantworten, ist Voila darauf ausgelegt, gleichzeitig zuzuhören, nachzudenken und zu sprechen.

Fast jeder Sprachassistent läuft als Kette. Die Spracherkennung wandelt Ihre Worte in Text um, ein Sprachmodell schreibt die Antwort, und eine Text-zu-Sprache-Engine liest sie vor. Ein gängiges Sprachassistenzmodell, das als Open-Source-Sprachmodell mit einem Spracherkennungsmodell kommt, arbeitet anders. Voila bündelt diese Aufgaben in einem einzigen offenen Modell. Jedes Glied fügt Verzögerung hinzu und löscht den Ton, sodass das Ergebnis mechanisch klingt. Voila überspringt den Zwischenschritt Text und lernt einen direkten Weg von Audio zu Audio. Daraus ergibt sich der Wert von 195 ms, unter den 200 bis 300 ms, die ein Mensch zum Antworten braucht.

Der Haken liegt beim Einsatz. Voila kommt als offene Gewichte und gehostete Demo, ohne ausgefeilte Verbraucher-App, ohne Monatsabo und ohne Support. Wer es in ein Produkt einbauen will, kümmert sich selbst oder im Team um die Einrichtung.

Erste Schritte

  1. Öffnen Sie die Voila-Demo auf Hugging Face, um Sprachchat, Text zu Sprache und Spracherkennung live zu testen, ohne etwas zu installieren
  2. Laden Sie die offenen Gewichte von Hugging Face, wenn Sie das Modell auf eigener Hardware betreiben wollen
  3. Folgen Sie dem GitHub-Repository, um die Python-Umgebung einzurichten und einen Voila-Checkpoint zu laden
  4. Schreiben Sie eine kurze Anweisung, um Persona und Ton des Sprechers festzulegen, oder fügen Sie einen 10-Sekunden-Audioclip hinzu, um eine Stimme zu klonen
  5. Starten Sie die Inferenz für Aufgaben wie gesprochenen Dialog, Transkription oder Sprachsynthese, und feinjustieren Sie nach, wenn Sie Übersetzung brauchen

Produktinformationen

Ein kurzer Überblick über Preise, unterstützte Plattformen und die Leistung von Voila.

Kostenloser TarifJa
Bezahlte TarifeFree and open-source
PlattformWeb demo, Python, open weights on Hugging Face, GitHub
EntwicklerMaitrix.org (with UC San Diego and MBZUAI)
KategorieStimme & Sprache
VeröffentlichungsdatumMay 2025
Zuletzt aktualisiertMay 2025
Website-BesucheN/A
Globales Website-RankingN/A
API-VerfügbarkeitNein

Am besten für

Die Nutzer, Aufgaben und Szenarien, für die dieses Tool am besten passt.

Nutzer

  • KI-Forscher und Doktoranden
  • Machine-Learning-Ingenieure, die Sprachprodukte bauen
  • Indie-Entwickler und Bastler
  • Voice- und Audio-Designer

Aufgaben

  • Echtzeit-Dialog
  • Stimmklonen
  • Text zu Sprache
  • Spracherkennung
  • Rollenspiel und Figurenstimmen

Szenarien

  • Forschung an Sprachmodellen
  • Prototyp für einen Sprachagenten
  • Lokaler und Offline-Einsatz
  • Mehrsprachige Demos
  • Lehre und Workshops

Wichtigste Funktionen

Vollduplex-Gespräch

Voila kann gleichzeitig hören und sprechen, und das trennt es von Assistenten mit festen Redebeiträgen. Das autonome Modell verarbeitet Ihren Audiostrom und seine eigene Ausgabe parallel, sodass es Hörsignale geben, eine Unterbrechung annehmen oder Sprache überlappen kann wie Menschen es tun. In der Praxis wird aus einer starren Frage-und-Antwort-Schleife etwas, das einem echten Anruf näher kommt. Das Team formuliert es so: Es will, dass das Modell reagiert und auch die Initiative ergreift, statt nur zu warten.

195 Millisekunden Antwortlatenz

Die Zahl im Kopf der Fiche sind 195 ms vom Ende der Sprache bis zum Beginn der Antwort. Zum Vergleich: Ein Mensch antwortet meist in etwa 200 bis 300 ms, Voila liegt also auf menschlichem Tempo oder darunter. Das zählt, weil die Verzögerung einen Sprachassistenten roboterhaft klingen lässt. Der niedrige Wert kommt daher, dass die Textkette entfällt und Audio direkt modelliert wird, was die Pausen kürzt, die sich ansammeln, wenn drei getrennte Module einander die Arbeit reichen. Genau diese niedrige Sprachlatenz ist es, die das Modell als Echtzeit-Sprach-KI brauchbar macht.

Stimmgestaltung und Persona-Steuerung

Sie formen die Stimme auf zwei Wegen. Eine schriftliche Anweisung legt Persona, Ton und Art fest, ähnlich einem System-Prompt. Ein separater Audioclip bringt dem Modell den Klang des Sprechers bei, und der Clip kann von wenigen Sekunden bis zu Stunden reichen. Mit diesem Abkürzung baute das Team über eine Million fertige Stimmen, sodass Sie auch eine vorhandene wählen können, statt eine eigene zu trainieren. Zehn Sekunden Beispiel reichen zum Start.

Ein Modell für mehrere Audioaufgaben

Das sind die Kernstücke: ein offenes Text-zu-Sprache-Modell, ein Spracherkennungsmodell und derselbe Kern für gesprochenen Dialog. Sprachübersetzung ist mit leichtem Feintuning möglich, nicht mit einem kompletten Neubau. Für Entwickler heißt das ein Checkpoint und eine Codebasis statt drei zusammengeklebter Dienste. Diese Bündelung spart Infrastruktur und die Zeit, die sonst fürs Abstimmen der Teile draufgeht.

Offene Gewichte und Code

Alles ist offen. Gewichte und Code liegen auf Hugging Face und GitHub unter der Organisation Maitrix.org, und jeder kann sie herunterladen, betreiben und anpassen. Das ist der Hauptreiz für die Forschung, weil Sie sehen, wie das System arbeitet, statt es als Blackbox zu behandeln. Es gibt auch keine Abrechnung pro Minute und keinen Anbieter, der Ihnen die Bedingungen unter den Füßen wegzieht.

Mehrsprachige Unterstützung

Voila wird mit mehrsprachigem Text und Audio trainiert und deckt sechs Sprachen ab: Englisch, Chinesisch, Französisch, Deutsch, Japanisch und Koreanisch. Es verarbeitet Verstehen und Erzeugen in diesen Sprachen, sodass ein Gespräch zwischen ihnen wechseln kann. Für Teams, die mehr als einen Markt bedienen, erspart diese Breite ein eigenes Modell pro Region.

Vor- und Nachteile

Vorteile

  • Die 195 ms Latenz bringen Antworten auf menschliches Tempo oder darunter, was einen Sprachassistenten lebendig wirken lässt
  • Das Vollduplex-Design lässt das Modell gleichzeitig hören und sprechen, sodass Unterbrechungen und Hörsignale natürlich wirken
  • Offene Gewichte und Code bedeuten null Lizenzkosten und volle Freiheit zum Prüfen, Neutrainieren und Ausliefern
  • Über eine Million integrierte Stimmen und Klonen in 10 Sekunden machen eigene Figuren schnell einsatzbereit
  • Ein Checkpoint deckt Dialog, Text zu Sprache, Spracherkennung und mit Feintuning Übersetzung ab

Nachteile

  • Es gibt keine Verbraucher-App und keinen gehosteten Dienst, Einrichtung, Hosting und Wartung bleiben an Ihnen hängen
  • Der lokale Betrieb verlangt echte Rechenleistung, was es für Gelegenheitsnutzer auf einem Laptop unerreichbar macht
  • Die Liste von sechs Sprachen ist kürzer als bei kommerziellen Plattformen, die Dutzende bewerben
  • Übersetzung braucht Feintuning statt sofort zu laufen, kostet also Arbeit, bevor sie Nutzen bringt

Häufige Fragen

Voila ist eine Familie quelloffener Sprach- und Voice-Modelle von Maitrix.org mit der UC San Diego und der MBZUAI. Es führt Sprachgespräche in Echtzeit von Ende zu Ende, von Audio zu Audio, und unterstützt gesprochenen Dialog, Text zu Sprache, Spracherkennung und mit Feintuning Sprachübersetzung.