Genmo Mochi 1

Genmo Mochi 1

Genmo · Vidéo

Genmo Mochi 1 est un modèle texte vers vidéo open source de Genmo qui transforme des prompts écrits en clips 480p au mouvement marqué et à la bonne fidélité aux consignes. Les poids se téléchargent gratuitement.

Aperçu de l'interface de Genmo Mochi 1

À propos de Genmo Mochi 1

About

Qu'est-ce que Genmo Mochi 1

Genmo Mochi 1 est un générateur de vidéo par IA signé Genmo, un studio de San Francisco qui développe des modèles vidéo. Vous décrivez une scène en texte simple et le modèle produit un clip court au mouvement crédible. Le plus frappant, c'est sa distribution : Genmo a publié les poids sous licence Apache 2.0, donc n'importe qui peut télécharger, exécuter et modifier le modèle pour un usage personnel ou commercial.

L'outil s'attaque à une frustration connue. Presque tous les générateurs vidéo solides se cachent derrière un service fermé et payant, et vous ne voyez jamais ce qu'il y a dedans ni ne l'adaptez à votre projet. Mochi 1 vous remet le modèle lui-même, un système de diffusion de 10 milliards de paramètres bâti sur une architecture que Genmo appelle AsymmDiT. C'est une brique sur laquelle construire, pas seulement un site.

Les limites sont honnêtes et bonnes à connaître d'emblée. Le modèle de préversion plafonne à 480p, et les clips durent environ 5,4 secondes à 30 images par seconde. L'exécuter soi-même exige du matériel sérieux, sauf à passer par des montages de la communauté. Il préfère les images photoréalistes à l'animation, et le mouvement complexe peut se déformer.

Pour commencer

  1. Rendez-vous sur le playground de Genmo et connectez-vous si vous voulez juste tester des prompts sans rien installer.
  2. Clonez le dépôt du modèle sur GitHub, ou récupérez les poids sur Hugging Face si vous comptez exécuter Mochi 1 en local.
  3. Préparez l'environnement Python et installez FFMPEG pour que la sortie soit assemblée en fichier vidéo.
  4. Écrivez un prompt et générez un clip via l'interface fournie ou l'API Python, en choisissant la résolution et le nombre d'images.
  5. Exportez le résultat et ouvrez-le dans votre logiciel de montage pour couper, agrandir ou combiner en une pièce plus longue.

Informations sur le produit

Aperçu des tarifs, des plateformes compatibles et des performances de Genmo Mochi 1.

Offre gratuiteOui
Offres payantes$0 - $20/mo
PlateformeWeb (playground), self hosted on Linux with NVIDIA GPU
DéveloppeurGenmo
CatégorieVidéo
Date de lancementOct 2024
Dernière mise à jourNov 2024
Visites du site110.2K
Classement mondial du site270.7K
Disponibilité de l’APIOui

Idéal pour

Les utilisateurs, tâches et cas d'usage où cet outil convient le mieux.

Utilisateurs

  • Chercheurs et développeurs en IA
  • Créateurs vidéo indépendants
  • Passionnés avec un GPU costaud

Tâches

  • Transformer une idée écrite en plan animé
  • Prototyper des visuels pour pubs et concepts
  • Comprendre le fonctionnement de la diffusion vidéo

Cas d'usage

  • Tester une idée avant un tournage
  • Monter un pipeline de recherche
  • Faire ses premiers pas en vidéo par IA sans payer

Fonctionnalités clés

Poids ouverts sous Apache 2.0

Les poids et le code sont publics sous licence Apache 2.0, donc aucun abonnement ni frais d'usage ne s'interpose entre vous et l'outil. Vous l'exécutez hors ligne, inspectez le code et publiez un travail commercial bâti dessus. Cette ouverture est la première raison pour laquelle Mochi 1 se démarque des générateurs fermés.

Architecture AsymmDiT

Mochi 1 tourne sur AsymmDiT, un transformer de diffusion que Genmo a conçu pour la vidéo. Il traite ensemble texte et tokens vidéo par attention multimodale, mais accorde à la partie visuelle bien plus de capacité qu'à la partie texte, là où se loge le détail. La conception asymétrique contient l'usage mémoire, et c'est ce qui permet au modèle de tenir sur du matériel qu'une architecture uniforme dépasserait.

Mouvement de haute fidélité

Mochi 1 a été réglé pour le mouvement plutôt que pour la beauté statique. Il rend des personnes qui marchent, des cheveux et des tissus qui bougent, et des effets de fluide et de fourrure avec une cohérence que les modèles ouverts précédents n'atteignaient pas. Selon Genmo, la qualité de mouvement a été comparée à des concurrents fermés de premier plan, et le modèle vise à franchir la vallée de l'étrange sur le mouvement humain.

Bonne fidélité au prompt

Le modèle suit de près des consignes détaillées, ce qui vous donne un contrôle fin sur les personnages, les décors et les actions. Si vous décrivez un angle de caméra et une action précise, la sortie respecte en général les deux. Cette précision compte quand le clip doit coller à un script ou à un storyboard, et pas seulement être joli.

VAE vidéo compressé

Genmo a aussi ouvert le VAE vidéo qui sous-tend le modèle. Il compresse les images d'un facteur 128 et replie le détail spatial et temporel dans un espace latent compact. La demande réduite en mémoire et en calcul rend réaliste l'exécution du modèle hors d'un centre de données, un point pratique pour qui n'a pas de cluster.

Tourne sur du matériel grand public

Si Genmo signale que la préversion demande plusieurs GPU haut de gamme pour aller à pleine vitesse, des intégrations de la communauté laissent le modèle tourner sur une seule carte grand public avec assez de mémoire vidéo. Des outils bâtis sur ComfyUI ajoutent des flux de travail épurés et des backends d'attention pour que les utilisateurs à domicile génèrent des clips sans louer de machines dans le cloud.

Avantages et inconvénients

Avantages

  • Les poids sont gratuits sous Apache 2.0, donc vous exécutez et modifiez le modèle sans abonnement ni frais d'usage.
  • La qualité de mouvement et la fidélité au prompt étaient assez fortes au lancement pour défier les générateurs fermés de premier plan.
  • 10 milliards de paramètres et un code ouvert en font une base sérieuse pour la recherche et pour bâtir vos propres fonctions vidéo.
  • Un VAE vidéo qui compresse les images 128 fois abaisse la barre matérielle assez pour des GPU grand public.

Inconvénients

  • La sortie plafonne à 480p, donc les clips ne sont pas prêts pour les grands écrans ou la diffusion sans agrandissement.
  • Les clips durent environ 5,4 secondes, peu pour autre chose que des plans de coupe, des transitions ou des plans de concept.
  • Le mouvement complexe ou rapide se déforme, et l'animation comme le contenu stylisé sortent plus faibles que les images photoréalistes.
  • L'auto-hébergement demande du vrai matériel et une aisance avec la ligne de commande, ce qui exclut les utilisateurs non techniques.

Questions fréquentes

C'est un générateur de vidéo par IA open source de Genmo qui transforme un prompt texte en clip court. Il s'appuie sur un modèle de diffusion de 10 milliards de paramètres et ses poids sont publiés sous licence Apache 2.0, que chacun peut télécharger et utiliser.