PixVerse R2

R2 accepte des actions continues, pas seulement du texte. WASD déplace le personnage et les flèches orientent la caméra, le modèle répondant à chaque changement pendant que le monde tourne. PixVerse décrit la boucle comme de courts fragments de génération pour le mouvement, ce qui rapproche le pilotage d'un jeu plutôt que d'une attente de rendu.

Une consigne texte peut faire arriver un véhicule, changer la météo ou redéfinir l'espace autour de vous sans réinitialiser la session. Le modèle traite l'instruction comme une mise à jour de l'état du monde, et les secondes suivantes repartent de la scène modifiée. Voilà la différence concrète entre la vidéo interactive par IA et un générateur de clips avec bouton de relance.

R2 répartit la mémoire sur trois canaux. Sink Memory conserve les ancrages tels que l'identité du personnage, l'environnement et les règles du monde. Rolling History transporte le mouvement récent, la pose et le comportement de la caméra. Object KV Cache garde l'état de chaque objet encore utile plus tard. Un personnage peut ainsi rester lui-même pendant de nombreux échanges au lieu de devenir un inconnu.

Le modèle produit un son synchronisé avec l'image, sans doubler une piste après coup. Le son sert aussi d'entrée, car la voix et l'ambiance portent un rythme et un sens qu'un texte seul ne rend pas. Dans une scène interactive, les pas, le bruit de fond et les répliques restent alignés sur ce qui s'affiche.

Dans tout modèle autorégressif, les petites erreurs s'accumulent, et un monde qui dure plusieurs minutes a beaucoup d'occasions de dériver. PixVerse entraîne R2 avec un Error Bank qui rejoue des états d'échec réels à côté d'un historique propre, afin que le modèle apprenne à se rétablir quand l'erreur est déjà entrée dans le monde. Lors de l'évaluation interne par étapes, la métrique de dérive de luminosité sur horizon long est passée de 0,201 à 0,129, soit 35,8 % de moins, et 20 séquences longues sur 29 se sont améliorées.

La sortie en temps réel vient souvent d'un modèle plus petit et plus rapide, ce qui coûte en qualité. R2 distille sa propre base causale pour l'usage en direct. L'attention block-sparse écarte la plupart des connexions entre tokens dans l'évaluation actuelle sans perdre en qualité visuelle, et une pyramide du grossier vers le fin règle la composition en basse résolution avant de restaurer le détail en haute. PixVerse annonce plus de 90 % de parcimonie d'attention dans ses tests internes.