MV-Forcing génère des vidéos multi-vues longues via CUT3R

Générer une vidéo longue qui reste cohérente à la fois dans le temps et à travers plusieurs caméras est resté un angle mort des modèles de diffusion vidéo. Les autorégressifs mono-vue tiennent la minute, les multi-vues bidirectionnels tiennent quelques secondes, aucun ne fait les deux. Le papier MV-Forcing publié sur Hugging Face par une équipe de l'Université Hébraïque de Jérusalem et de Cornell propose une réponse conceptuellement propre à ce goulot d'étranglement.

L'idée centrale est d'utiliser un modèle de reconstruction 3D récurrent, CUT3R, comme pont géométrique entre des vues générées séquentiellement. Chaque vue déjà produite est décodée en pixels, injectée dans l'état latent persistant de CUT3R, puis ce même état est interrogé depuis la caméra suivante pour rendre un prior géométrique de la prochaine vue. Un étudiant causal peu-de-pas, distillé du teacher bidirectionnel SynCamMaster via Distribution Matching Distillation, apprend à raffiner ce rendu en vidéo tout en composant autorégression temporelle et autorégression vue-par-vue dans une même boucle. Les auteurs baptisent le mécanisme d'entraînement Spatio-Temporal Self-Forcing, une extension du Self-Forcing existant à l'axe des vues.

Côté résultats, l'article rapporte que sur SynCamVideo comme sur le sous-ensemble Mixkit d'Open-Sora, MV-Forcing bat les baselines composées Self-Forcing + ReCamMaster sur toutes les métriques annoncées, en configuration 3 vues et 162 frames. Les études de mise à l'échelle montrent une dégradation limitée en passant de 2 à 5 vues à 81 frames, et de 81 à 648 frames à 2 vues, ce qui est le point qui rend la contribution intéressante pour qui construit un world model multi-caméras plutôt qu'une simple démo courte.

Le caveat honnête, à prendre comme rapporté et pas comme acquis, c'est que l'entraînement principal reste sur des données synthétiques et que le teacher SynCamMaster ne supervise jamais plus de deux vues à la fois, donc la cohérence entre trois vues simultanées ou plus n'est jamais directement notée pendant la distillation. Le papier reconnaît aussi que la CLIP-F baisse quand la durée est multipliée par huit, ce qui traduit le cumul d'erreurs classique de l'autorégression. Ce que le papier ne donne pas non plus, c'est la latence d'inférence, le FPS, ni une évaluation humaine.

À moyen terme, l'apport le plus réutilisable est probablement l'idée qu'une reconstruction 4D récurrente peut servir de mémoire partagée entre plusieurs générateurs autorégressifs, ce qui ouvre une brique commune pour les futurs simulateurs interactifs, contenus VR immersifs et world models multi-caméras.