Hallo4D unifie la correction des hallucinations 3D et 4D

La génération 3D et vidéo par IA a un défaut connu que les démos glissent souvent sous le tapis: dès qu'on tourne autour de l'objet ou qu'on avance de quelques images, les incohérences apparaissent (visages qui se dédoublent, textures qui glissent, géométrie qui change). Un nouveau papier publié sur Hugging Face, signé par Hongbo Wang et ses collègues du MAIS&NLPR de l'Institut d'automatisation de l'Académie chinoise des sciences et de ShanghaiTech University, propose un cadre baptisé Hallo4D pour s'attaquer à ces artefacts à la fois dans l'espace et dans le temps.

L'idée générale est de sortir de la logique où l'on essaie de résoudre le problème en changeant l'architecture ou en réentraînant le générateur. Hallo4D est présenté comme indépendant du modèle: il se branche sur des méthodes de génération 3D et 4D existantes. Un grand modèle multimodal joue le rôle de détecteur, analyse des rendus multi-vues et multi-images, et repère les vues ou les frames qui divergent. La correction s'appuie ensuite sur un mécanisme de vote entre plusieurs candidats générés, censé éviter que la réparation elle-même n'introduise de nouvelles dérives.

Si cela vous rappelle quelque chose, c'est normal: la même équipe avait présenté Hallo3D à NeurIPS 2024, qui traitait uniquement le versant spatial du problème sur du contenu 3D. Hallo4D étend cette logique au 4D, c'est-à-dire aux scènes dynamiques où la cohérence temporelle devient aussi un enjeu. L'intérêt pratique pour un studio ou un labo est direct: si la méthode tient ses promesses, on gagne un correctif qu'on peut poser par-dessus un pipeline existant sans repayer un entraînement.

La réserve honnête est que le papier est très frais et n'a pas encore été comparé publiquement aux générateurs vidéo commerciaux récents, et que le coût de calcul du vote consensuel n'est pas mis en avant. Ce que le résumé ne dit pas non plus clairement, c'est comment la méthode se comporte sur des séquences longues plutôt que sur des clips courts, ni ce que ça donne quand le détecteur multimodal se trompe. À suivre donc plutôt qu'à adopter tel quel, mais la direction (utiliser des LMMs comme relecteurs plutôt que comme générateurs) est celle que plusieurs équipes explorent en parallèle, et c'est probablement là que se joue une partie des progrès de qualité à venir.