GenCeption : DeepMind érige la vidéo en pré-entraînement vision

L'un des papiers les plus intrigants de la semaine ne présente pas un nouveau modèle vidéo grand public, il propose une thèse plus profonde : la génération vidéo pourrait être, pour la vision, ce que la prédiction du prochain token a été pour le langage. C'est ce que soutient une équipe de Google DeepMind incluant Kaiming He et Andrew Zisserman, dans un preprint mis en ligne sur Hugging Face, sous le nom de GenCeption.

L'idée technique est de repurposer un backbone de diffusion vidéo pré-entraîné en modèle feed-forward de perception, piloté par des instructions textuelles. Sur un socle unique, GenCeption traite la profondeur, les normales de surface, la pose caméra, la segmentation référentielle et la prédiction de keypoints 3D. Les auteurs revendiquent des performances égales ou supérieures à des modèles spécialisés comme DepthAnything V3, SAM3, D4RT, VGGT-Ω, Sapiens, David, Genmo et Lotus-2. Si l'évaluation tient, cela remet en cause l'architecture actuelle du domaine, où chaque tâche impose sa propre pile.

Ce qui rend le résultat intéressant au-delà du tableau de benchmarks, c'est le régime de données. GenCeption atteindrait des performances comparables à D4RT et VGGT-Ω avec 7× à 500× moins de données d'entraînement, et le backbone vidéo génératif surpasserait V-JEPA et VideoMAE V2 dans les mêmes conditions de fine-tuning. Autrement dit, l'apprentissage à générer de la vidéo internaliserait assez de géométrie, de permanence des objets et d'alignement vision-langage pour servir de pré-entraînement universel, ce que les auteurs présentent comme l'équivalent visuel du passage NLP task-specific vers foundation-model.

Le point d'attention honnête est qu'il s'agit d'un preprint dont les comparaisons sont faites par les auteurs eux-mêmes, sur des benchmarks qu'ils choisissent, avec un post-training majoritairement sur données synthétiques. Le papier revendique aussi des comportements émergents — transfert sim-to-real et généralisation à des catégories d'objets inédites comme des animaux et des robots — qui restent à valider en dehors du cadre de l'article. Ce que les passages publics ne quantifient pas, c'est le coût de calcul du backbone pré-entraîné ni la latence d'inférence sur un cas embarqué réel.

Si la thèse résiste à la réplication, la conséquence stratégique est claire pour tout ce qui a besoin de perception générale — robotique, véhicules autonomes, industriels : les modèles vidéo grand public deviennent la brique de base d'où dériver la perception, plutôt que des outils de synthèse séparés.