SenseTime dévoile SenseNova-Vision, UMM unique pour la vision

Un consortium mené par SenseTime Research, avec Nanyang Technological University et The Chinese University of Hong Kong, défend une idée simple dans son article Hugging Face: l'ensemble des tâches classiques de vision par ordinateur peut être reformulé comme de la génération multimodale, dans les espaces natifs texte et image d'un seul modèle. Le résultat, SenseNova-Vision, n'ajoute aucune tête spécifique ni décodeur dédié. Détection, OCR, segmentation, estimation de profondeur, normales de surface, point maps et pose caméra sortent tous du même générateur, pilotés par des instructions en langage naturel.

Le modèle part d'un UMM préentraîné disponible sur étagère, Bagel, puis se spécialise sur le SenseNova-Vision Corpus, une collection d'exemples instruction-réponse construits en convertissant des annotations vision hétérogènes vers des cibles texte, image ou mixtes. Les auteurs revendiquent la parité avec les systèmes spécialisés sur les quatre familles couvertes. Face à Youtu-VL, ils rapportent 53,7 de mAP en détection sur COCO contre 47,1, 71,2 de mIoU sémantique sur Cityscapes contre 70,4, et 98,1 en δ1 de profondeur NYUv2 contre 90,4. La comparaison avec Vision Banana montre l'inverse: SenseNova-Vision reste devant en segmentation référence (80,3 de cIoU sur RefCOCOg contre 73,8) mais recule sur la segmentation par raisonnement (63,2 de gIoU contre 79,3 pour un résultat noté comme assisté par Gemini).

Ce qui rend l'exercice intéressant au-delà d'un tableau de benchmarks: chaque famille de tâches vision arrivait jusqu'ici avec son architecture, ses pertes et ses conventions de décodage. Si un UMM unique reproduit ces sorties en générant simplement du texte ou de l'image, la supervision devient partageable et composable entre tâches, ce qui rejoint le mouvement plus large poussant la perception à l'intérieur des modèles de fondation généralistes. Les auteurs comparent explicitement leur formulation au rôle qu'a joué GPT pour le langage.

Le caveat honnête est double. D'abord, un écart subsiste face aux modèles géométriques feed-forward comme VGGT et Depth Anything 3 sur plusieurs métriques de reconstruction et de pose caméra, ce que les auteurs eux-mêmes reconnaissent comme un signal que les inductive biases géométriques restent utiles. Ensuite, l'ajustement multi-tâches n'est pas gratuit: la compréhension multimodale mesurée sur MMVP tombe de 83,3 (Bagel) à 79,0, même si la génération d'images sur GenEval grimpe légèrement de 0,82 à 0,85. Ce que le papier ne fournit pas, ce sont la taille exacte du modèle, le coût d'entraînement, les chiffres de latence pour la génération de sorties denses, et les conditions de licence.

À suivre pour qui construit des pipelines vision, vise la robotique ou les world models: si l'approche passe à l'échelle, elle promet un back-end génératif unique là où il fallait empiler plusieurs systèmes spécialisés, et une porte d'entrée naturelle pour absorber ensuite la vidéo et la 3D dans les modèles fondation.