Insta360 dévoile Canvas360 pour la génération d'images 360°

Un papier signé par Insta360 Research, avec Tsinghua University et Wuhan University, pose une question inhabituelle pour un fabricant de caméras 360° : que se passe-t-il si on force un modèle de diffusion à apprendre la géométrie sphérique avant même de lui demander de générer des panoramas ? Le résultat s'appelle Canvas360, un cadre en deux étapes qui combine un pré-entraînement conscient de la géométrie avec du fine-tuning par tâche.

L'ossature technique repose sur trois idées. D'abord, une génération parallèle de RGB et de profondeur, où les deux séquences sont concaténées avec des offsets de position distincts. Ensuite, un « velocity circular padding » qui synchronise les colonnes fantômes aux frontières 0°/360° pour supprimer la couture visible qui gâche typiquement une image équirectangulaire. Enfin, une perte de similarité qui régularise l'alignement entre les représentations RGB et profondeur pendant l'apprentissage.

Le pari sur les données est aussi lourd que le pari algorithmique. Les auteurs annoncent Canvas360Dataset, un million d'échantillons appariés, dont 100K images-graines issues de Matterport3D et de sources web, et 900K exemples générés pour quatre tâches en aval : 200K en transfert de style produits via FLUX.2-dev, 250K en outpainting, 250K en inpainting, et 200K en édition. Un seul modèle gère les quatre tâches par concaténation de tokens avec offsets de position, plutôt qu'une pile de modèles spécialisés.

Les chiffres, à prendre comme rapportés dans le papier et non comme réglés par une communauté indépendante, dessinent une image nuancée. Canvas360 obtient le meilleur score FAED, la métrique spécifique aux panoramas, à 2.33 contre 2.91 pour DiT360 et HunyuanWorld, et 2.98 pour LayerPano3D. Sur le FID standard en revanche, DiT360 conserve la tête (42.88 contre 44.17). Une étude utilisateur avec 71 participants donne à Canvas360 la préférence sur la continuité aux frontières et la qualité globale (35.9% contre 30.7% pour DiT360), mais l'écart n'est pas écrasant.

Ce que le papier ne dit pas est aussi ce qui va décider de son influence : ni la licence prévue pour le dataset, ni si le code et les poids seront ouverts, ni le coût d'inférence. Pour un lecteur qui prototype dans le 360°, l'intérêt immédiat est moins la position exacte sur un classement que le signal envoyé par un acteur matériel qui investit dans la partie génération de sa chaîne de valeur, et pas seulement dans les capteurs.