InternVLA-A1.5 marie VLM et prévision latente pour la robotique

Publié sur huggingface.co, InternVLA-A1.5 se présente comme un modèle Vision-Language-Action unifié pour la manipulation robotique. La configuration a des allures classiques : un backbone VLM Qwen-3.5 2B qui garde son entraînement VQA et prédiction de sous-tâches, plus un expert unifié léger de 460M paramètres qui produit les actions continues par flow matching. L'idée qui mérite l'attention est ailleurs.

Le vrai geste concerne la prédiction du futur. Plutôt que d'entraîner un module qui régresse les prochaines images en pixels, les auteurs introduisent un petit ensemble de « foresight tokens » apprenables qui interrogent le contexte multimodal courant. Ces tokens servent ensuite de conditionnement à un générateur vidéo pré-entraîné et gelé, WAN2.2-5B, dont l'encodeur T5 d'origine est remplacé par les sorties des foresight queries. Une perte de prédiction vidéo se rétropropage à travers le générateur gelé jusqu'à ces tokens. Conséquence pratique revendiquée par les auteurs : le modèle hérite des priorités de dynamique du générateur sans jamais apprendre à générer un pixel, et la branche vidéo est jetée à l'inférence, ce qui préserve le contrôle temps réel.

Sur les résultats rapportés, l'équipe pré-entraîne sur 1,2 million d'épisodes robots et 3 millions d'échantillons multimodaux, puis annonce arriver en tête sur les six benchmarks simulés retenus : LIBERO, RoboTwin 2.0, EBench et SimplerEnv côté in-distribution, plus LIBERO-Plus et DOMINO en zero-shot. Côté réel, trois tâches d'instruction-following avec des bindings partiellement vus à l'entraînement, plus une procédure de chimie longue horizon, sont comparées à π₀.₅ et Motus. Les auteurs revendiquent la meilleure généralisation compositionnelle sur les bindings tenus à l'écart et le meilleur suivi longue horizon.

Le caveat honnête, c'est que l'essentiel de la démonstration reste en simulation, que la comparaison monde réel se limite à deux baselines et à un petit nombre de tâches, et que le papier lu ici ne détaille pas le budget de calcul ni la provenance exacte des 1,2 M d'épisodes. Ce sont des trous à combler avant qu'une équipe extérieure puisse reproduire proprement.

Ce qui mérite de rester : le score final compte moins que le patron. Utiliser un générateur vidéo pré-entraîné comme professeur gelé pendant l'entraînement, puis le jeter à l'inférence, c'est une manière élégante de récupérer des priorités de dynamique sans payer la génération pixel en production. Si le résultat se confirme sur des embodiments et des tâches indépendants, on peut s'attendre à ce que d'autres équipes VLA reprennent la même astuce.