BadWAM: l'imagination du WAM reste propre, l'action dérive

Un papier signé par Qi Li, Xingyi Yang et Xinchao Wang (National University of Singapore, Hong Kong Polytechnic University), publié sur Hugging Face Daily Papers, s'attaque à une hypothèse répandue dans la robotique fondationnelle: que coupler la génération d'action à la prédiction du futur rend un world-action model (WAM) plus robuste et plus vérifiable. Les auteurs introduisent BadWAM et montrent que cette promesse tient mal face à de petites perturbations visuelles.

Le mécanisme est simple à décrire mais désagréable pour un ingénieur en sécurité. En boîte noire, avec un budget ℓ∞ de 0,06 et huit itérations d'optimisation par replanification, l'attaquant cherche une perturbation qui fait diverger l'action exécutée sans nécessairement altérer l'image du futur que le modèle « imagine ». Sur LIBERO, l'attaque action-only fait chuter le taux de succès du WAM de 96,5% à 43,1%. Le détail par suite est plus parlant encore: Spatial passe de 96,5% à 16,0%, Long-horizon de 92,5% à 23,5%, tandis que les tâches Object restent comparativement robustes à 93,0%.

La variante « imagination-preserving » est celle qui devrait inquiéter les équipes qui parient sur l'inspection du futur imaginé comme signal de sûreté. Sur les 40 tâches LIBERO comparées, le futur prédit reste plus proche de la version propre dans 39 cas, tout en dégradant l'exécution à un niveau comparable à l'attaque brute. Autrement dit, un monitor qui compare rollout imaginé et rollout attendu peut ne rien voir passer alors que le robot dérive et finit par échouer.

Ce que le papier ne dit pas, il faut le prendre honnêtement: les expériences se déroulent en simulation (LIBERO et RoboTwin), sur des WAM entraînés sur 8 GPU H100, sans transfert démontré vers une plateforme robotique physique, et la surface d'attaque suppose un accès queryable aux sorties du modèle. Les auteurs comparent leur boîte noire à une référence white-box qui descend plus bas encore, mais ils ne proposent pas de défense aboutie.

Reste que le message stratégique est net: la coopération action/imagination des WAM n'est pas un rempart de sûreté en soi, et les défenses devront auditer directement les canaux d'action, pas seulement la vidéo prédite. Pour les équipes qui poussent des politiques VLA vers la production, c'est un rappel utile avant de traiter le « futur rêvé » comme un garde-fou.