Programmable World Model isole l'état, 98 % sur CombatStateBench

Le Programmable World Model atteint 94 % de Count Accuracy et 98 % de State Accuracy sur CombatStateBench, un banc d'essai que ses auteurs introduisent en même temps que la méthode. Le papier publié sur Hugging Face en fait sa contribution principale : séparer l'évolution de l'état du monde de la génération de l'observation visuelle.

Le principe est direct. Un agent traduit une consigne en langage naturel en un programme exécutable qui définit les entités, leurs états et les règles de transition. Un moteur léger applique ces règles et maintient un état global explicite, y compris pour les entités hors-champ et les attributs non-visuels comme la santé, l'inventaire ou la progression de tâche. Un modèle vidéo pré-entraîné, bâti ici sur LingBot-World-v1, prend en charge le rendu.

Entre les deux, la contribution centrale porte un nom précis : les « state-augmented 3D oriented bounding boxes », c'est-à-dire des boîtes englobantes 3D orientées augmentées d'identité persistante, de catégorie sémantique et de vitesse. Un compilateur déterministe projette ces boîtes sous la caméra cible et rasterise trois cartes (identité, sémantique et direction) injectées dans le générateur via un Structured Spatial ControlNet. La direction est quantifiée en sept états : forward, backward, left, right, static, up, down.

Les auteurs affirment que leur méthode obtient ses résultats en « substantially outperforming existing interactive video world models while supporting coherent long-horizon generation ». Le banc CombatStateBench, contrôlé sur des scènes de combat, mesure deux choses seulement : la préservation du décompte des personnages vivants visibles, et la matérialisation visuelle des états de mort. Aucun chiffre comparatif direct avec les modèles concurrents ne figure dans le résumé.

La publication s'ajoute à une série soutenue de travaux sur les world models vidéo que nous suivons, dont Puffin-World la semaine dernière.