LingBot-World-Infinity distille un world model 720p/60 fps ouvert
TL;DR
- Le modèle distillé génère un monde interactif à 720p et 60 fps sur une session ininterrompue d'une heure sans dégradation visible.
- Deux tailles sont livrées: un backbone principal de 14B paramètres et une variante allégée de 1,3B déployable sur un seul GPU.
- Un harnais agentique associe un VLM Director qui planifie les événements à un Pilot vidéo qui les rend en temps réel.
Ce qui rend le nouveau papier « Infinite Worlds with Versatile Interactions », publié sur Hugging Face, plus intéressant que la course habituelle au photoréalisme, c'est la question de l'endurance. Les world models interactifs récents tiennent en général de quelques secondes à quelques minutes avant que les textures ne s'étalent et que la géométrie ne parte à la dérive. LingBot-World-Infinity, aussi appelé LingBot-World 2.0, revendique une session ininterrompue de plus d'une heure sans dégradation visible, à 720p et 60 fps.
La recette a deux étages. Un backbone causal est d'abord entraîné avec un masque d'attention hybride qui mêle composante autorégressive et composante bidirectionnelle, censé résister à l'accumulation d'erreurs propre à la génération frame par frame. Ce backbone sert ensuite de professeur pour distiller un modèle temps réel en peu de pas, via consistency distillation puis distribution matching distillation. Les auteurs livrent un modèle principal de 14 milliards de paramètres et une variante allégée de 1,3B, présentée comme déployable sur un seul GPU.
L'autre pari est architectural: entourer le modèle génératif d'un harnais agentique, sur le même principe que les assistants de code enchâssés dans un scaffold comme Codex. Un VLM joue le rôle de « Director » et propose des événements cohérents avec la scène courante, tandis que le générateur vidéo agit en « Pilot » et rend physiquement ces décisions. L'utilisateur pilote au clavier — WASD pour le déplacement, IJKL pour la caméra, Space pour sauter, touches numériques réservées à des événements personnalisés — dans un espace d'actions qui couvre combat, tir à l'arc, sorts et tir à distance, plus des changements d'environnement comme neige ou pluie.
Ce que le papier ne donne pas: aucun benchmark chiffré n'apparaît dans les passages récupérés, les comparaisons avec Genie 3 et avec le système fermé HappyOyster restent qualitatives, et la configuration matérielle nécessaire pour soutenir le 720p/60 fps avec le modèle 14B n'est pas précisée. Les auteurs eux-mêmes reconnaissent trois limites franches: pas de vraie mémoire longue (une zone qui sort du contexte est régénérée plutôt que rappelée), dérive d'identité et de style sur les rollouts très longs, et compréhension physique imparfaite avec des objets qui se traversent.
Pour les studios de jeu et les labos d'embodied AI, l'intérêt tient moins aux 720p60 qu'à trois briques réutilisables: un teacher causal open source distillable, une variante 1,3B pour expérimenter à budget serré, et un patron Director-Pilot que rien n'empêche de coller sur un autre backbone vidéo.
Article original publié par huggingface.co
Lire l'article original →Titre original : LingBot-World-Infinity : un world model open source qui simule à 720p / 60 fps des mondes interactifs sans limite de durée