Alibaba fait tourner ABot-World-0 à 720p/16 FPS sur une RTX 5090

Un world model contrôlable au clavier qui tourne en temps réel sur une carte grand public, c'est le pari de la ABot-World Team d'Alibaba avec ABot-World-0, présenté sur Hugging Face. Le modèle rend du 720p à 16 FPS avec une latence action-à-première-frame de 1,2 seconde sur une seule RTX 5090, pour un pic de VRAM autour de 19 GiB. L'interface d'action tient dans un vecteur multi-hot à 8 dimensions, WASD pour le déplacement du personnage et de la caméra, IJKL pour la rotation, ce qui rapproche l'ergonomie de celle d'un jeu PC.

Ce qui rend le papier intéressant n'est pas la démonstration seule mais l'empilement d'ingénierie qui la rend viable sur un poste unique. Le pipeline de données combine trois sources complémentaires, données de jeux AAA avec labels d'action extraits via API, rendu Unreal Engine augmenté de 3D Gaussian Splatting, et vidéos internet à labels pseudo-estimés, et un entraînement en trois étapes qui distille un teacher bidirectionnel (assis sur un backbone Wan 2.2 pré-entraîné) en étudiant causal, avec une étape finale dite LongForcing censée limiter la dérive autorégressive sur les rollouts longs. Côté inférence, tout y passe: décodeur LightVAE, quantization FP8 sur le DiT, SageAttention2, Fast-RoPE et KV-cache borné avec éviction glissante.

Sur WorldRoamBench, l'équipe positionne son modèle face à Genie 3, HappyOyster, LingBot-World et HY-World 1.5 sur la contrôlabilité d'action, la fidélité de trajectoire, la qualité visuelle et la mémoire temporelle. Elle revendique aussi des rollouts stables à l'échelle de l'heure (cinq essais indépendants) et de la journée (quatre essais ou plus sans effondrement de la structure de scène), avec des propriétés d'interaction physique émergentes: collisions et poussées d'objets, perturbations d'eau qui persistent dans le temps, empreintes dans la neige, murs et rambardes qui bloquent sans traversée.

Le caveat honnête: 1,2 seconde entre l'action et la première frame reste sensible pour un usage jeu réactif, et le papier ne détaille ni le coût d'entraînement, ni la licence de diffusion, ni comment le modèle se dégrade précisément sur les rollouts à l'échelle de la journée. WorldRoamBench est par ailleurs publié par la même équipe que le modèle, ce qui invite à attendre des reproductions extérieures avant de conclure sur les comparatifs face à Genie 3.

Ce qui vaut le coup d'œil, en revanche, est la trajectoire. Si un world model contrôlable au clavier tient sur une carte grand public plutôt que sur un cluster hébergé, c'est la ligne de coût pour les studios indés, les équipes d'embodied AI et la R&D VFX qui bouge, et l'argument temps réel des offres de compute serveur qui s'érode.