Xiaomi publie Robotics-U0, world model 38B pour la robotique
TL;DR
- Xiaomi-Robotics-U0 est un modèle autoregressif multimodal de 38 milliards de paramètres, présenté comme un world foundation model unifié pour la synthèse embarquée.
- Selon le papier, U0 fait passer le taux de succès out-of-distribution de π0.5 de 36,9% à 63,2% sur des tâches de manipulation réelle difficiles.
- Les auteurs revendiquent une première génération multi-vue de qualité entre plusieurs robots, un classement premier sur World Arena et un dépassement de GPT-Image-2.0 en évaluation humaine.
Xiaomi Robotics vient de publier Xiaomi-Robotics-U0, un modèle autoregressif multimodal de 38 milliards de paramètres présenté comme un world foundation model unifié pour la synthèse embarquée. L'idée décrite dans le papier n'est pas d'empiler un énième VLA sur un modèle image, mais d'étendre directement un modèle génératif image et vidéo aux contraintes robotiques, en gardant dans un même cadre la génération texte-à-image, l'édition d'image, la génération de scènes embarquées, le transfert embarqué et la génération vidéo embarquée.
Les chiffres mis en avant valent d'être lus au conditionnel puisqu'ils sortent de la publication elle-même. Selon les auteurs, U0 dépasserait GPT-Image-2.0 en évaluation humaine sur la génération et le transfert de scènes embarquées, se classerait premier sur World Arena pour la vidéo embarquée, et surtout ferait passer le taux de succès out-of-distribution de π0.5 de 36,9% à 63,2% sur des tâches de manipulation réelle jugées difficiles. Xiaomi revendique aussi la première génération multi-vue de qualité à travers plusieurs types de robots.
L'intérêt stratégique tient dans la deuxième moitié de la thèse: les auteurs concluent que les world foundation models peuvent servir à la fois de modèle du monde pour l'agent et de moteur de données scalable pour l'intelligence embarquée. Autrement dit, plutôt que de collecter à la main des heures de démonstration sur robots réels, on génère les scènes et les vidéos, puis on s'en sert comme carburant d'entraînement. Pour un industriel qui prépare des robots à grande échelle, le pipeline de données devient un avantage compétitif au moins aussi important que le contrôleur.
La franchise honnête, c'est que le résumé public ne détaille ni le corpus d'entraînement, ni le coût compute, ni les protocoles précis des évaluations humaines et du classement World Arena, qui restent à confirmer par des tiers. Reste que 38 milliards de paramètres avec des checkpoints publiés sur Hugging Face ouvrent la porte à un fine-tuning réel par d'autres équipes, et c'est probablement là, sur les robots des autres, que le travail va se juger dans les prochaines semaines.
Article original publié par huggingface.co
Lire l'article original →Titre original : Xiaomi publie Robotics-U0, un world foundation model unifié pour la synthèse embarquée