GaP : Berkeley, NVIDIA, Bosch signent 93 % en robotique variable

Un papier posté cette semaine sur Hugging Face par des équipes de UC Berkeley, NVIDIA, Carnegie Mellon et Bosch mérite qu'on s'y arrête, moins pour le score de tête que pour ce qu'il dit du bon niveau d'abstraction en robotique. Les auteurs, dont Kaiyuan Chen, Shuangyu Xie, Ken Goldberg et Linxi « Jim » Fan, proposent GaP (Graph-as-Policy), un harnais multi-agents qui compile une tâche robotique en graphe orienté de nœuds perception-planning-contrôle, tirés d'une bibliothèque de 51 compétences baptisée MORSL, puis raffine ce graphe par répétitions parallèles dans Isaac Sim.

Le résultat le plus parlant n'est pas la victoire sur benchmark, c'est l'écart. Sur les variantes de « fulfill grocery orders », les politiques VLA de référence π0.5 et MolmoAct2 tombent autour de 0,20 de réussite dès qu'on perturbe la pose des objets, tandis que GaP tient entre 0,93 et 0,97 selon la variante. En réel, sur un robot UR5, les auteurs annoncent 25/25 sur la préparation de commandes, 28/30 sur l'emballage, 18/20 sur la préparation de popcorn, et 121/130 (0,93) sur une tâche d'insertion de câbles couvrant des rotations de ±15° et des déplacements de ±5 cm. Le temps par pick-and-place tombe à 67 secondes contre 95 pour la ligne de base TipTop, selon leur propre mesure.

Ce qui rend le papier intéressant pour un décideur industriel n'est pas la performance brute mais la thèse: pour la « Variational Automation », classe de tâches à forte variance de pose et de géométrie, il vaudrait mieux composer et corriger un graphe modulaire de compétences via des LLM que muscler une politique VLA monolithique. Les ablations vont dans ce sens: retirer la structure en graphe ou passer d'un système multi-agents à un agent unique fait, selon les auteurs, chuter la réussite à 0 %.

Le caveat honnête, ce sont les auteurs eux-mêmes qui l'écrivent: la fiabilité d'exécution reste sous le standard industriel de 500 unités par heure, soit environ 7 secondes par instance, et le périmètre couvre principalement des manipulations quasi-statiques. Rien sur les objets déformables, les forces dynamiques, les cibles mobiles. Les coûts d'inférence VLM à chaque boucle de raffinement ne sont pas chiffrés dans le papier, et les comparaisons portent sur un jeu limité de VLA de référence.

À suivre, malgré ces réserves, parce que le pattern — un LLM qui écrit et corrige un graphe d'appels vers des compétences robotiques éprouvées, plutôt qu'un gros modèle qui fait tout — est précisément celui que Bosch, les intégrateurs et les équipes NVIDIA Isaac cherchent à généraliser pour sortir la robotique d'usine du prototype.