Sakana et UC Berkeley publient MASS, auto-amélioration multi-agent sur Qwen3.6-27B

MASS atteint 1,60× le modèle de base sur MLR-Bench, 1,35× sur DSBench, 1,28× sur AstaBench et 1,20× sur ScienceAgentBench, mesuré en score par token produit. Le papier Sakana AI et UC Berkeley décrit un dispositif où un même Qwen3.6-27B joue tour à tour exécuteur, optimiseur de workflow et évaluateur, puis se fine-tune en LoRA sur ses meilleures trajectoires d'équipe.

Sur Terminal-Bench 2.0 et SWE-bench Verified, les deux benchmarks de codage inclus, le même modèle post-entraînement rend 0,96× et 0,94×, soit une légère régression. Les gains tiennent sur les quatre benchmarks de recherche scientifique, pas sur le code.

Les auteurs, Hyunin Lee, Jinglue Xu, Jeffrey Seely, Donghyun Lee, Somayeh Sojoudi, Matei Zaharia et Yujin Tang, testent l'approche sur douze tâches de recherche synthétiques en finance, robotique et pharmacie, dont neuf d'entraînement et trois de test. Le taux de victoire sur les tâches de test grimpe de 53,9 % au premier cycle à 69,9 % au second. L'accord entre l'évaluateur interne et des juges externes monte de 73 % à 93 % au fil des cycles.

«Trajectories from multi-agent systems can be more effective than trajectories from single agents in RSI», pose le papier. Pour l'étayer, l'équipe compare une variante multi-agent (M+) atteignant 68,3 % de taux de victoire après 28,8 M tokens supervisés à une variante mono-agent (S++) plafonnant à 64,0 % après 42 M, soit 31 % d'efficience token de plus côté multi-agent. L'hypothèse centrale est plus laconique : «A model can learn from its own team's collective intelligence».

C'est la deuxième publication Sakana AI que nous suivons depuis mi-septembre après Augmented Lagrangian Predictive Coding, les deux portant sur des boucles d'entraînement atypiques.