SEED : distillation on-policy auto-évolutive pour agents LLM

Un papier mis en ligne le 16 juillet 2026 sur arXiv et relayé sur Hugging Face Papers propose SEED, pour Self-Evolving On-Policy Distillation, et le résultat qui saute aux yeux tient dans un tableau. Sur le benchmark ALFWorld, avec Qwen2.5-3B-Instruct comme backbone, la méthode monte à 91,8% de succès là où GRPO plafonne à 75,0%. Sur Qwen2.5-7B-Instruct, on passe à 96,1%. Le travail est signé par une collaboration Tsinghua, Zhejiang, CUHK, Nanyang Technological University et Tongji, avec Jinyang Wu et Shuo Yang en co-premiers auteurs.

L'idée traite séparément deux problèmes que l'apprentissage par renforcement agentique agrège en général mal : la récompense éparse au niveau de la trajectoire d'un côté, l'apprentissage de politique au niveau du token de l'autre. SEED procède en deux temps. Une phase SFT enseigne d'abord au modèle à produire des « hindsight skills » à partir de trajectoires complètes, avec GLM-5.2 comme analyseur externe à température zéro. Vient ensuite la distillation on-policy proprement dite : le modèle courant joue à la fois l'acteur et l'analyseur, et la différence de log-probabilité entre le contexte enrichi de skills et le contexte ordinaire sert de signal dense, token par token, filtré par une porte sigmoïdale.

L'intérêt pratique se lit dans deux chiffres supplémentaires. Avec seulement 60% des données d'entraînement, SEED atteint 80,7 sur ALFWorld et dépasse déjà GRPO entraîné sur l'intégralité du corpus. L'extension multimodale sur Sokoban passe de 67,1% (GRPO) à 82,0%. La méthode est évaluée sur trois familles hétérogènes, embodied avec ALFWorld, navigation web avec WebShop, QA augmentée par recherche avec Search-R1, et le code est publié sous jinyangwu/Seed, entraîné sur huit Nvidia A800 80G.

Le caveat honnête, les auteurs le posent eux-mêmes dans l'annexe E : une boucle où la politique se supervise elle-même risque d'hériter de ses propres erreurs, de partager des angles morts entre acteur et analyseur, et de renforcer une forme d'auto-préférence. Ce que le papier ne donne pas, c'est une comparaison chiffrée du coût compute par rapport à un GRPO nu, ni une évaluation sur les horizons vraiment longs, Terminal-Bench ou DeepPlanning, que les auteurs listent comme travail à venir.

L'angle à surveiller n'est pas tant le score brut sur ALFWorld que le principe sous-jacent : lorsque toutes les trajectoires d'un groupe échouent, GRPO produit un gradient nul, SEED en produit encore un via la variance des skills. Pour les équipes qui construisent des agents open source sur des tâches à récompense éparse, c'est le genre de brique qu'il devient difficile d'ignorer.