Qwen3 : le RL multi-tour aide surtout à rattraper les erreurs

Sur FrozenLake, un modèle Qwen3 entraîné en RL multi-tour choisit une meilleure action en un pas que la base dans seulement 42,8 % des états appariés. Sur DeepCoder-MT, c'est 46,8 %. La qualité par pas est donc à peu près à égalité.

Le résultat vient d'un papier déposé sur arXiv le 4 novembre par Kejian Zhu et sept co-auteurs, qui évaluent Qwen3-4B et Qwen3-8B sur deux benchmarks d'agent. Leur formulation est directe : « agentic RL does not uniformly elevate single-step decision quality; rather, its strength concentrates in error recovery and long-horizon resilience. »

L'écart apparaît sur les états d'erreur. La version RL y fait mieux que la base dans 65,7 % des cas sur FrozenLake et 67,3 % sur DeepCoder-MT. Le taux de récupération passe de 38,6 % à 51,3 % sur FrozenLake, et de 22,9 % à 38,5 % sur DeepCoder-MT.

Le second résultat vise les budgets d'inférence. Mesurés via Pass@(K,T), une métrique qui compte la probabilité qu'au moins une des K trajectoires échantillonnées réussisse en T tours, les gains de trajectoire « remain highly sensitive to interaction constraints » et « diminishing significantly when budgets tighten ». La proposition des auteurs : BudgetMix RL, qui varie les budgets d'interaction pendant l'entraînement par pas de 10 %, et gagne, selon le papier, +7,5 pp à 25 % de budget, +5,3 pp à 50 % et +4,0 pp à 75 % face à un RL à budget plein.

Le papier s'ajoute à une petite série de dix articles de post-training que nous suivons sur ces trois derniers mois.