Ring-Zero fait passer le RL zero à un trillion de paramètres

L'idée que le fine-tuning supervisé humain est un préalable indispensable au raisonnement de haut niveau vient de prendre un coup, à un étage inhabituel de la pile. Dans un papier publié sur Hugging Face, une équipe présente Ring-Zero, une campagne qui passe à l'échelle du trillion de paramètres un entraînement en pure reinforcement learning avec récompenses vérifiables, sans aucune donnée annotée par des humains, ce que le titre appelle « zero RL ».

Le modèle central, Ring-2.5-1T-Zero, est un mixture-of-experts d'un trillion de paramètres dont 63 milliards sont activés à chaque token. Il est entraîné sur 320 GPU H200 avec un pipeline hybride qui combine Megatron comme moteur d'entraînement et SGLang comme moteur de rollout. Sur les benchmarks mathématiques rapportés, Ring-2.5-1T-Zero atteint 93,2% sur AIME 2024, 91,0% sur AIME 2025 et 86,3% sur HMMT February 2025.

La partie qui mérite qu'on s'y arrête, c'est ce que les auteurs appellent des « comportements cognitifs émergents ». Sans instruction explicite, le modèle se met à structurer ses traces de raisonnement, à re-vérifier ses hypothèses, à explorer des branches parallèles, et manifeste même une forme d'« anxiété contextuelle » quand la limite de tokens approche, en tronquant volontairement son raisonnement pour rendre une réponse. Le papier distingue une phase de « découverte », où le modèle élargit son espace de solutions, suivie d'une phase de « raffinement » où il consolide les bonnes trajectoires.

La réserve honnête à poser, c'est que les résultats sont ceux rapportés par l'équipe elle-même, non encore reproduits publiquement, et que le papier compare Ring-Zero à des modèles frontière comme GPT-5.5, Claude Opus et Gemini 3.1 Pro qui gardent l'avantage sur plusieurs des benchmarks présentés. Le coût total d'entraînement et le nombre de tokens vus ne figurent pas non plus dans les éléments récupérés, deux chiffres qui pèseraient sur l'accessibilité réelle du procédé.

Ce qu'il faut retenir pour la suite, c'est moins « qui gagne AIME » que la démonstration qu'un pipeline RL pur, à cette échelle, produit des comportements de raisonnement qu'on croyait attachés à des recettes de SFT soigneusement construites. Si ça tient à la reproduction, la question du coût effectif du raisonnement de niveau frontière se rouvre pour toutes les équipes qui n'ont pas de dataset supervisé propriétaire à disposition.