LongStraw pousse le RL long-contexte au-delà de 2 M tokens

Le fossé entre les fenêtres d'inférence, qui approchent le million de tokens, et le post-entraînement par renforcement, souvent bloqué autour de 256K, est devenu l'un des goulots les plus visibles du RL appliqué aux agents. Un papier hissé en tête du classement Hugging Face du 17 juillet propose une réponse pragmatique à ce problème.

Baptisé LongStraw et publié le 16 juillet 2026 sur Hugging Face Papers, le stack est décrit comme une exécution 'architecture-aware' pour le post-entraînement RL au million de tokens, adossée à l'algorithme GRPO. La recette tient en trois idées : évaluer le prompt partagé sans autograd, ne conserver que l'état spécifique au modèle pour les tokens suivants, puis rejouer les branches de réponse courtes une par une sous autograd. Autrement dit, du temps de replay échangé contre de la mémoire GPU.

Les chiffres reportés sont ceux qui donnent au papier son intérêt. Sur huit GPU H20, LongStraw complète le scoring groupé de Qwen3.6-27B et le backward des réponses à 2,1 M de positions, l'augmentation de la taille de groupe n'ajoutant que 0,21 Go de mémoire de pointe, et un stress test séparé grimpe à 4,46 M positions. Sur 32 H20, les auteurs valident l'exécution bout-en-bout d'un prompt de 2,1 M tokens sur les 78 couches de GLM-5.2, un modèle MoE à attention compressée.

Le caveat honnête est écrit dans le papier lui-même : les expériences établissent la capacité d'exécution, pas la correction complète de l'entraînement. L'état du prompt capturé est détaché, et certains chemins forward distribués comme la composition de gradients restent incomplets. Ce que le rapport ne donne pas, ce sont une comparaison de convergence avec un stack GRPO standard, la qualité finale des politiques obtenues, ni le coût réel en temps du replay.

Reste que pour les équipes qui entraînent des agents à trajectoires longues sur des grappes modestes, le message est clair : la barrière du million de tokens en RL post-training peut tomber sans multiplier le budget matériel. La question ouverte est de savoir si les politiques qui en sortent tiennent la route en pratique.