CMU, JHU et Aurora réduisent pré-entraînement, SFT et RL à une MLE

Dix chercheurs de Carnegie Mellon, Johns Hopkins et Aurora Innovation publient le 30 octobre un papier qui attaque la séparation entre les étapes d'entraînement des modèles de fondation.

L'abstract pose la thèse sans détour : « this algorithmic separation is not fundamental ». Pretraining, midtraining, supervised fine-tuning et reinforcement learning sont tous ramenés à un même objectif de maximum-likelihood, en reformulant MaxRL (à récompense binaire) comme un ajustement de vraisemblance sur une distribution générée par le modèle et conditionnée au succès. Les auteurs appellent cette approche _unified training_.

En pratique, un seul trainer consomme un mélange évolutif de données statiques et de générations RL, chaque exemple étant un couple (z, w) où chaque token porte son propre poids. Les expériences portent sur deux échelles : un modèle de 124M paramètres sur des puzzles de raisonnement, et un modèle de 0,76B appliqué à du RL mathématique (MATH-500, GSM8K) puis à du RL de code (HumanEval+, MBPP+).

Le résultat revendiqué, verbatim : l'approche « improves the accuracy–compute tradeoff and task coverage while preserving broader capabilities, and provides a stronger starting point for continual learning ». Sur le volet continual learning math vers code, un mélange constant à 5 % de données de midtraining pendant le RL math donne les meilleurs scores finaux sur HumanEval+ et MBPP+ en pass@1 comme en pass@16. À petit budget de calcul, le staging classique reste plus efficace pour la couverture ; l'avantage de l'unification apparaît aux gros budgets.

Les limitations sont posées noir sur blanc par les auteurs : pas de méthode systématique pour choisir les proportions de mélange, et une validation bornée à 124M–0,76B paramètres. Côté couverture, c'est la seizième alerte recherche sur AI Weekly en 90 jours.