Ant et Renmin publient LLaDA MoE v2, dLLM 30B-A3B sur 23,5T tokens

Un papier arXiv discret cache une contribution qui mérite l'attention si vous suivez les architectures de modèles de langage. Une équipe de Renmin University et d'Ant Group vient de publier sur arXiv LLaDA MoE v2, un modèle de diffusion langagière de 30 milliards de paramètres dont 3 milliards seulement s'activent par token, entraîné depuis zéro sur 23,5 billions de tokens.

La contribution intéressante n'est pas seulement le modèle, c'est la tentative de caractériser systématiquement le comportement d'échelle des dLLM MoE, un territoire encore mal cartographié face aux modèles autorégressifs classiques. Les analyses IsoFLOP des auteurs pointent un léger biais côté données, avec un budget optimal de tokens qui croît plus vite que la capacité activée du modèle. Elles signalent aussi que les grandes échelles favorisent des pools d'experts plus larges à capacité activée constante, que le taux d'apprentissage optimal décroît plus rapidement avec le compute que sur les modèles AR, et que la fraction de capacité activée allouée aux experts partagés reste stable à travers les échelles.

Côté performances, la revendication est mesurée. Avec environ 65 % des tokens de préentraînement de Qwen3, LLaDA MoE v2 s'en approche sur plusieurs benchmarks de connaissance, raisonnement et code, sans le dépasser. Après un simple supervised fine-tuning, il bat SDAR Chat sur sept des huit benchmarks de raisonnement et code cités, tout en restant proche de Qwen3 sur plusieurs tâches.

Le bémol honnête, l'abstract ne livre ni le nombre exact d'experts par couche, ni la profondeur du routing top-k, ni les valeurs numériques des exposants d'échelle. Il ne précise pas non plus la disponibilité publique des poids, et la comparaison se limite à Qwen3 et SDAR Chat. À prendre comme un point de repère empirique, pas comme une preuve définitive que la diffusion sparse a rattrapé l'autorégressif à budget compute équivalent.

Ce qui vaut la peine d'être suivi, c'est la direction plutôt que le score isolé. Si ces lois d'échelle tiennent en pratique, elles offrent aux équipes qui parient sur la diffusion langagière une feuille de route concrète pour scaler ces architectures sans repartir de zéro à chaque ordre de grandeur.