Papier : trois LLM convergent sur des tables sparses, 1 800× moins de paramètres sans Transformer
Résumé
Un papier publié le 18 novembre montre que lorsqu'on laisse Claude Opus 5.5, GPT-6.1 Sol et GPT-6 Astra écrire directement des poids de réseau sans descente de gradient, les trois convergent indépendamment vers des tables sparses associatives plutôt que des Transformers. Résultat : 54,4 % d'accuracy sur ARC avec 3,35 M de paramètres, soit 1 800× moins qu'un Transformer tout en obtenant une meilleure accuracy ; un modèle fixé de 2,53 M paramètres offre un speedup 17× sur la même architecture.
Article original publié par huggingface.co
Lire l'article original →Titre original : Papier : trois LLM convergent sur des tables sparses, 1 800× moins de paramètres sans Transformer