Un papier arXiv démontre que les Transformers superposent linéairement deux « pensées » simultanées

Le papier « Your Transformer Can Hold Two Thoughts at Once » (61 upvotes sur Hugging Face Papers) documente des preuves de superposition linéaire dans les LLM, avec des dynamiques d'erreur de linéarité mesurées sur l'entraînement des modèles Pythia. Un signal expérimental pour l'interprétabilité mécanistique et les hypothèses de « polysémanticité » des neurones.