McCoy et Smolensky décomposent les LLM en structures symboliques

Le papier s'ouvre sur une phrase directe : « the internal representations of neural networks implicitly realize symbolic structure ». Quatre chercheurs, R. Thomas McCoy, Paul Soulos, Tal Linzen et Paul Smolensky, publient sur arXiv une méthode qui remplace, dans un réseau, tout le processus de génération des représentations par une équation fermée instanciant une structure symbolique, sans que la performance du modèle s'effondre.

La structure invoquée est le Tensor Product Representation, ou TPR : un formalisme qui compose des « fillers » (les éléments) avec des « roles » (les positions). Les auteurs utilisent une variante « linearly-transformed » et une procédure baptisée DISCOVER : ils entraînent un modèle TPR explicitement structuré à approcher les représentations internes du réseau cible, puis vérifient que ces approximations, injectées dans le décodeur d'origine, produisent toujours les bonnes sorties.

Les chiffres sont serrés. Sur un GRU qui inverse des séquences de lettres, l'approximation bidirectionnelle atteint 99,98 % de précision minimale sur dix exécutions. Sur douze combinaisons architecture-tâche, le même schéma dépasse 0,973 de précision moyenne d'approximation. Sur GPT-OSS en arithmétique, l'écart entre la performance native et l'approximation DISCOVER n'est que de 2,36 %. Les syllogismes restent le maillon faible, à 0,76 ; la passivisation monte à 0,94.

Sept LLM ont été passés au crible : Gemma-3-27b, GPT-2-XL, GPT-OSS-20b, Pythia-12b, Qwen3-14b, OLMo-2-13B et Llama-3.1-8b. Dans chaque famille, les auteurs précisent avoir retenu « the largest one that could run on a single A100 GPU ». Les quatre domaines couverts sur GPT-OSS sont l'arithmétique, la logique, l'exécution de code informatique et le langage.

Le geste va plus loin qu'une description. Des interventions ciblées sur les composants TPR, changer un filler, permuter un rôle, modifient la sortie du réseau de manière prévisible, ce qui suggère que ces structures agissent comme leviers causaux et non comme des artefacts d'analyse. Le papier se revendique de la lignée cherchant à réconcilier approche symbolique et représentations vectorielles continues. Deux chercheurs suivis dans notre annuaire Who's Who ont relayé le lien vers le preprint dans les jours qui ont suivi.