Meta FAIR dévoile SDM, un RNN linéaire à mémoire sparse massive

Cela fait des années que les RNN linéaires vendent la même promesse: un coût constant par token, un état borné, et donc, en théorie, la capacité d'avaler des contextes indéfiniment longs sans faire exploser le KV cache. Le problème, tout aussi ancien, c'est le rappel. À état fixe et petit, ces modèles perdent l'information passée et se font distancer par les transformers dès que la tâche exige de retrouver un fait niché loin en arrière. C'est précisément ce coin que Meta FAIR essaie de faire sauter dans un nouveau papier, co-signé avec Inria Paris & ENS-PSL University et l'Université de Tübingen, qui propose Sparse Delta Memory (SDM).

L'idée est de partir de Gated DeltaNet, un RNN linéaire déjà connu, et de remplacer l'outer product dense entre clés et valeurs par des lectures et écritures parcimonieuses vers une grande mémoire explicite. Un schéma d'indexation type Product-Key Memory sélectionne, à chaque token, W emplacements en écriture et R en lecture parmi N slots possibles, les auteurs fixant W=R=64. Le résultat revendiqué: à FLOPs et paramètres identiques face à GDN, la capacité de l'état grimpe de trois ordres de grandeur, sans toucher au coût par token qui fait tout l'intérêt d'un RNN linéaire.

La démonstration est un cran plus ambitieuse que les publications habituelles de ce sous-champ. Les auteurs entraînent des modèles à 8 milliards de paramètres activés sur plus d'un trillion de tokens, dérivent une loi d'échelle avec un R² annoncé à 0,999, et affirment que SDM bat GDN à chaque niveau de leur scaling ladder. À l'échelle 8B, SDM passerait aussi devant le modèle à attention complète en perte d'entraînement, avec une précision moyenne supérieure sur les tâches de raisonnement court contexte comme HellaSWAG ou WinoGrande. Sur RULER, la moyenne d'exactitude sur des longueurs de 4k à 131k tokens penche également en faveur de SDM. Une seconde astuce, l'apprentissage de l'état initial M0, transforme la mémoire sparse en réservoir de connaissances pré-entraînées, ce qui explique une bonne part du gain court contexte.

Le caveat honnête, c'est que tout cela reste une publication de recherche. Le papier ne fournit pas de benchmark d'inférence GPU, pas de comparaison contre les Mamba2 les plus récents, et reconnaît que la taille mémoire par couche croît en O(d³), ce qui deviendrait gênant au-delà des configurations testées. La supériorité affichée face à FullAttn s'appuie aussi sur une fenêtre d'attention locale de 128 tokens seulement, un choix défendable mais qui n'est pas standard partout.

Si les résultats tiennent hors banc d'essai, l'intérêt stratégique est net: un chemin plausible vers des agents à mémoire longue, des modèles vidéo et des assistants tournant sur matériel plus modeste, sans payer le prix quadratique du KV cache. Pour Meta, cela remet également FAIR au centre d'un sujet architecture largement dominé jusqu'ici par Mamba, DeltaNet et les hybrides récents.