MemT-1.0 intègre la mémoire au modèle, 66× moins de KV cache à 128K

À 128K tokens d'historique, MemT-1.0-Nano affiche environ 1,86× d'accélération d'inférence bout en bout et 66× moins de stockage persistant que le KV cache plein. Le papier MemT-1.0 publié sur Hugging Face le 20 octobre propose de faire de la mémoire une capacité intrinsèque du modèle plutôt qu'un contexte à faire grossir.

« MemT-1.0 employs Gated DeltaNet-2 with a stable token-level memory update mechanism within each turn », écrivent les auteurs, qui ajoutent un module Mixture-of-Storage pour « scale native memory capacity ». La famille livrée compte MemT-1.0-Nano (36 Mds de paramètres totaux, 3 Mds actifs, 10 M de mémoire dynamique, backbone Qwen3.6-35B-A3B) et MemT-1.0-Flash (288 Mds totaux, 17 Mds actifs, 336 M de mémoire dynamique, à partir d'un DeepSeek-V4-Flash préparé).

Sur onze benchmarks mémoire allant de MemBench à BEAM-1M, Flash atteint une moyenne de 50,60 et devance de 12,5 points le baseline paramétrique le plus fort (Temp-LoRA à 38,08). Le plein contexte reste devant, entre 64,98 et 66,27. Sur SWE-bench Verified, Nano gagne +7,6 points sur trois runs face à son backbone sans expérience ; +8,3 points sur SWE-bench Multilingual.

Le pipeline additionne 20 Mds de tokens en pré-entraînement continué et 14 Mds en post-entraînement, soit 34 Mds au total. Sur six tests de capacité générale (MMLU-Pro, GPQA Diamond, IFEval, LongBench v2, BigCodeBench-Hard, LiveCodeBench v6), les auteurs rapportent -0,0 point pour Flash et -0,9 pour Nano, autrement dit un maintien quasi complet des capacités générales.

Le résumé publié ne précise ni licence, ni votes communautaires. C'est la vingt-troisième parution tracée sous notre balise Hugging Face en 90 jours.