MemT-1.0 intègre la mémoire au modèle, 66× moins de KV cache à 128K
TL;DR
- MemT-1.0-Flash averages 50.6 across 11 memory benchmarks, 12.5 points above the strongest parametric baseline per the paper.
- The 66x KV storage reduction comes from Gated DeltaNet-2 layers that absorb history updates inside layer computation, removing a separate cache structure at inference.
- Code is PolyForm Noncommercial 1.0.0 and paper is CC BY-NC-SA 4.0, both blocking commercial use despite the Apache 2.0 label on the Hugging Face weights.
À 128K tokens d'historique, MemT-1.0-Nano affiche environ 1,86× d'accélération d'inférence bout en bout et 66× moins de stockage persistant que le KV cache plein. Le papier MemT-1.0 publié sur Hugging Face le 20 octobre propose de faire de la mémoire une capacité intrinsèque du modèle plutôt qu'un contexte à faire grossir.
« MemT-1.0 employs Gated DeltaNet-2 with a stable token-level memory update mechanism within each turn », écrivent les auteurs, qui ajoutent un module Mixture-of-Storage pour « scale native memory capacity ». La famille livrée compte MemT-1.0-Nano (36 Mds de paramètres totaux, 3 Mds actifs, 10 M de mémoire dynamique, backbone Qwen3.6-35B-A3B) et MemT-1.0-Flash (288 Mds totaux, 17 Mds actifs, 336 M de mémoire dynamique, à partir d'un DeepSeek-V4-Flash préparé).
Sur onze benchmarks mémoire allant de MemBench à BEAM-1M, Flash atteint une moyenne de 50,60 et devance de 12,5 points le baseline paramétrique le plus fort (Temp-LoRA à 38,08). Le plein contexte reste devant, entre 64,98 et 66,27. Sur SWE-bench Verified, Nano gagne +7,6 points sur trois runs face à son backbone sans expérience ; +8,3 points sur SWE-bench Multilingual.
Le pipeline additionne 20 Mds de tokens en pré-entraînement continué et 14 Mds en post-entraînement, soit 34 Mds au total. Sur six tests de capacité générale (MMLU-Pro, GPQA Diamond, IFEval, LongBench v2, BigCodeBench-Hard, LiveCodeBench v6), les auteurs rapportent -0,0 point pour Flash et -0,9 pour Nano, autrement dit un maintien quasi complet des capacités générales.
Le résumé publié ne précise ni licence, ni votes communautaires. C'est la vingt-troisième parution tracée sous notre balise Hugging Face en 90 jours.
Ce qu'en disent les autres médias
-
arXiv Lire →
Primary paper source; confirms CC BY-NC-SA 4.0 license, 74 co-authors, and full benchmark methodology across 11 memory tasks.
At a history length of 128K tokens, MemT-1.0-Nano achieves approximately 1.86× end-to-end inference speedup and a 66× reduction in persistent storage.
-
GitHub (MemTensor) Lire →
First-party code repository; confirms PolyForm Noncommercial 1.0.0 for software and provides SGLang deployment scripts and session management code.
MemT-1.0 is a new generation of memory foundation models that makes persistent, dynamically evolving memory an intrinsic part of model computation.
-
HyperAI Lire →
Full paper content including Gated DeltaNet-2 methodology, Mixture-of-Storage details, two-stage training pipeline, and ablation results across 11 benchmarks.
66× reduction in persistent storage relative to full context KV cache at 128K token history length.
-
Papers With Code Lire →
Benchmark and code discovery hub; links to GitHub repo and HuggingFace collection, categorizes work under Long Context tasks and KV cache methods.
At a history length of 128K tokens, MemT-1.0-Nano achieves approximately 1.86× end-to-end inference speedup and a 66× reduction in persistent storage.
-
DEV Community Lire →
Practitioner framing: positions native memory as an operational fix to context compression pipelines, summarization loops, and TTFT latency overhead engineers face today.
If state updates live inside the layer math, you stop paying the bandwidth penalty of transmitting the past at every step.
Article original publié par huggingface.co
Lire l'article original →Titre original : MemT-1.0 rend la mémoire native au modèle avec 66× moins de KV cache à 128K tokens