KVpop compresse le KV-cache de Qwen3 à 88% avec 94% de qualité

Le KV-cache d'un transformer croît linéairement avec le contexte, et à 131k tokens la VRAM d'un Qwen3-8B en attention dense atteint 36 Go pour un batch de 1. KVpop, publié sur Hugging Face Papers, propose une réponse post-training qui garde un budget mémoire fixe par tête d'attention et laisse un scorer léger décider, en ligne, quels tokens survivent.

L'idée directrice est que la survie d'un token ne se décide pas à son entrée dans le cache. Chaque tête d'attention conserve des sink tokens initiaux, une fenêtre récente protégée, puis un top-k appris sur les tokens plus anciens. La supervision cible la masse d'attention future qu'un token recevra une fois sorti de la fenêtre protégée, calculée pendant l'entraînement par une passe d'attention transposée pour éviter de matérialiser la carte dense complète. Une variante stateful à base de mLSTM, avec lecture différée, accumule du contexte avant de trancher.

Les chiffres sur Qwen3 sont ce qui compte. Selon l'abstract, KVpop conserve 95% et 94% des performances de Qwen3-4B à 75% et 88% de compression du cache, et 95% et 99% sur Qwen3-8B. Sur le raisonnement mathématique en 88% CR (AIME24/25, HMMT), les baselines training-free StreamingLLM et TOVA s'effondrent, tandis que KVpop tient 97% du teacher sur Qwen3-4B et 100% sur Qwen3-8B. Côté inférence à batch 1 et générations jusqu'à 131k tokens, la VRAM culmine à 19 Go pour KVpop et DMS contre 36 Go pour l'attention dense, soit une croissance de +19% seulement depuis le point 16k tokens.

La mise en garde honnête est double. Les mesures d'efficacité sont faites à batch size 1, et la courbe latence/mémoire à batch de serveur réel n'est pas dans les extraits. Les résultats sont aussi démontrés sur la seule famille Qwen3, et les auteurs notent eux-mêmes qu'un mélange couches denses/sparses pourrait encore améliorer le compromis qualité-efficacité. Ce que le papier ne chiffre pas non plus, c'est le coût GPU-heures du transposed pass pendant l'entraînement.

Pour un hébergeur d'inférence, la lecture pratique est simple. DMS est déjà en production chez NVIDIA avec le checkpoint Qwen3-8B-DMS-8x cité par les auteurs, et un scorer appris de type KVpop devient plausiblement le standard de retrofit à comparer plutôt qu'une piste académique de plus.