Muir (Google) : attention linéaire à 1,34 Md, extrapolation 4K→10M
TL;DR
- Muir, signé Gil Tabak et Clemens JS Schaefer (Google), abaisse la perplexité de 1,8 à 2,0 % face à GDN-2 et de 2,5 à 3,6 % face au Transformer.
- À 1,34 Md de paramètres, le modèle extrapole 2 560× de sa fenêtre d'entraînement 4K jusqu'à des flux de 10 M tokens sans dérive de perplexité.
- Muir maintient une récupération de passkey proche de 100 % jusqu'à 1 M tokens et s'entraîne 2,7× plus vite qu'un Transformer à 32K.
Un état de 25 Mo contre un cache KV de 2,1 To. C'est l'écart que revendique Muir, l'attention linéaire que Gil Tabak et Clemens JS Schaefer, chez Google, présentent sur le portail des papiers de Hugging Face.
Le modèle fusionne toutes ses portes dans une projection basse-rang allouée en sensibilité, puis repondère les lignes d'état par une porte de lecture de type matched-filter. Les auteurs justifient ce choix par une observation simple sur les mises à jour d'état : "state updates are far less sensitive to erasure than to writes", écrivent-ils dans l'abstract. Les économies de paramètres sont réinvesties dans un réseau feed-forward élargi.
Sur la plage 166M–1,34 Md de paramètres, Muir "lowers perplexity by 1.8–2.0% over GDN-2 and 2.5–3.6% over Transformer" et grappille jusqu'à 1,9 point en commonsense. À 1,34 Md, il "extrapolates 2,560× from its 4K training length to 10M-token streams without perplexity drift" et tient une récupération de passkey proche de 100 % jusqu'à 1 M tokens avec readout statique. L'entraînement à 32K tourne 2,7× plus vite qu'un Transformer, et la cible de validation à 100 Md tokens est atteinte 1,2× plus vite que GDN-2.
Le banc est entièrement exécuté sur TPU7x avec un kernel chunkwise sur mesure, pensé pour les tuiles MXU 256×256. L'abstract ne publie aucun chiffre au-delà de 1,34 Md, ni de calendrier de publication du code. Côté écosystème, ByteDance Seed et les équipes derrière TB-MathModel ont elles aussi poussé du code ou des artefacts sur Hugging Face cette même semaine.
Article original publié par huggingface.co
Lire l'article original →Titre original : Muir, nouvelle attention linéaire, surpasse GDN-2 sur TPU7x et extrapole à 10 M tokens sans dérive