ByteDance Seed publie Cortex, qui compile le contexte en mémoire paramétrique sans effacer 99,8 % du modèle
Résumé
ByteDance Seed présente Cortex, méthode qui distille le gain de performance induit par le contexte en mises à jour low-rank ou FFN fusibles dans les poids du modèle. Sur un 14B après 50 éditions factuelles séquentielles, Cortex-Structural récupère 88,9 % du gain contextuel et retient 99,8 % de la performance non-cible. Testé de 4B à 120B, dense et MoE, texte et multimodal.
Article original publié par huggingface.co
Lire l'article original →Titre original : ByteDance Seed publie Cortex, qui compile le contexte en mémoire paramétrique sans effacer 99,8 % du modèle