ByteDance Seed: un SAE isole les experts fins de Qwen3-30B-A3B

ByteDance Seed signe SAE Interprets MoE, un papier qui démonte le routage de Qwen3-30B-A3B pour y lire une division du travail bien plus fine que ne le suggèrent les étiquettes de domaine. Les auteurs, Anyuan Zhuo, Shaohua Zhang, Yuan Lin et Pinyan Lu, entraînent un sparse autoencoder TopK à 2^20 latents sur la sortie des couches 4, 30 et 46 du modèle (48 couches, 128 experts par couche, routage top-8), puis décomposent exactement chaque latent en contributions d'experts sur un corpus de 1,5 milliard de tokens.

Résultat central : la contribution est bien plus concentrée que la porte. Sur la couche 30, l'expert dominant d'un latent fournit en moyenne plus de 0,512 de la contribution contre un poids de porte de 0,231. L'abstract résume la trouvaille : « most latents have only one or two dominators, and the overlap between dominant sets concentrates on a few expert pairs ». À l'échelle des paires d'experts, la similarité de Jaccard médiane tombe autour de 10⁻⁴, et près de 40 % des paires ne partagent aucun latent.

Au-dessus de ce grain, les 128 experts de la couche 30 se regroupent en onze domaines très inégaux, dont 48 experts (37,5 %) pour « computing and mathematics ». L'auto-interprétation met au jour des spécialisations qu'un étiquetage par domaine n'aurait pas captées : E50 pour le développement Java et E57 pour le front-end web, E1 pour la géométrie et E76 pour l'arithmétique et les polynômes. ByteDance Seed publie en parallèle le code et un explorateur interactif des 128 experts de la couche 30.

Le papier s'inscrit dans une série ouverte dense côté Pékin, un mois après Cortex de la même équipe.