Mei et Sala introduisent SAR pour auditer l'additivité des SAE

Ziye Mei et Frederic Sala, du Département d'informatique de l'Université du Wisconsin-Madison, proposent dans un papier déposé sur Hugging Face une métrique qui chiffre la part du comportement d'un modèle que les features d'un sparse autoencoder laissent sans explication additive.

Baptisée SAE Additivity Residuals (SAR), elle mesure, selon l'abstract, la «behavioral variation left unexplained above a chosen interaction order». Dit autrement: si l'effet individuel de chaque feature SAE est connu, SAR dit à quel point leur effet conjoint prédit par simple somme s'écarte du comportement réellement observé en aval.

Pour isoler ce qui vient du choix de coordonnées plutôt que du calcul en aval, les auteurs comparent les coordonnées SAE apprises à des rotations aléatoires préservant la somme sur le même sous-espace. Sur 18 configurations modèle × comportement, ils «find lower first order residuals for the learned coordinates across all 18 model and behavior settings». Les coordonnées apprises sont donc plus «additives» que des bases arbitraires, sans l'être pleinement: «The coordinates are nevertheless not fully additive», et les termes pairés améliorent l'ordonnancement de coalitions tenu à l'écart dans chaque réglage, en battant même des contrôles de troisième ordre tirés au hasard à nombre de paramètres équivalent.

L'écart devient chiffré sur une expérience de steering combiné. Avec les termes pairés, la fidélité de rang passe de 0,5874 à 0,7790 et l'erreur d'ordonnancement chute de 0,1444 à 0,0606. Le code est publié sous OpenSAE sur GitHub. Le papier rejoint une actualité outillage open source d'interprétabilité particulièrement nourrie ces dernières semaines.