A Geometric Account of Activation Steering through Angle-Norm Decomposition
Signal
75
Hype
15
En 3 lignesÉtude empirique sur le steering d'activation dans les modèles de langage. Les auteurs décomposent les interventions en composantes angulaires et radiales, montrant que les concepts résident principalement dans la structure angulaire mais que la norme reste importante pour la stabilité. Recommandation : paramétrer le steering par composantes interprétables plutôt que par un coefficient additif unique.Lire la source
Ton avis ?
Résumé généré par Claude — vérifié par l'humain