Contribution Weights: A Geometrical Analysis of Self-Attention Transformers

En 3 lignesNouvelle métrique « Contribution Weights » pour analyser les transformers au-delà des poids d'attention. Intègre magnitude des vecteurs de valeur et alignement directionnel. Surpasse les métriques basées sur l'attention pour identifier les tokens critiques. Révèle que les « attention sinks » jouent un rôle actif de suppression d'information, stabilisant les représentations.

Résumé généré par Claude — vérifié par l'humain