Representational Capacity: Geometric Limits on Feature Representation in Transformer Language Models

En 3 lignesÉtude théorique sur les limites géométriques de la représentation de features dans les transformers. Les auteurs établissent un cadre basé sur les hypothèses de représentation linéaire et superposition, montrant que la capacité représentationnelle dépend du ratio vecteurs/dimensions (k/d) plutôt que du nombre brut. Analyse de dizaines de modèles open-source révèle deux classes selon la contrainte d'orthogonalité ε.

Résumé généré par Claude — vérifié par l'humain