An expressivity analysis of hierarchical modelling in deep transformers via bounded-depth grammars

En 3 lignesAnalyse théorique de l'expressivité des transformers profonds via des grammaires sans contexte de profondeur bornée. Les auteurs construisent explicitement des transformers avec attention positionnelle dont la profondeur croît linéairement avec celle de la grammaire, démontrant que ces architectures peuvent encoder des états grammaticaux abstraits dans des sous-espaces linéairement séparables du flux résiduel.

Résumé généré par Claude — vérifié par l'humain