StructLens: A Structural Lens for Language Models via Maximum Spanning Trees

En 3 lignesStructLens analyse l'organisation interne des représentations dans les modèles de langage via des arbres couvrants maximaux construits sur les flux résiduels. Le framework révèle que les couches intermédiaires organisent fortement les tokens proches, et que les unités locales émergent avant les unités plus larges lors du pré-entraînement.

Résumé généré par Claude — vérifié par l'humain