Locality Does Not Imply Reachability: Boundary Repair in Block-Sparse Causal Attention

En 3 lignesArticle théorique sur les limites de l'attention causale par blocs fixes : deux tokens adjacents peuvent être déconnectés dans le graphe d'attention. Les auteurs formalisent ce problème via les ensembles de dépendance structurelle et proposent Boundary Bridge Attention, une réparation sans paramètres supplémentaires utilisant des arêtes causales auxiliaires aux frontières des blocs.

Résumé généré par Claude — vérifié par l'humain