Blurry Window Attention

En 3 lignesBlurry Window Attention (BLA) est une méthode d'attention avec mémoire bornée inspirée des State-Space Models. Elle reconstruit un historique KV flou via interpolation avec noyaux de Dirichlet, généralisant Sliding Window Attention. Sur MQAR, BLA atteint 8× meilleure efficacité d'état que SWA et rivalise avec les modèles d'attention linéaire.

Résumé généré par Claude — vérifié par l'humain