Dynamic Linear Attention

En 3 lignesDLA (Dynamic Linear Attention) propose un cadre de modélisation mémoire pour l'attention linéaire multi-état. Il introduit une fusion d'états adaptative basée sur la variation informationnelle des tokens et un cache mémoire borné qui fusionne sélectivement les états adjacents. Pré-entraîné sur deux modèles d'attention linéaire, DLA surpasse l'état de l'art sur 16 datasets.

Résumé généré par Claude — vérifié par l'humain