Multi-layer Cross-attention is Provably Optimal for Multi-modal In-context Learning

En 3 lignesÉtude théorique montrant que l'attention croisée multi-couche est optimale pour l'apprentissage en contexte multi-modal. Les auteurs prouvent que l'auto-attention linéaire monocouche échoue, mais qu'un mécanisme d'attention croisée linéarisé atteint la performance Bayes-optimale avec gradient flow.

Résumé généré par Claude — vérifié par l'humain