Reachability and asymptotics of Gaussian Transformer dynamics

En 3 lignesÉtude théorique formalisent la propagation de données dans les Transformers comme système de contrôle non-linéaire. Pour le modèle mean-field avec self-attention et couches feed-forward affines, les distributions gaussiennes restent gaussiennes. Cela réduit la dynamique à un système de contrôle bilinéaire fini gouvernant moyenne et covariance, reliant l'expressivité des Transformers à des équations de Riccati.

Résumé généré par Claude — vérifié par l'humain