Kuramoto Attention: Synchronizing Self-Attention on the Torus

En 3 lignesKuramoto attention propose une couche d'auto-attention où chaque coordonnée cachée est un angle sur le tore. Les tokens sont notés par similarité cosinus gated, mis à jour via la moyenne circulaire pondérée (terme de couplage Kuramoto). Sur enwik8, la couche atteint 1.637±0.010 BPC à 1M paramètres vs 1.616±0.004 pour RoPE+SwiGLU, validant cette structure géométrique contrainte.

Résumé généré par Claude — vérifié par l'humain