The Discrete-Log Clock: How a Transformer Learns Modular Multiplication

En 3 lignesDes chercheurs montrent qu'un transformer apprenant la multiplication modulaire utilise une transformation de caractères multiplicatifs plutôt que la DFT standard. Sur a·b mod 113, le spectre devient sparse (Gini 0.58 vs 0.07), avec 96.9% des neurones MLP accordés à une seule fréquence. L'algorithme implémente un « Discrete-Log Clock » réduisant la multiplication à l'addition en espace logarithmique discret.

Résumé généré par Claude — vérifié par l'humain