Spectral Scaling Laws of Muon

En 3 lignesÉtude systématique du comportement spectral de Muon, optimiseur basé sur l'orthonormalisation par itération Newton-Schulz. Sur modèles 77M-2.8B paramètres, les valeurs singulières du buffer momentum se stabilisent selon des lois de puissance dépendant de la profondeur (exposants M^-0.25 à M^-0.96). Implications pour la configuration NS à l'échelle frontier.

Résumé généré par Claude — vérifié par l'humain