Gradient Descent with Large Step Size Restores Symmetry in Deep Linear Networks with Multi-Pathway

En 3 lignesAnalyse théorique montrant que la descente de gradient discrète avec grand pas dans les réseaux linéaires profonds multi-chemins restaure la symétrie. Contrairement aux prédictions du gradient flow (spécialisation winner-takes-all), le GD avec oscillations à l'Edge of Stability redistribue les signaux entre chemins, favorisant les représentations partagées plutôt que la dominance d'un seul chemin.

Résumé généré par Claude — vérifié par l'humain