Edge of Stability Selectively Shapes Learning Across the Data Distribution

En 3 lignesL'étude montre que l'edge of stability (EoS) redistribue sélectivement l'apprentissage entre sous-groupes de données. Deux conditions permettent à un groupe de bénéficier : l'alignement de son gradient agrégé avec le vecteur propre dominant de la Hessienne, et le maintien d'une magnitude de gradient non-nulle. Sous cross-entropy loss, la saturation du gradient avantage les outliers en sortie.

Résumé généré par Claude — vérifié par l'humain