Noise-Driven Escape from Metastable Phases explains Grokking in Deep Neural Networks

En 3 lignesDes chercheurs expliquent le phénomène de grokking (généralisation soudaine après surapprentissage prolongé) par des transitions de phase du premier ordre en fonction de la régularisation L2. Le bruit SGD permet aux réseaux de s'échapper de états métastables piégés, avec des temps d'échappement suivant l'échelle d'Arrhenius. Les résultats s'étendent aux réseaux non-linéaires.

Résumé généré par Claude — vérifié par l'humain