What Does the Weight Norm Control in Grokking? Logit-Scale Mediation under Cross-Entropy

En 3 lignesÉtude sur le grokking (transition retardée de la mémorisation à la généralisation). Les auteurs montrent que la norme des poids ne contrôle pas directement le délai de grokking, mais agit via l'échelle des logits. En fixant la norme et variant la température de sortie, ils retrouvent 85% du délai en ajustant l'échelle logit. L'effet dépend de la fonction de perte (cross-entropy vs MSE).

Résumé généré par Claude — vérifié par l'humain