A Training-Time Diagnostic for Generalization via the Log-Alignment Ratio

En 3 lignesÉtude du log-alignment ratio (LAR), métrique de l'alignement paramètre-activation. LAR prédit la transition mémorisation/généralisation en grokking (dimension effective k ≈ n^(2(1-LAR))) et dans le pré-entraînement de modèles 3B. Calculable sans données de validation, overhead négligeable.

Résumé généré par Claude — vérifié par l'humain