The Frequency Confound in Language-Model Surprisal and Metaphor Novelty

En 3 lignesUne étude arXiv analyse la relation entre surprisal (imprévisibilité) des modèles de langage et la nouveauté métaphorique. Sur 8 tailles de Pythia et 154 checkpoints, la fréquence lexicale prédit mieux la nouveauté métaphorique que le surprisal. L'association surprisal-nouveauté culmine en phase d'entraînement précoce puis décline, miroir de l'association surprisal-fréquence.

Résumé généré par Claude — vérifié par l'humain