Memorization Dynamics of Fill-in-the-Middle Pretraining

En 3 lignesÉtude de la mémorisation verbatim lors du préentraînement Fill-in-the-Middle (FIM) sur Llama 3.2. FIM récupère davantage de spans courts ou partiels comparé au LTR standard, avec une extraction croissant linéairement avec les répétitions. Le contexte suffixe ne suffit pas : la mémorisation reste ancrée au contexte préfixe.

Résumé généré par Claude — vérifié par l'humain