Memorization Dynamics of Fill-in-the-Middle Pretraining
Étude de la mémorisation verbatim lors du préentraînement Fill-in-the-Middle (FIM) sur Llama 3.2. FIM récupère davantage de spans courts ou partiels comparé au LTR standard, avec une extraction croissant linéairement avec les répétitions. Le contexte suffixe ne suffit pas : la mémorisation reste ancrée au contexte préfixe.