Fine-Tuning Dynamics of In-Context Factual Recall in Transformers

En 3 lignesÉtude théorique de la dynamique d'apprentissage en contexte (in-context learning) dans les transformers. Les auteurs formalisent la tâche IC-recall où le modèle doit inférer une relation cachée à partir d'exemples et récupérer des connaissances factuelles stockées dans ses paramètres. Preuve que le fine-tuning converge vers un motif d'attention spécifique avec un nombre d'échantillons polylogarithmique.

Résumé généré par Claude — vérifié par l'humain