Investigation into In-Context Learning Capabilities of Transformers

En 3 lignesÉtude empirique systématique des capacités d'apprentissage en contexte des transformers sur des tâches de classification binaire Gaussienne. Les auteurs analysent comment la précision dépend de la dimension d'entrée, du nombre d'exemples en contexte et de la diversité des tâches d'entraînement. Ils caractérisent l'émergence du surapprentissage bénin et identifient les régions paramétriques critiques.

Résumé généré par Claude — vérifié par l'humain