Fine-tuning vs. In-context Learning in Large Language Models: A Formal Language Learning Perspective

En 3 lignesÉtude comparative fine-tuning vs. in-context learning sur LLMs via tâches de langages formels. Fine-tuning surpasse ICL en généralisation in-distribution, mais les deux modes égalisent hors-distribution. Les biais inductifs divergent aux niveaux de maîtrise élevés. ICL montre sensibilité au vocabulaire et à la taille du modèle.

Résumé généré par Claude — vérifié par l'humain