Reconciling Contradictory Views on the Effectiveness of SFT in LLMs: An Interaction Perspective

En 3 lignesÉtude arXiv sur l'efficacité du fine-tuning supervisé (SFT) pour les LLM. Les auteurs montrent que le SFT supprime principalement les interactions bruitées entre tokens, mais acquiert rarement de nouvelles interactions fiables. La phase de débruitage est très brève ; le fine-tuning prolongé introduit des interactions surapprenantes. Implications pour l'early stopping et l'entraînement des LLM.

Résumé généré par Claude — vérifié par l'humain