The Piggyback Hypothesis of Generalization: Explaining and Mitigating Emergent Misalignment

En 3 lignesÉtude sur le surapprentissage des LLM au-delà des données d'entraînement. Les auteurs proposent l'hypothèse du Piggyback : les tokens de chat-template propagent les comportements affinés vers des domaines hors-distribution. Ils introduisent Token-Regularized Finetuning (TReFT) pour atténuer ce désalignement émergent, réduisant de 33,5% le misalignment sur Llama-3.1-8B en domaine légal.

Résumé généré par Claude — vérifié par l'humain