Shortcuts in the Tail: Debiasing via Post-Hoc Spectral Compression of Fine-Tuning Updates

En 3 lignesUne méthode post-hoc réduit les biais de fine-tuning en tronquant la queue de la décomposition SVD des mises à jour de poids (ΔW). Testée sur 3 modèles (0.5B–7B) et 4 benchmarks, elle diminue l'écart de performance sur groupes sous-représentés jusqu'à 5× (CivilComments) avec <2pp de perte d'accuracy, sans retraining ni labels de groupe.

Résumé généré par Claude — vérifié par l'humain