Foundation-Preserving Adaptation via Generalized Rayleigh-Quotient Optimization
Signal
72
Hype
15
En 3 lignesFoLoRA, un framework d'optimisation conscient de l'oubli, adapte les modèles de fondation via quotient de Rayleigh généralisé. Il équilibre performance sur tâche cible et préservation des capacités préentraînées en pénalisant les directions d'adaptation à faible utilité relative à l'oubli. Testé sur adaptation mathématique, code et suivi d'instructions.Lire la source
Ton avis ?
Résumé généré par Claude — vérifié par l'humain