FuRA: Full-Rank Parameter-Efficient Fine-Tuning with Spectral Preconditioning

En 3 lignesFuRA propose une méthode de fine-tuning efficace en paramètres basée sur la décomposition SVD complète des matrices de poids. En gelant une base singulière préentraînée et optimisant uniquement les composantes compactes via factorisation tensor-train, FuRA surpasse le fine-tuning complet et LoRA sur LLaMA-3-8B (+1.37 en raisonnement) et VLMs, avec efficacité comparable à LoRA.

Résumé généré par Claude — vérifié par l'humain