Parameter-Efficient Fine-Tuning with Learnable Rank

En 3 lignesLR-LoRA introduit un rang d'adaptateur appris pendant l'entraînement, remplaçant la contrainte de rang fixe de LoRA. Le rang varie par couche : les couches d'attention et MLP montrent des préférences de rang différentes. Surpasse LoRA et autres baselines PEFT sur benchmarks de compréhension du langage et raisonnement.

Résumé généré par Claude — vérifié par l'humain