Strategic Over-Parameterization for Generalizable Low-Rank Adaptation

En 3 lignesLoRA-Over améliore l'adaptation efficace en paramètres (PEFT) en enrichissant le paysage d'optimisation durant l'entraînement via sur-paramétrisation auxiliaire, puis en repliant cette enrichissement dans une structure LoRA standard à l'inférence. Évalué sur GLUE, MT-Bench, GSM8K et HumanEval avec LLaMA 2-7B et 3.1-8B, le framework surpasse LoRA vanilla sans coût d'inférence supplémentaire.

Résumé généré par Claude — vérifié par l'humain