The Hidden Power of Scaling Factor in LoRA Optimization

En 3 lignesÉtude théorique et empirique du facteur d'échelle α en LoRA. Les auteurs montrent que α domine l'optimisation bien plus que le learning rate, via un framework Signal-Drift. Ils découvrent une loi de racine carrée reliant α au rang et proposent LoRA-α pour améliorer les performances et simplifier l'ajustement d'hyperparamètres.

Résumé généré par Claude — vérifié par l'humain