Beyond LoRA vs. Full Fine-Tuning: Gradient-Guided Optimizer Routing for LLM Adaptation

En 3 lignesNouvelle méthode MoLF (Mixture of LoRA and Full) qui combine fine-tuning complet et LoRA via routage dynamique au niveau optimiseur. Testée sur Gemma-3-1B, Qwen2.5-1.5B/3B sur SQL, Medical QA, Counterfactual Knowledge. MoLF-Efficient surpasse les approches LoRA adaptatives de 20% (Fact) et 9% (Med/SQL). Code open-source disponible.

Résumé généré par Claude — vérifié par l'humain