Beyond LoRA vs. Full Fine-Tuning: Gradient-Guided Optimizer Routing for LLM Adaptation

En 3 lignesNouvelle méthode MoLF (Mixture of LoRA and Full) pour l'adaptation de LLM qui route dynamiquement les gradients entre fine-tuning complet et LoRA au niveau de l'optimiseur. Testée sur Gemma-3-1B, Qwen2.5-1.5B/3B sur tâches SQL, Medical QA et connaissance contrefactuelle. MoLF-Efficient surpasse les approches LoRA adaptatives de 20% (Fact) et 9% (Med/SQL). Code open-source disponible.

Résumé généré par Claude — vérifié par l'humain