Hybrid-LoRA: Bridging Full Fine-Tuning and Low-Rank Adaptation for Post-Training

En 3 lignesHybrid-LoRA combine l'ajustement complet et LoRA pour le post-training d'LLM. La méthode applique le fine-tuning complet à ~10% des modules sensibles et LoRA au reste, atteignant 4.36% d'amélioration moyenne vs baselines PEFT sur tâches de raisonnement complexe.

Résumé généré par Claude — vérifié par l'humain