Dominant-Layer ZO: A Single Layer Dominates Zeroth-Order Fine-Tuning of LLMs

En 3 lignesUne étude révèle qu'en optimisation zeroth-order (ZO) pour fine-tuner les LLM, une seule couche de décodage domine l'adaptation. Fine-tuner cette couche dominante seule égale ou surpasse le fine-tuning ZO complet sur LLaMA2-7B et Qwen3-8B, avec accélération jusqu'à 4.52×. La couche dominante est identifiable avant entraînement via analyse des outliers d'activation.

Résumé généré par Claude — vérifié par l'humain