Compatibility-Aware Dynamic Fine-Tuning for Large Language Models

En 3 lignesCADFT (Compatibility-Aware Dynamic Fine-Tuning) étend Dynamic Fine-Tuning en contrôlant la variance au niveau des échantillons. La méthode utilise un signal de compatibilité dérivé des vraisemblances du modèle pour moduler les mises à jour supervisées et supprime les gradients haute-variance des démonstrations incompatibles. Expériences montrent amélioration de la stabilité, généralisation et initialisation RL.

Résumé généré par Claude — vérifié par l'humain