Retour au feed
arXiv cs.AI·

FedSDR: Federated Self-Distillation with Rectification

Signal
72
Hype
28
En 3 lignesFedSDR propose une approche fédérée pour l'affinage des LLM face à l'hétérogénéité statistique. La méthode combine l'auto-distillation (FedSD) avec un mécanisme dual-stream : une branche LoRA-S locale pour absorber l'hétérogénéité et une branche LoRA-R globale ancrée aux données brutes pour garantir la fidélité factuelle.
Lire la source
Ton avis ?
Fine-tuningReinforcement learningAlignementPapers

Résumé généré par Claude — vérifié par l'humain