Parameter Alignment Mitigates Catastrophic Forgetting in Multilingual Expert Language Models

En 3 lignesÉtude sur la prévention de l'oubli catastrophique lors de l'entraînement continu de modèles de langage multilingues. Les auteurs proposent cinq stratégies d'alignement des paramètres (gel de couches, régularisation, reversion post-hoc, fusion de modèles) testées sur 32 langues et quatre axes d'évaluation. L'alignement réduit significativement l'oubli des capacités existantes.

Résumé généré par Claude — vérifié par l'humain