Modular Monolingual Adaptation using Pretrained Language Models

En 3 lignesApproche modulaire pour adapter des modèles de langage préentraînés à des langues peu dotées en ressources. Au lieu de réentraîner le modèle complet, les auteurs remplacent les tokens, gèlent les embeddings correspondants et ajustent le reste. Tests sur l'écossais, l'irlandais et le quechua (8.5k exemples) montrent des gains sur les tâches NLU (mask filling, NER, POS).

Résumé généré par Claude — vérifié par l'humain