Leveraging Pre-trained Language Model Checkpoints for Encoder-Decoder Models
Hugging Face publie une méthode pour réutiliser les checkpoints de modèles de langage pré-entraînés dans des architectures encoder-decoder. La technique améliore l'efficacité d'entraînement et réduit les ressources nécessaires pour créer des modèles seq2seq performants.