3 articles
Hugging Face publie une méthode pour réutiliser les checkpoints de modèles de langage pré-entraînés dans des architectures encoder-decoder. La technique améliore l'efficacité d'entraînement et réduit les ressources nécessaires pour créer des modèles seq2seq performants.
Hugging Face documente le portage du système de traduction WMT19 de fairseq vers la bibliothèque transformers. Migration technique d'une architecture de traduction automatique neuronale vers l'écosystème transformers, avec reproduction des résultats du benchmark WMT19.
Hugging Face intègre Ray Tune pour l'optimisation automatique des hyperparamètres dans la librairie Transformers. Cette intégration permet aux chercheurs et praticiens d'ajuster efficacement les paramètres d'entraînement (learning rate, batch size, etc.) via des algorithmes de recherche distribués.