Scaling-up BERT Inference on CPU (Part 1)
Hugging Face publie un guide sur l'optimisation de l'inférence BERT sur CPU. Première partie d'une série explorant les techniques de scaling pour améliorer les performances sans GPU.
3 articles
Hugging Face publie un guide sur l'optimisation de l'inférence BERT sur CPU. Première partie d'une série explorant les techniques de scaling pour améliorer les performances sans GPU.
Hugging Face lance Accelerate, une bibliothèque pour entraîner et inférer des modèles sur plusieurs GPUs/TPUs sans modifier le code. Compatible avec PyTorch, elle simplifie la distribution et l'optimisation des ressources.
Hugging Face publie un guide pour entraîner BART et T5 en distribué sur Amazon SageMaker. Utilise les Transformers HF avec optimisations multi-GPU/multi-nœud pour la summarization. Inclut code, benchmarks et bonnes pratiques.