6 articles
Hugging Face optimise les modèles TensorFlow dans sa librairie Transformers pour accélérer l'inférence. Les améliorations de performance permettent des déploiements plus rapides sans perte de précision.
OpenAI a porté ses clusters Kubernetes à 7 500 nœuds pour supporter l'entraînement de grands modèles (GPT-3, CLIP, DALL·E) et la recherche itérative. Infrastructure critique pour la scalabilité des modèles de langage.
Hugging Face intègre ZeRO (Zero Redundancy Optimizer) de DeepSpeed et FairScale pour réduire la mémoire GPU et accélérer l'entraînement des modèles. ZeRO partitionne états d'optimiseur, gradients et paramètres entre GPUs, permettant d'entraîner des modèles plus grands avec moins de ressources.
Hugging Face a optimisé l'inférence des transformers 100x pour ses clients API via des techniques de quantification, batching dynamique et cache KV. Les modèles comme Llama 2 et Mistral bénéficient d'accélérations mesurables en latence et throughput.
OpenAI présente CLIP, un réseau de neurones qui apprend les concepts visuels à partir de supervision en langage naturel. CLIP permet la classification visuelle zero-shot en fournissant simplement les noms des catégories, sans entraînement spécifique.
OpenAI présente DALL·E, un réseau de neurones capable de générer des images à partir de descriptions textuelles en langage naturel, couvrant un large éventail de concepts.