Quanto: a PyTorch quantization backend for Optimum

En 3 lignesHugging Face lance Quanto, un backend de quantification PyTorch intégré à Optimum. Cet outil permet de réduire la taille des modèles et d'accélérer l'inférence via la quantification, compatible avec les modèles transformers populaires.

Résumé généré par Claude — vérifié par l'humain