E-PMQ: Expert-Guided Post-Merge Quantization with Merged-Weight Anchoring

En 3 lignesE-PMQ propose une méthode de quantization post-fusion pour déployer efficacement des modèles fusionnés multi-experts en basse précision. En utilisant les poids des experts sources comme guides lors de la calibration par couche et l'ancrage des poids fusionnés, E-PMQ améliore la quantization 4-bit GPTQ de 65,0% à 73,6% sur CLIP-ViT-B/32 (8 tâches) et de 34,8% à 76,7% sur CLIP-ViT-L/14 (20 tâches).

Résumé généré par Claude — vérifié par l'humain