SignRoundV2: Toward Closing the Performance Gap in Extremely Low-Bit Post-Training Quantization for LLMs

En 3 lignesSignRoundV2 est un framework de quantization post-training pour LLMs qui maintient les performances même en compression extrême (2-4 bits). Il combine une stratégie de précision mixte adaptative basée sur les gradients et des techniques de stabilisation légères. Les résultats montrent une perte de ~1% à 4.5 bits en moyenne en configuration MXFP mixte.

Résumé généré par Claude — vérifié par l'humain