UniSVQ: 2-bit Unified Scalar-Vector Quantization
Signal
78
Hype
15
En 3 lignesUniSVQ propose une quantification unifiée 2-bit pour LLM combinant avantages de la quantification scalaire et vectorielle via transformation affine de réseaux entiers. Stratégie de fine-tuning par bloc minimise l'erreur de reconstruction. Expériences sur plusieurs familles LLM montrent surperformance vs méthodes SQ et parité avec VQ avancées, avec meilleur débit inférence.Lire la source
Ton avis ?
Résumé généré par Claude — vérifié par l'humain