LiftQuant: Continuous Bit-Width LLM via Dimensional Lifting and Projection

En 3 lignesLiftQuant propose une quantification à bit-width continu pour les LLM via un mécanisme « lift-then-project » qui projette un treillis 1-bit depuis un espace de dimension supérieure. Le bit-width effectif est contrôlé par le ratio des dimensions, permettant un ajustement quasi-continu. Un modèle 70B compressé à 2.4 bits sur 24GB GPU surpasse les modèles 2-bit existants.

Résumé généré par Claude — vérifié par l'humain