LC-QAT: Data-Efficient 2-Bit QAT for LLMs via Linear-Constrained Vector Quantization

En 3 lignesLC-QAT propose une méthode de quantification 2-bit pour LLMs combinant vector quantization et optimisation différentiable. Le framework utilise un mappage affine appris sur des vecteurs discrets, éliminant le lookup de codebook explicite. Résultats : surpasse les méthodes QAT existantes avec seulement 0.1%-10% des données d'entraînement.

Résumé généré par Claude — vérifié par l'humain