Rethinking 1-bit Optimization Leveraging Pre-trained Large Language Models

En 3 lignesNouvelle méthode de quantification 1-bit pour LLM exploitant les modèles pré-entraînés. Utilise un entraînement progressif cohérent (forward/backward) avec initialisation binary-aware et compensation dual-scaling pour convertir les poids en représentation binarisée. Réduit coûts d'entraînement et dégradation de précision comparé aux approches existantes.

Résumé généré par Claude — vérifié par l'humain