K-Quantization and its Impact on Output Performance

En 3 lignesÉtude empirique de l'impact de la quantification (2-6 bits) sur 8 LLMs évalués sur MMLU-Pro, CRUXEval et MuSR. Résultats : précision 8-bit (Q8_0) optimale, quantification agressive (Q2_K) acceptable mais avec pertes variables selon modèles/tâches. Modèles 7-9B offrent meilleur équilibre efficacité/performance.

Résumé généré par Claude — vérifié par l'humain