KV cache quant benchmarks: q5 & q6 are underrated, q8/q4 is bad, TCQ has a niche
Signal
78
Hype
15
En 3 lignesBenchmark complet de 38 paires de quantifications KV sur Qwen 3.6 27B avec contexte 64k-128k. Q5_0 et Q5_1 sous-estimés, Q8_0/Q4_* surestimés. Recommandation : Q8_0/Q6_0 ou Q8_0/Q5_1 haute performance, Q6_0/Q5_0 équilibre, Q5_0/Q5_0 VRAM limité.Lire la source
Ton avis ?
Résumé généré par Claude — vérifié par l'humain