Retour au feed
Reddit r/LocalLLaMA·

Qwen3.6-27B Quantization Benchmark

Signal
65
Hype
15
En 3 lignesBenchmark de quantifications Qwen3.6-27B sur HuggingFace (unsloth, mradermacher, IQ4_XS, Ununnilium) de Q8 à Q2. Mesure via llama.cpp : KL Divergence et Same Top P Percentage vs version BF16. Contexte 8192 tokens, KV cache q8_0. Q6-Q8 quasi sans perte.
Lire la source
Ton avis ?
QwenBenchmarksOpen source

Résumé généré par Claude — vérifié par l'humain