Retour au feed
Reddit r/LocalLLaMA·

cyankiwi AWQ 4-bit — 26.05 update, NVFP4 + FP8 Dynamic quantization and benchmarks across Qwen3.6 4-bit quants

Signal
78
Hype
15
En 3 lignescyankiwi publie une mise à jour AWQ 4-bit avec support NVFP4 et FP8 Dynamic quantization. Benchmarks KL divergence sur Qwen3.6 27B et 35B-A3B : cyankiwi/Qwen3.6-27B-AWQ-INT4 atteint 0.020443 KLD (meilleur dense), cyankiwi/Qwen3.6-35B-A3B-AWQ-4bit atteint 0.017126 KLD (meilleur MoE).
Lire la source
Ton avis ?
QwenBenchmarksOpen source

Résumé généré par Claude — vérifié par l'humain