KV cache quant benchmarks: KVarN 6-bit matches q8_0, 4-bit matches q5_0. Massive!

En 3 lignesKVarN, une technique de quantification KV cache, égale la précision des quants d'un bit supérieur : 6-bit KVarN rivalise avec q8_0, 4-bit avec q5_0. Benchmarks sur Qwen 27B 64k context montrent gains VRAM significatifs. Implémentation dans BeeLlama v0.3.2 (fork llama.cpp). Traitement prompt plus lent actuellement.

Résumé généré par Claude — vérifié par l'humain