Retour au feed
Reddit r/LocalLLaMA·

proveKV – Honest 36× lossless (vs f32, 18x vs fp16) KV‑cache compression for LLMs (zero PPL regression)

Signal
78
Hype
25
En 3 lignesproveKV : technique open-source de compression KV-cache pour LLMs. Résultats : 36× réduction mémoire sans perte vs f32, 18× vs fp16 sur SmolLM2-1.7B + WikiText-2 (0% régression PPL). Pipeline d'audit automatisé avec validation reproductible.
Lire la source
Ton avis ?
Open sourceInfrastructureBenchmarks

Résumé généré par Claude — vérifié par l'humain