I'm still surprised on how good the kv quantization has become
Signal
45
Hype
25
En 3 lignesUn utilisateur de r/LocalLLaMA rapporte que la quantification KV (key-value) atteint une qualité remarquable : même avec KV en q4_0 (y compris le drafter), le modèle retrouve précisément les informations dans un contexte de 100k tokens.Lire la source
Ton avis ?
Résumé généré par Claude — vérifié par l'humain