I'm still surprised on how good the kv quantization has become

En 3 lignesUn utilisateur de r/LocalLLaMA rapporte que la quantification KV (key-value) atteint une qualité remarquable : même avec KV en q4_0 (y compris le drafter), le modèle retrouve précisément les informations dans un contexte de 100k tokens.

Résumé généré par Claude — vérifié par l'humain