PolyKV: Heterogeneous Retention and Allocation for KV Cache Compression

En 3 lignesPolyKV optimise la compression du cache KV en appliquant des stratégies hétérogènes par couche transformer, plutôt qu'une politique uniforme. Sur LLaMA-3.1-8B et Qwen3-8B, avec budget KV de 512 tokens, PolyKV récupère 54,5% et 25,7% de l'écart de performance LongBench versus FullKV.

Résumé généré par Claude — vérifié par l'humain