Rethinking LoRA Memory Through the Lens of KV Cache Compression

En 3 lignesÉtude de l'interaction entre LoRA et KV cache en question-answering. Les adaptateurs LoRA deviennent utiles sous compression agressive du cache (récupérant 13-21 points ROUGE-L), fonctionnant comme mémoire paramétrique au décodage plutôt que comme encodeur. Supervision QA produit des adaptateurs plus forts que la prédiction next-token.

Résumé généré par Claude — vérifié par l'humain