Do Transformers Need Three Projections? Systematic Study of QKV Variants

En 3 lignesÉtude systématique des variantes QKV dans les transformers. Les auteurs testent trois contraintes de partage de projections (Q-K=V, Q=K-V, Q=K=V) sur tâches synthétiques, vision et modèles de langage (300M-1.2B). Q-K=V réduit le cache KV de 50% avec dégradation perplexité de 3.1%. Combiné à GQA/MQA, atteint 87.5-96.9% de réduction cache pour inférence edge.

Résumé généré par Claude — vérifié par l'humain