LazyAttention: Efficient Retrieval-Augmented Generation with Deferred Positional Encoding

En 3 lignesLazyAttention est un mécanisme d'attention qui optimise le cache clé-valeur (KV) pour les applications RAG et ICL en reportant l'encodage positionnel. Il permet la réutilisation sans copie du cache KV à des positions arbitraires, réduisant le TTFT de 1.37× et augmentant le débit de 1.40× vs Block-Attention.

Résumé généré par Claude — vérifié par l'humain