Context Memorization for Efficient Long Context Generation

En 3 lignesNouvelle méthode d'optimisation pour les LLM avec longs contextes : attention-state memory externalise le préfixe en mémoire légère de lookup sans entraînement. Sur LLaMA-3.1-8B, réduit latence attention de 1.36x à 8K tokens et surpasse RAG full-attention avec 20% moins de mémoire.

Résumé généré par Claude — vérifié par l'humain