LLM context compression at 16x beats KV cache

En 3 lignesUne technique de compression de contexte LLM atteint 16x de compression, surpassant les approches KV cache traditionnelles. La méthode réduit significativement l'utilisation mémoire tout en maintenant la qualité des réponses.

Résumé généré par Claude — vérifié par l'humain