Cartridges at Scale: Training Modular KV Caches over Large Document Collections

En 3 lignesCartridges at Scale (CAS) entraîne des caches KV modulaires et réutilisables pour de grandes collections documentaires, éliminant le prefilling coûteux. Le framework gère dynamiquement des centaines de cartouches par document avec rotation GPU/stockage, scalant à plus d'un million de tokens. Performance : +10-31 points vs cartouche monolithique, -3-4x tokens vs RAG classique.

Résumé généré par Claude — vérifié par l'humain