The Efficiency Frontier: A Unified Framework for Cost-Performance Optimization in LLM Context Management
Cadre unifié pour optimiser le coût-performance de la gestion du contexte dans les LLM. Évalue conjointement performance, coût en tokens et réutilisation du prétraitement sur 5000 instances HotpotQA. Réduit l'usage de tokens de 25% à performance comparable (F1≈0.78) et atteint 50% de réduction de coût avec compression mémoire.