UniScale: Adaptive Unified Inference Scaling via Online Joint Optimization of Model Routing and Test-Time Scaling

En 3 lignesUniScale unifie le routage de modèles et le test-time scaling (TTS) dans un espace d'optimisation unique pour équilibrer qualité et coût computationnel des LLM. Le framework utilise LinUCB et la théorie des bandits contextuels pour apprendre des politiques d'inférence adaptatives en ligne, avec modélisation des coûts et apprentissage conscient de l'efficacité.

Résumé généré par Claude — vérifié par l'humain