Online Pandora's Box for Contextual LLM Cascading

En 3 lignesPapier arXiv proposant un modèle contextuel en ligne pour optimiser les requêtes à plusieurs APIs LLM. Le cadre « Pandora's Box » adapte la sélection d'APIs selon le contexte, avec une phase de requête (coût dépendant de la sortie) et une phase de sélection (récompense observée). L'approche combine estimation GMM des indices de réservation et bornes UCB, atteignant une regret cumulée en Õ(√T).

Résumé généré par Claude — vérifié par l'humain