Interactive Evaluation Requires a Design Science

En 3 lignesPosition paper sur l'évaluation interactive des LLM. Les modèles déployés comme systèmes agissant dans le temps (outils, environnements, agents) nécessitent un paradigme d'évaluation distinct des benchmarks statiques. Les auteurs proposent une taxonomie, des principes de design et des standards de reporting pour évaluer processus, récupérabilité, coordination, robustesse et performance système.

Résumé généré par Claude — vérifié par l'humain