Stability vs. Manipulability: Evaluating Robustness Under Post-Decision Interaction in LLM Judges

En 3 lignesLes juges LLM utilisés pour évaluer les modèles IA sont instables sous interaction post-décision. Sur MT-Bench et AlpacaEval, les chercheurs montrent que des jugements initiaux peuvent être renversés par des défis ciblés, dégradant l'accord avec les préférences humaines et modifiant les classements. Ils introduisent l'Evaluation Robustness Score (ERS) pour mesurer cette fragilité.

Résumé généré par Claude — vérifié par l'humain