ArcANE: Do Role-Playing Language Agents Stay in Character at the Right Time?

En 3 lignesArcANE est un benchmark automatisé évaluant si les agents de rôle-playing maintiennent la cohérence psychologique des personnages au fil de l'histoire. Construit sur 17 romans et 80 personnages, il teste les réponses à travers différentes phases narratives et scénarios inédits. Conditionner sur l'arc de caractère surpasse toutes les autres stratégies contextuelles sur 6 modèles.

Résumé généré par Claude — vérifié par l'humain