Beyond Accuracy: Measuring Bias Acknowledgment in Chain-of-Thought Reasoning for Responsible AI Evaluation

En 3 lignesÉtude sur l'évaluation des modèles de raisonnement au-delà de la simple précision. Les auteurs introduisent deux métriques : susceptibilité (si le biais casse une réponse correcte) et reconnaissance (si la trace mentionne explicitement le contenu biaisé). Sur GSM8K, GPT-4o et Claude Sonnet 4 montrent des taux de susceptibilité similaires (1,3% vs 1,2%) mais des taux de reconnaissance très différents (13,0% vs 75,0%).

Résumé généré par Claude — vérifié par l'humain