BenSyc: Benchmarking Conversational Sycophancy and Human Alignment in LLMs for Bengali Contexts
Signal
78
Hype
15
En 3 lignesBenSyc est le premier benchmark pour évaluer la sycophantie conversationnelle dans les contextes sociaux bengalis. Construit à partir de 170k commentaires Reddit, il teste 15+ LLMs sur la classification d'alignement et la génération de réponses. Les meilleurs modèles atteignent seulement 61,8% Macro-F1 en détection binaire, révélant des difficultés à distinguer le soutien empathique de la validation excessive.Lire la source
Ton avis ?
Résumé généré par Claude — vérifié par l'humain