Does the Judge Prefer English? Evaluating Language-Switching Invariance in LLM-as-a-Judge

En 3 lignesJudge-LS évalue si les LLM utilisés comme juges automatiques montrent un biais linguistique. Sur 419 items du benchmark LLMBar transformés en anglais, chinois et variantes mixtes, les modèles affichent 10,7–14,4% de renversements de préférence selon la langue, avec une précision maximale en anglais. Les réponses équivalentes en traduction ne révèlent pas de préférence systématique pour l'anglais.

Résumé généré par Claude — vérifié par l'humain