Metric Match: A Subset Selection Approach to Evaluating LLM Judge Reliability

En 3 lignesMetric Match est une méthode pour évaluer la fiabilité des juges LLM avec moins d'annotations humaines. Elle sélectionne un sous-ensemble d'échantillons dont les étiquettes synthétiques correspondent aux métriques de fiabilité de la population. Sur 15 datasets, elle réduit l'erreur d'estimation de 18,7% et les besoins en annotation de 32,5%, économisant $1,041.67 dans un cas médical.

Résumé généré par Claude — vérifié par l'humain