QQJ: Quantifying Qualitative Judgment for Scalable and Human-Aligned Evaluation of Generative AI

En 3 lignesQQJ est un cadre d'évaluation des systèmes IA génératifs qui combine jugement humain et LLM. Il utilise des rubriques multi-dimensionnelles conçues par experts et calibre les évaluateurs LLM sur un petit ensemble d'annotations de haute qualité. Expériences sur texte et images montrent meilleure alignement avec le jugement humain que les métriques automatiques traditionnelles.

Résumé généré par Claude — vérifié par l'humain