Prompt Perturbation for Reliable LLM Evaluation over Comparison Graphs
Signal
72
Hype
15
En 3 lignesMéthode pour évaluer les LLM via comparaisons par paires en résolvant l'intransitivité (cycles A≻B≻C≻A). Framework de perturbation de prompts génère des variantes, identifie les incohérences structurelles dans les graphes de comparaison, puis applique des méthodes de ranking filtrées pour stabiliser les leaderboards.Lire la source
Ton avis ?
Résumé généré par Claude — vérifié par l'humain