ProfBench: Multi-Domain Rubrics requiring Professional Knowledge to Answer and Judge

## ProfBench : quand l'évaluation professionnelle expose les limites réelles des LLM

### 1. Ce qui change par rapport à l'état antérieur

Jusqu'ici, les benchmarks dominants — MMLU, MATH, HumanEval, GSM8K — évaluent des tâches à réponse vérifiable mécaniquement : calcul symbolique, code exécutable, QCM. Cette contrainte technique a orienté toute la communauté vers une optimisation de compétences qui ne représentent qu'une fraction des usages professionnels réels. ProfBench (arXiv:2510.18941) brise ce plafond méthodologique en introduisant 7 000+ paires réponse-critère annotées par des experts humains porteurs de diplômes PhD en physique, PhD en chimie, MBA finance et MBA conseil. Ce n'est pas un benchmark de plus : c'est une tentative de mesurer ce que les LLM font réellement quand on leur confie des documents professionnels complexes, de la synthèse d'information et la production de rapports structurés.

### 2. Les chiffres qui comptent

GPT-5-high — le modèle le plus performant testé — plafonne à **65,9% de performance globale**. Ce chiffre est brutal : sur des tâches que des professionnels diplômés considèrent comme leur cœur de métier, le meilleur modèle propriétaire disponible échoue sur plus d'un tiers des évaluations. L'écart entre modèles propriétaires et open-weight est décrit comme "notable" par les auteurs, sans que les valeurs exactes par modèle open-weight soient citées dans l'extrait disponible — le leaderboard HuggingFace (nvidia/ProfBench) est la source à consulter pour les comparaisons granulaires.

L'autre donnée structurante : la réduction du coût d'évaluation de **2 à 3 ordres de magnitude** grâce aux LLM-judges construits par NVIDIA. Concrètement, une évaluation qui coûtait potentiellement des dizaines de milliers de dollars en temps expert humain devient accessible pour quelques dizaines à quelques centaines de dollars. C'est ce qui rend le benchmark praticable pour des équipes sans budget NVIDIA.

### 3. L'architecture d'évaluation : le vrai apport technique

Le problème central des LLM-judges est le **self-enhancement bias** : un modèle tend à favoriser ses propres outputs ou ceux de modèles similaires. ProfBench documente explicitement des méthodes pour mitiger ce biais, ce qui est une contribution méthodologique indépendante du benchmark lui-même. Sans cette correction, tout leaderboard basé sur LLM-judge est potentiellement corrompu en faveur des modèles du même fournisseur que le judge.

La structure en rubrics (critères d'évaluation explicites par domaine) permet aussi une décomposition fine des performances : un modèle peut exceller en physique théorique et s'effondrer sur des cas de conseil stratégique. Cette granularité manquait dans les benchmarks précédents.

### 4. Qui perd, qui gagne

**Perdants potentiels :** Les équipes qui ont optimisé leurs modèles sur MMLU, MATH ou des benchmarks de code vont découvrir que leurs gains ne se transfèrent pas. Les fournisseurs de modèles open-weight sont particulièrement exposés si l'écart avec les propriétaires est aussi large que suggéré. Les entreprises qui ont déployé des LLM sur des workflows professionnels en se basant sur des scores MMLU élevés ont potentiellement surestimé les capacités réelles.

**Gagnants potentiels :** NVIDIA positionne ProfBench comme infrastructure d'évaluation standard pour les domaines professionnels — c'est un mouvement stratégique pour influencer les critères d'achat enterprise. Les équipes de recherche qui travaillent sur le raisonnement étendu ("extended thinking") ont maintenant un benchmark où cette capacité est mesurable et différenciante. Les praticiens en physique, chimie, finance et conseil ont enfin un outil d'évaluation aligné sur leurs standards métier.

**Point de vigilance :** 7 000 paires sur 4 domaines, c'est environ 1 750 exemples par domaine. La représentativité intra-domaine reste à valider — la physique PhD couvre-t-elle équitablement mécanique quantique, thermodynamique, physique des particules ? Le leaderboard public et le dataset HuggingFace (nvidia/ProfBench) permettront à la communauté de creuser ces questions. Le fait que NVIDIA soit à la fois producteur du benchmark et concurrent dans l'espace LLM (via ses partenariats et investissements) est une source de biais institutionnel à surveiller, même si la publication sur arXiv et l'ouverture des données atténuent ce risque.