Can AI Agents Synthesize Scientific Conclusions?

En 3 lignesSciConBench, un benchmark de 9.11K questions issues de revues systématiques, évalue la capacité des agents IA à synthétiser des conclusions scientifiques. Sur 8 modèles frontier testés en environnement contrôlé, le meilleur agent atteint un F1 factuel de 0,337. Les agents grand public (Google AI Overview, OpenEvidence) génèrent souvent des conclusions incomplètes ou contradictoires.

Résumé généré par Claude — vérifié par l'humain