FinAuditing: A Financial Taxonomy-Structured Multi-Document Benchmark for Evaluating LLMs

En 3 lignesFinAuditing est un benchmark d'audit financier construit sur 1 102 instances XBRL réelles (33k tokens en moyenne). Il évalue 13 LLMs sur trois tâches : appariement sémantique, extraction de relations et raisonnement mathématique. Les résultats révèlent des lacunes significatives en récupération de concepts et raisonnement cross-document.

Résumé généré par Claude — vérifié par l'humain