Beyond Accuracy: Decomposing the Reasoning Efficiency of LLMs

En 3 lignesNouvelle métrique d'évaluation décomposant l'efficacité en tokens des LLMs raisonnants. Introduit un protocole trace-optional séparant taux de complétude, exactitude conditionnelle et longueur générée. Évalue 14 modèles open-weight sur CogniLoad, GSM8K, ProofWriter, ZebraLogic. Identifie trois modes de défaillance distincts : limites logiques, contextuelles et verbosité.

Résumé généré par Claude — vérifié par l'humain