Diagnosing Multi-step Reasoning Failures in Black-box LLMs via Stepwise Confidence Attribution

En 3 lignesStepwise Confidence Attribution (SCA) diagnostique les erreurs de raisonnement multi-étapes dans les LLMs fermés en attribuant une confiance à chaque étape basée sur les traces générées. Deux méthodes : NIBS (non-paramétrique) et GIBS (basée graphe). Sur le raisonnement mathématique et QA multi-hop, SCA identifie les étapes erronées et améliore l'auto-correction de 13,5%.

Résumé généré par Claude — vérifié par l'humain