ToolSense: A Diagnostic Framework for Auditing Parametric Tool Knowledge in LLMs

En 3 lignesToolSense est un framework de diagnostic open-source pour évaluer la compréhension réelle des outils par les LLMs. Appliqué à ToolBench (~47k outils), il révèle une dissociation connaissance-récupération : cinq configurations de modèles paramétriques s'effondrent de 50-64 points sur des requêtes réalistes ambiguës, tombant sous la baseline embedding, malgré des performances fortes sur les benchmarks standards.

Résumé généré par Claude — vérifié par l'humain