Why LLMs Hallucinate on Structured Knowledge: A Mechanistic Analysis of Reasoning over Linearized Representations

En 3 lignesÉtude mécanistique des hallucinations dans les LLM sur connaissances structurées linéarisées (graphes, tables). Les hallucinations résultent de dynamiques internes systématiques : attention concentrée sur des indices structurels raccourcis, représentations feed-forward ne grounding pas la connaissance fournie, reversion à la mémoire paramétrée. Patterns généralisent à graphes multi-hop et données tabulaires.

Résumé généré par Claude — vérifié par l'humain