The Structural Attention Tax: How Retrieval Format Hijacks In-Context Learning Independent of Content

En 3 lignesLes systèmes RAG sont vulnérables à un biais structurel : les triplets de graphes de connaissances capturent 2-3x plus d'attention par token que du texte naturel équivalent, comprimant l'attention des démonstrations jusqu'à 42%, indépendamment de leur pertinence. Les auteurs formalisent ce phénomène et proposent cinq stratégies d'atténuation, validées sur Mistral-7B et LLaMA-3-8B.

Résumé généré par Claude — vérifié par l'humain