PermDoRA -- Understanding Adapter Interference in Language Models: Limits of Parameter-Space Geometry

En 3 lignesPermDoRA teste l'hypothèse que l'interférence entre adaptateurs provient du chevauchement géométrique des paramètres. Sur LLaMA-3.1-8B et Mistral-7B, la fusion géométrique Riemannienne n'améliore pas la composition multi-domaine vs moyenne standard. L'orthogonalité des adaptateurs ne prédit pas la performance : l'interférence dépend plutôt des représentations non-linéaires partagées.

Résumé généré par Claude — vérifié par l'humain