The Expert Strikes Back: Interpreting Mixture-of-Experts Language Models at Expert Level

En 3 lignesÉtude comparative de l'interprétabilité des architectures Mixture-of-Experts (MoE) vs réseaux denses. Les experts MoE montrent moins de polysémantique neuronale que les FFN denses, particulièrement avec routage sparse. Les experts fonctionnent comme des spécialistes de tâches linguistiques fines (ex: fermeture de crochets LaTeX), pas comme des spécialistes de domaines larges.

Résumé généré par Claude — vérifié par l'humain