Decoupled Mixture-of-Experts for Parametric Knowledge Injection

En 3 lignesDMoE (Decoupled Mixture-of-Experts) est une architecture modulaire pour injecter des connaissances paramétriques dans les LLM. Elle découple experts et routeur du modèle de base, convertissant des corpus externes en modules experts indépendants activés sélectivement via un routeur léger. Attachée à la dernière couche, elle évite l'oubli catastrophique et préserve la réutilisation du KV-cache.

Résumé généré par Claude — vérifié par l'humain