Mixture of Experts (MoEs) in Transformers

En 3 lignesArticle sur les architectures Mixture of Experts (MoE) dans les transformers. Explique le mécanisme de routage qui active sélectivement certains experts pour chaque token, réduisant la complexité computationnelle tout en maintenant la performance. Couvre les implémentations récentes et les trade-offs.

Résumé généré par Claude — vérifié par l'humain