Mixture-of-Experts Can Surpass Dense LLMs Under Strictly Equal Resource

En 3 lignesUne étude arXiv montre que les modèles Mixture-of-Experts (MoE) peuvent surpasser les architectures denses sous contraintes de ressources égales (paramètres, compute, données). Les chercheurs identifient une région d'activation optimale cohérente entre tailles de modèles. Validation sur ~200 modèles 2B et 50 modèles 7B (50 trillions de tokens).

Résumé généré par Claude — vérifié par l'humain