SlimQwen: Exploring the Pruning and Distillation in Large MoE Model Pre-training

En 3 lignesÉtude systématique de la compression de modèles MoE (Qwen3-Next-80A3B → 23A2B) via pruning et distillation à l'échelle du préentraînement. Le pruning surpasse l'entraînement from-scratch, la distillation multi-token (MTP) améliore les performances, et les schedules progressifs battent la compression one-shot.

Résumé généré par Claude — vérifié par l'humain