SHAPE: Coalition-Aware Expert Pruning for Sparse Mixture-of-Experts LLMs

En 3 lignesSHAPE est une méthode de pruning pour modèles MoE sparse qui évalue les experts via des coalitions observées plutôt qu'individuellement. Utilisant l'attribution Shapley sur les top-k routages, elle identifie les experts essentiels aux collaborations. Testée sur Qwen3-30B-A3B, GPT-OSS-20B et DeepSeek-V2-Lite, SHAPE maintient la précision avec 20-40% de pruning sans réentraînement et réduit la mémoire GPU.

Résumé généré par Claude — vérifié par l'humain