BitsMoE: Efficient Spectral Energy-Guided Bit Allocation for MoE LLM Quantization

## BitsMoE : Quantification ultra-basse précision pour MoE, enfin viable

### 1. Le problème concret

Les modèles Mixture-of-Experts (MoE) réduisent le calcul par token via l'activation sparse d'experts, mais leur empreinte mémoire reste proportionnelle au nombre total de paramètres — tous les poids d'experts doivent résider en mémoire simultanément. Qwen3-30B-A3B, par exemple, active 3B paramètres par token mais en stocke ~30B. La quantification à 2 bits est la voie naturelle pour réduire cette empreinte, mais les approches existantes s'y cassent les dents.

GPTQ, la référence dominante, applique une quantification à granularité grossière qui ignore deux réalités structurelles des MoE : (1) les experts partagent une base commune de représentations, et (2) l'importance des directions de poids varie massivement d'un expert à l'autre. Résultat sur Qwen3-30B à 2 bits avec GPTQ : une dégradation de précision si sévère que le modèle devient inutilisable sur les benchmarks downstream.

### 2. Ce que fait BitsMoE différemment

L'insight central est structural : décomposer chaque couche MoE par SVD en une **base partagée** (commune à tous les experts) et des **facteurs spectraux spécifiques à chaque expert**. La base partagée est conservée en pleine précision — elle encode la structure cross-expert qui, si quantifiée, dégrade uniformément tous les experts. Seuls les facteurs spécifiques sont quantifiés, et à précision mixte.

La détermination du bit-width par unité est formulée comme un programme linéaire en nombres entiers (ILP) : minimiser la perte de reconstruction estimée sous contrainte d'un budget de bits fixe. La reconstruction est guidée par les activations (activation-aware), ce qui permet d'allouer plus de bits aux directions spectrales à haute énergie — celles qui contribuent le plus à la sortie du modèle.

Cette approche résout deux problèmes simultanément : la redondance inter-experts (capturée et préservée dans la base commune) et l'hétérogénéité intra-couche (gérée par l'allocation mixte).

### 3. Les chiffres qui comptent

Sur **Qwen3-30B-A3B-Base à 2 bits** : - **+27,83 points de précision moyenne** sur les tâches downstream vs GPTQ — un écart qui transforme un modèle inutilisable en modèle déployable - **1,76× d'accélération du décodage** vs GPTQ, grâce à la réduction effective de la bande passante mémoire - **12,3× d'accélération de la quantification elle-même** vs GPTQ — le processus de compression est drastiquement plus rapide

Le gain de 12,3× sur la vitesse de quantification mérite attention : il signifie que BitsMoE peut être appliqué en pratique sans infrastructure de calcul massive, contrairement à certaines méthodes de quantification qui nécessitent des heures de calibration GPU.

Les expériences couvrent "multiple MoE LLMs" selon l'abstract, bien que Qwen3-30B soit le cas le plus documenté dans l'extrait disponible. La généralisation à d'autres architectures MoE (Mixtral, DeepSeek-MoE) reste à vérifier sur les tableaux complets.

### 4. Qui perd, qui gagne

**Gagnants directs** : les équipes qui déploient des MoE sur hardware contraint (edge servers, inférence à faible coût). À 2 bits, Qwen3-30B passe de ~60GB (FP16) à ~7-8GB théoriques, rendant le déploiement sur une seule A100 40GB ou même des GPU grand public envisageable. Le code et les modèles sont publics sur GitHub.

**GPTQ comme baseline perdante** : l'écart de 27,83 points sur une seule architecture est dévastateur pour GPTQ dans le contexte MoE ultra-low-bit. GPTQ reste pertinent pour les modèles denses et les précisions 4 bits, mais sa position sur les MoE à 2 bits est désormais difficile à défendre.

**Perdants potentiels** : les fournisseurs de solutions de quantification propriétaires qui n'ont pas intégré la structure spectrale MoE dans leurs pipelines. AWQ et GPTQ-variants sans adaptation MoE-spécifique se retrouvent dans la même situation.

**Limite à surveiller** : la décomposition SVD introduit un overhead de prétraitement et potentiellement une augmentation de la taille des checkpoints (la base partagée en pleine précision s'ajoute aux facteurs quantifiés). L'abstract ne quantifie pas cet overhead de stockage, ce qui est un angle mort important pour l'évaluation pratique. De même, les performances sur des tâches de génération longue ou de raisonnement complexe (vs accuracy moyenne sur benchmarks courts) restent à documenter.