dMX: Differentiable Mixed-Precision Assignment for Low-Precision Floating-Point Formats

En 3 lignesdMX est un framework de quantification mixte-précision différentiable pour assigner des largeurs de bits flottants apprenables aux couches de LLMs. Testé sur Llama, Qwen3 et SmolLM2 avec le standard MXFP (Open Compute Project), il optimise continu les formats par couche puis les discrétise via annealing, surpassant les heuristiques KL-divergence sur WikiText-2 et benchmarks zero-shot.

Résumé généré par Claude — vérifié par l'humain