LoopQ: Quantization for Recursive Transformers

En 3 lignesLoopQ propose une méthode de quantization post-training (PTQ) adaptée aux modèles de langage récursifs (LoopLMs) qui réutilisent les blocs Transformer. La méthode adresse trois défis : décalage de distribution entre rôles, réutilisation d'état entre boucles, et accumulation d'erreur récursive. Résultats : +68,8% précision et -87,7% perplexité en W4A4 vs baseline.

Résumé généré par Claude — vérifié par l'humain