SignMuon: Communication-Efficient Distributed Muon Optimization
Signal
78
Hype
15
En 3 lignesSign-Muon est un optimiseur distribué 1-bit qui combine l'agrégation par vote majoritaire (signSGD) avec le framework polaire de Muon. Il réduit la communication de 32× en float32 et atteint 92.15% de précision sur CIFAR-10/ResNet-50, avec 37% moins de temps d'entraînement sur 4 GPUs.Lire la source
Ton avis ?
Résumé généré par Claude — vérifié par l'humain