Pruning Deep Neural Networks via the Marchenko--Pastur Distribution

En 3 lignesMéthode de pruning de réseaux de neurones profonds basée sur la distribution de Marchenko–Pastur, avec fine-tuning minimal post-pruning. Sur ImageNet-1k, ViT-B/16 atteint 83.41% top-1 avec réduction MAC de 59.81% après 3 epochs de distillation; ResNet50 8:16 atteint 75.87% avec speedup 1.62× sur A40.

Résumé généré par Claude — vérifié par l'humain