LEAP: Learnable End-to-End Adaptive Pruning of Large Language Models

En 3 lignesLEAP propose une méthode d'élagage non-structuré end-to-end pour LLM utilisant une relaxation Bernoulli-Gumbel-sigmoid par poids. Sur cinq familles de modèles (0.5B–8B) à 50–60% de sparsité, LEAP améliore la précision zero-shot de +2.59 points en moyenne vs ADMM.

Résumé généré par Claude — vérifié par l'humain