Small LLMs: Pruning vs. Training from Scratch

En 3 lignesÉtude comparative du pruning vs. entraînement from scratch sur Llama-3.1-8B (ratios 0.5–0.8, 6 méthodes). Le pruning surpasse l'initialisation aléatoire avec budget tokens égal, mais cet avantage s'érode avec plus de tokens. Le pruning fin conserve un gain même avec budget illimité ; le pruning structuré grossier peut être rattrapé par l'entraînement from scratch.

Résumé généré par Claude — vérifié par l'humain