SLAP: Stratified Loss-based Pruning for On-Policy Data-Efficient Instruction Tuning

En 3 lignesSLAP est une méthode de sélection de données pour l'instruction tuning qui évalue la learnability au niveau des batches plutôt qu'individuellement. Via sampling stratifié et optimisation de distance relative, elle atteint les performances du dataset complet avec 20-40% moins de données sur LLaMA, ChatGLM et tâches variées (dialogue, traduction, QA).

Résumé généré par Claude — vérifié par l'humain