Balancing Knowledge Distillation for Imbalance Learning with Bilevel Optimization

En 3 lignesBiKD propose un framework bilevel pour équilibrer dynamiquement les pertes hard et soft en distillation de connaissance sur données déséquilibrées. Un réseau de génération de poids produit des pondérations adaptatives par échantillon, guidé par un ensemble de validation équilibré. Expériences sur CIFAR-10/100 long-tailed montrent des gains sur les méthodes récentes.

Résumé généré par Claude — vérifié par l'humain