Barriers for Learning in an Evolving World: Mathematical Understanding of Loss of Plasticity

En 3 lignesÉtude théorique de la perte de plasticité (LoP) en apprentissage profond dans des environnements non-stationnaires. Les auteurs identifient deux mécanismes principaux : saturation d'activation et redondance représentationnelle, qui créent des pièges dans l'espace des paramètres. Paradoxe : les propriétés favorisant la généralisation statique (représentations bas-rang) aggravent la LoP en apprentissage continu.

Résumé généré par Claude — vérifié par l'humain