Uncovering the Latent Potential of Deep Intermediate Representations

En 3 lignesÉtude sur la distribution non-monotone d'informations pertinentes aux tâches dans les couches intermédiaires des modèles fondamentaux. Propose LOES (Layer-wise Optimal Embedding Selection), méthode spectrale identifiant les sous-espaces discriminants, et GeoReg, régularisation géométrique stabilisant les représentations lors du fine-tuning. Gains croissants avec la profondeur du modèle.

Résumé généré par Claude — vérifié par l'humain