When Softmax Fails at the Top: Extreme Value Corrections for InfoNCE
Signal
72
Hype
15
En 3 lignesInfoNCE, l'objectif standard du contrastive learning, repose sur une hypothèse statistique mal alignée avec les embeddings normalisés modernes. Les auteurs proposent WEINCE, une modification simple utilisant la théorie des valeurs extrêmes et des statistiques batch en ligne pour corriger les logits softmax, sans paramètres supplémentaires. Améliorations consistantes sur 5 benchmarks vision.Lire la source
Ton avis ?
Résumé généré par Claude — vérifié par l'humain