Structure Retention in Embedding Spaces as a Predictor of Benchmark Performance
Signal
72
Hype
15
En 3 lignesÉtude de 25 modèles d'embedding sur 5 tâches MTEB montrant que le chevauchement des plus proches voisins et les différences de magnitude en ICA corrèlent fortement (jusqu'à 0.97) avec la performance. Les tâches d'embedding affichent des degrés variables de linéarité et de rétention d'information locale.Lire la source
Ton avis ?
Résumé généré par Claude — vérifié par l'humain