IdioLink: Retrieving Meaning Beyond Words Across Idiomatic and Literal Expressions

En 3 lignesIdioLink est un benchmark de retrieval contenant 10,700 documents et 2,140 requêtes sur 107 idiomes. Il teste si les modèles peuvent lier expressions idiomatiques à leurs équivalents littéraux. Les embeddings actuels (BGE, E5, Contriever, Qwen) échouent, s'appuyant sur des indices topicaux superficiels plutôt que sur l'abstraction sémantique.

Résumé généré par Claude — vérifié par l'humain