m3BERT: A Modern, Multi-lingual, Matryoshka Bidirectional Encoder

En 3 lignesm3BERT est un modèle d'embedding multilingue utilisant une stratégie Matryoshka pour optimiser les représentations sur plusieurs dimensions et couches transformer. Prétraîné en trois étapes (monolingue, multilingue, domaine web), il surpasse les modèles existants sur Bing-Click et s'adapte à des contraintes de ressources variables.

Résumé généré par Claude — vérifié par l'humain