Number-aware embeddings

En 3 lignesUn chercheur a développé des embeddings sensibles aux nombres en modifiant l'architecture d'un modèle MLM (ModernBERT). Après 6 heures d'entraînement sur H100, le modèle atteint 59% de précision sur le tri de triplets numériques vs 38% pour ModernBERT et 34% pour BGE-base-v1.5. La technique utilise une représentation log-magnitude avec 128 bins et une tête de classification-régression.

Résumé généré par Claude — vérifié par l'humain