DEL: Digit Entropy Loss for Numerical Learning of Large Language Models

En 3 lignesDEL (Digit Entropy Loss) est une nouvelle fonction de perte pour améliorer la prédiction numérique dans les LLM. Testée sur CodeLlama, Mistral, DeepSeek et Qwen-2.5 sur 7 benchmarks mathématiques, elle surpasse les méthodes existantes (MLE, Number Token Loss) en optimisant l'entropie des chiffres de manière supervisée et en généralisant aux nombres décimaux.

Résumé généré par Claude — vérifié par l'humain