Retour au feed
arXiv cs.CL·

Fast-dLLM++: Fr\'{e}chet Profile Decoding for Faster Diffusion LLM Inference

Signal
78
Hype
15
En 3 lignesFast-dLLM++ améliore l'inférence des modèles de diffusion LLM en remplaçant la sélection de tokens par confiance homogène par un décodage basé sur le profil Fréchet. Sans entraînement supplémentaire, cette méthode exploite les profils de confiance hétérogènes pour paralléliser davantage de tokens, gagnant jusqu'à 37% de débit sur GSM8K, MATH, HumanEval et MBPP avec LLaDA-8B.
Lire la source
Ton avis ?
LlamaGénération de codeBenchmarksRaisonnement

Résumé généré par Claude — vérifié par l'humain