Retour au feed
arXiv cs.CL·

EvoSpec: Evolving Speculative Decoding via Real-Time Vocabulary and Parameter AdaptationTarget

Signal
78
Hype
25
En 3 lignesEvoSpec améliore le décodage spéculatif en adaptant dynamiquement le vocabulaire et les paramètres du modèle de brouillon en temps réel. Via indexation sémantique et apprentissage par curriculum, il maintient un taux d'acceptation élevé dans les domaines spécialisés (code, droit, médecine). Sur EAGLE-3 : 1.13x speedup vs FR-Spec avec 27% moins de mémoire.
Lire la source
Ton avis ?
Génération de codeRaisonnementInfrastructurePapers

Résumé généré par Claude — vérifié par l'humain