TAPS: Target-Aware Prefix Tree Selection for Diffusion-Drafted Speculative Decoding
Signal
78
Hype
15
En 3 lignesTAPS propose une méthode de sélection de préfixes consciente de la cible pour le décodage spéculatif avec diffusion. En convertissant les marginales de diffusion en estimations d'acceptation conditionnées au chemin, TAPS sélectionne un sous-arbre compact sous budget de vérification fixe. Résultats : 7.9x speedup sans perte vs décodage autorégressif vanilla, 1.36x et 1.74x vs DFlash et DDTree.Lire la source
Ton avis ?
Résumé généré par Claude — vérifié par l'humain