JetFlow: Breaking the Scaling Ceiling of Speculative Decoding with Parallel Tree Drafting

En 3 lignesJetFlow améliore le speculative decoding en combinant l'efficacité du drafting parallèle avec le conditionnement causal par branche. Sur GPU H100, il atteint 9.64x speedup sur MATH-500 et 4.58x sur conversations ouvertes, dépassant les méthodes tree-based existantes sur modèles Qwen3 denses et MoE.

Résumé généré par Claude — vérifié par l'humain