D-PACE: Dynamic Position-Aware Cross-Entropy for Parallel Speculative Drafting

En 3 lignesD-PACE est une nouvelle fonction de perte pour l'accélération d'inférence LLM par décodage spéculatif. Elle adapte dynamiquement les poids d'entraînement par position en fonction des tokens qui limitent l'acceptation, améliorant la longueur acceptée et le speedup wall-clock de 2,3% sans modification architecturale.

Résumé généré par Claude — vérifié par l'humain