Drifting Objectives for Refining Discrete Diffusion Language Models

En 3 lignesTokenDrift applique les méthodes de drifting (correction d'objectif) aux modèles de diffusion discrets pour le langage. La technique lève les prédictions catégoriques en features soft-token, applique un drifting anti-symétrique dans un espace sémantique gelé, et rétropropage vers les logits. Sur MDLM et DUO, TokenDrift réduit la perplexité de génération de 89% et 86% à 4 NFE.

Résumé généré par Claude — vérifié par l'humain