Diffusion Policy Optimization without Drifting Apart

En 3 lignesDiPOD, une méthode d'optimisation de politiques de diffusion, résout l'instabilité du post-training RL en identifiant le phénomène de double-drift (divergence entre ELBO et log-vraisemblance). L'approche intercale auto-distillation et mises à jour de gradient, stabilisant l'entraînement sur modèles de langage et contrôle continu.

Résumé généré par Claude — vérifié par l'humain