Neural Estimation of Pairwise Mutual Information in Masked Discrete Sequence Models

En 3 lignesMéthode neurale pour estimer l'information mutuelle conditionnelle par paires dans les modèles de diffusion masqués (MDMs). Le framework utilise les états cachés d'un MDM préentraîné et supervision par MI calculée depuis les distributions conditionnelles du modèle. Appliqué à Sudoku et génération de séquences protéiques (ESM-C), réduit les passes forward d'inférence de 3-5x en décodage parallèle guidé par MI.

Résumé généré par Claude — vérifié par l'humain