Neural Estimation of Pairwise Mutual Information in Masked Discrete Sequence Models

En 3 lignesFramework neural pour estimer l'information mutuelle conditionnelle par paires directement depuis les états cachés de modèles de diffusion masqués (MDMs). L'estimateur capture les dépendances internes du modèle et permet un décodage parallèle guidé par MI, réduisant les passes forward d'inférence de 3-5x sur Sudoku et génération de séquences protéiques (ESM-C).

Résumé généré par Claude — vérifié par l'humain