Semantic Generative Tuning for Unified Multimodal Models

En 3 lignesSemantic Generative Tuning (SGT) aligne la compréhension visuelle et la génération dans les modèles multimodaux unifiés en utilisant la segmentation d'image comme proxy génératif. Les tâches sémantiques de haut niveau améliorent la séparabilité linéaire des features et l'allocation d'attention visuo-textuelle, surpassant les approches découplées.

Résumé généré par Claude — vérifié par l'humain