CodeBind: Decoupled Representation Learning for Multimodal Alignment with Unified Compositional Codebook

En 3 lignesCodeBind propose un framework d'alignement multimodal via codebook compositif partagé-spécifique. La méthode décompose les représentations en composantes sémantiques partagées et spécifiques à chaque modalité, validée sur 9 modalités (texte, image, vidéo, audio, profondeur, thermique, tactile, nuage de points 3D, EEG) avec SOTA en classification et retrieval.

Résumé généré par Claude — vérifié par l'humain