CodeBind: Decoupled Representation Learning for Multimodal Alignment with Unified Compositional Codebook

En 3 lignesCodeBind propose un cadre d'alignement multimodal utilisant un codebook compositif partagé-spécifique. Testé sur 9 modalités (texte, image, vidéo, audio, profondeur, thermique, tactile, nuage de points 3D, EEG), il atteint des performances SOTA en classification et retrieval multimodal sans nécessiter de données entièrement appairées.

Résumé généré par Claude — vérifié par l'humain