SALSA: Speech Aware LLM Adaptation via Learned Steering Activation Vectors

En 3 lignesSALSA adapte les modèles de langage multimodaux à la parole via des vecteurs de direction appris par couche. La méthode optimise directement ces vecteurs sur enfants, multilingue et code-switching mandarin-anglais, gagnant jusqu'à 46,8% vs zéro-shot. Diriger l'encodeur (couches tardives) surpasse diriger le décodeur LLM.

Résumé généré par Claude — vérifié par l'humain