Expert-Aware Refusal Steering

En 3 lignesDes chercheurs démontrent que les vecteurs de steering appliqués pendant l'inférence peuvent contourner les mécanismes de refus dans les LLMs Mixture-of-Experts (MoE). Deux méthodes expert-aware exploitent les patterns de routage spécifiques aux refus et les directions de steering par expert pour supprimer le comportement de refus. Les résultats suggèrent que l'attention joue un rôle majeur dans le refus des MoE.

Résumé généré par Claude — vérifié par l'humain