High-Dimensional Random Projection for Activation Steering in Language Models

En 3 lignesHiDRA, une méthode d'activation steering sans entraînement, utilise la projection aléatoire haute-dimensionnelle pour améliorer le contrôle comportemental des LLM. Elle dépasse les approches linéaires basées sur les différences de moyennes en capturant des signaux discriminatifs dans les sous-espaces non-linéaires, avec gains constants sur plusieurs familles de modèles.

Résumé généré par Claude — vérifié par l'humain