Probing for Representation Manifolds in Superposition

En 3 lignesUne méthode supervisée appelée Manifold Probe découvre les variétés de représentation en superposition dans les réseaux de neurones. Testée sur Llama 2-7b, elle identifie des variétés linéaires pour le temps et l'espace, et démontre un contrôle causal en modifiant les complétions du modèle sur les années de sortie de films et chansons.

Résumé généré par Claude — vérifié par l'humain