What are They Thinking? Delineation, Probing and Tracking of Concepts in LLMs

En 3 lignesMéthode pour créer des sondes linéaires détectant des concepts dans les embeddings des LLM. Les auteurs définissent un processus : délineation du concept via datasets contrastés, entraînement de sondes par couche, suivi sur contextes larges. Testé sur 4 concepts et 3 LLM différents. Objectif : monitoring scalable de nouveaux modèles.

Résumé généré par Claude — vérifié par l'humain