Query Lens: Interpreting Sparse Key-Value Features with Indirect Effects

En 3 lignesQuery Lens étend Logit Lens pour interpréter les features des autoencodeurs creux en analysant conjointement les clés (encoder) et valeurs (decoder). La méthode capture les effets indirects via les modules aval, révélant des signatures de tokens cohérentes pour des features opaques sous Logit Lens. Hypothèse : les modules aval lisent les features via des sous-espaces spécifiques par couche.

Résumé généré par Claude — vérifié par l'humain