Contrastive targeted SFT as a mechinterp method - has anyone mapped causal dependency interactions this way? [D]

En 3 lignesChercheur teste une approche itérative combinant SFT ciblée et interprétabilité mécanique sur un modèle 31B. Stratégie : entraînement contrastif sur des dimensions de capacité spécifiques, puis ablation des circuits pour cartographier les dépendances causales entre dimensions et optimiser l'ordre d'entraînement futur.

Résumé généré par Claude — vérifié par l'humain