CSP-Atlas: Concept-Specific Neural Circuits in a Sparse Python Transformer

En 3 lignesUne étude identifie 106 circuits neuronaux dédiés dans un transformateur sparse 8-couches entraîné sur du code Python. Les circuits se structurent selon des principes computationnels (atomicité, ambiguïté lexicale) plutôt que sémantiques. 62,5% des neurones les plus actifs aux couches intermédiaires sont concept-spécifiques pour les construits AST.

Résumé généré par Claude — vérifié par l'humain