Rational Sparse Autoencoder

En 3 lignesLes autoencodeurs creux (SAE) pour l'interprétabilité mécaniste utilisent des activations fixes (ReLU, JumpReLU, TopK). Cet article introduit le Rational Sparse Autoencoder (RSAE) qui remplace l'activation par une fonction rationnelle entraînable. Le RSAE améliore la reconstruction et la parcimonie sur trois modèles de langage open-weight sans sacrifier l'interprétabilité.

Résumé généré par Claude — vérifié par l'humain