Decompose Sparsely Where You Should, Absorb Densely Where You Should No
Signal
78
Hype
15
En 3 lignesLes autoencodeurs creux (SAE) supposent que tous les activations peuvent être décomposés de manière parcimonieuse. Cette étude propose d'ajouter un goulot d'étranglement dense de rang faible en parallèle aux SAE pour capturer une composante dense causalement importante. Sur Gemma-2-2B, un goulot de rang 24 réduit les latents denses de 84% tout en améliorant les performances de sondage.Lire la source
Ton avis ?
Résumé généré par Claude — vérifié par l'humain