Building Better Activation Oracles

En 3 lignesLes Activation Oracles (AOs) interprètent les activations du residual stream, mais souffrent d'hallucinations et de vagueness. Cet article améliore l'entraînement des AOs via rollouts on-policy, datasets conversationnels optimisés, injection multi-couches et formules révisées. Les auteurs publient AObench, première suite d'évaluation complète pour la qualité des AOs.

Résumé généré par Claude — vérifié par l'humain