Beyond Safe Data: Pretraining-Stage Alignment with Regular Safety Reflection

En 3 lignesSafety Reflection Pretraining intègre des réflexions de sécurité courtes dans les corpus de préentraînement pour établir l'auto-surveillance directement dans la modélisation du langage. Sur des modèles 1.7B préentraînés sur FineWeb-Edu, la méthode améliore la précision de classification de sécurité et réduit substantiellement les taux de succès des attaques en inférence et fine-tuning.

Résumé généré par Claude — vérifié par l'humain