Task-Seeded Synthetic Q&A Generation for Nemotron Pretraining
Nvidia publie une méthode de génération synthétique de Q&A guidée par des tâches pour le préentraînement de Nemotron. La technique utilise des seeds de tâches pour créer des données d'entraînement diversifiées et de haute qualité, améliorant les capacités du modèle sur des benchmarks variés.