Model Collapse as Cultural Evolution

En 3 lignesÉtude montrant que l'effondrement de modèle (dégradation progressive des LLM entraînés sur leurs propres sorties) suit les lois de l'évolution culturelle. Tests sur LLaMA-2-7B et Mistral-7B sur 10 générations en anglais, allemand et turc révèlent que la compositionnalité suit une trajectoire non-monotone (hausse puis baisse). Le filtrage basé sur les tâches, pas aléatoire, maintient la qualité.

Résumé généré par Claude — vérifié par l'humain