Word Class Representations Spontaneously Emerge from Successor Representations Trained on Natural Language

En 3 lignesDes chercheurs entraînent des réseaux de neurones sur WikiText-103 (103M tokens) en utilisant les Successor Representations (SR) du RL pour prédire les distributions de mots futurs. Sans supervision linguistique explicite, des catégories grammaticales (noms, verbes, adjectifs) émergent spontanément et deviennent séparables par clustering non supervisé, organisées selon l'horizon prédictif.

Résumé généré par Claude — vérifié par l'humain