Language Acquisition Device in Large Language Models

En 3 lignesDes chercheurs proposent LAD-inspired PPT, un pré-préentraînement sur MP-STRUCT, un langage formel encodant composition hiérarchique et déplacement à longue distance. Après 500 étapes, cette approche égale les baselines formels en efficacité tokens tout en conférant aux LLMs une résistance aux langages structurellement implausibles, similaire aux humains.

Résumé généré par Claude — vérifié par l'humain