Examining the Limits of Word2Vec with Toki Pona

En 3 lignesÉtude de Word2Vec sur Toki Pona, langue construite de ~130 mots. Entraînement sur 1,4M phrases (7,95M tokens). Comparaison de deux modèles : avec et sans tokens non-Toki Pona (noms propres, emprunts). Résultat : les tokens rares rapprochent les mots similaires ; Word2Vec fonctionne même avec vocabulaire extrêmement réduit, grâce aux patterns distributionnels.

Résumé généré par Claude — vérifié par l'humain