Equity with Efficiency: An Empirical Study of Tokenizers for Multilingual Large Language Models

En 3 lignesÉtude empirique comparant 11 tokeniseurs sur 11 langues d'Asie du Sud-Est. Les tokeniseurs BPE standard favorisent les langues à ressources élevées et l'alphabet latin. Parity-aware BPE atteint le meilleur compromis efficacité-équité; Morphology-Driven Byte Encoding offre meilleures performances sémantiques mais coûte plus cher.

Résumé généré par Claude — vérifié par l'humain