PACUTE: Phonology-, Affix-, and Character-level Understanding of Tokens for Filipino

En 3 lignesPACUTE est un benchmark de 4 600 tâches évaluant la compréhension morphologique du filipino dans les LLM. Le benchmark teste 6 niveaux compositionnels incluant l'infixation, la réduplication et les distinctions diacritiques. Les modèles open-weight performent au hasard en décomposition de morphèmes ; les modèles frontier récupèrent les affixes mais restent loin des plafonds en composition morphologique.

Résumé généré par Claude — vérifié par l'humain