Learning Faster with Better Tokens: Parameter-Efficient Vocabulary Adaptation for Specialized Text Summarization

En 3 lignesApproche d'adaptation de vocabulaire pour améliorer l'efficacité des LLM sur des domaines spécialisés (légal, médical). Combine adaptation du tokenizer avec préentraînement sélectif sur Llama-3.1-8B et Qwen2.5-7B. Réduit temps d'entraînement de 35-55% et paramètres de 37% vs méthodes d'expansion seule.

Résumé généré par Claude — vérifié par l'humain