Prompt Compression in Diffusion Large Language Models: Evaluating LLMLingua-2 on LLaDA

En 3 lignesÉtude de la compression de prompts sur LLaDA, un DLLM de 8B paramètres, avec LLMLingua-2. Évaluation sur GSM8K, DUC2004, ShareGPT à ratio 2× montre que la préservation sémantique ne garantit pas la stabilité en modèles diffusion : le raisonnement mathématique se dégrade fortement tandis que la résumé reste robuste. Les méthodes autorégressives ne transfèrent pas uniformément aux DLLMs.

Résumé généré par Claude — vérifié par l'humain