Prompt Compression in Diffusion Large Language Models: Evaluating LLMLingua-2 on LLaDA

En 3 lignesÉtude de la compression de prompts sur LLaDA, un DLLM de 8B paramètres, utilisant LLMLingua-2. Évaluation sur GSM8K, DUC2004, ShareGPT avec ratio 2× montre que la préservation sémantique ne garantit pas la stabilité en modèles diffusion : le raisonnement mathématique se dégrade fortement tandis que la résumé reste robuste. Les méthodes de compression autorégressives ne transfèrent pas uniformément aux DLLMs.

Résumé généré par Claude — vérifié par l'humain