[OSS] dlmserve - first serving engine for diffusion language models
Signal
75
Hype
25
En 3 lignesdlmserve est le premier moteur de serving pour modèles de langage par diffusion (LLaDA, Dream-7B). Contrairement aux LLM autorégressifs, ils débruitent une phrase entièrement masquée en parallèle. API compatible OpenAI, batching continu, 2.5x de débit vs HuggingFace à batch=4, fonctionne en 12 GB VRAM. MIT, pip install dlmserve.Lire la source
Ton avis ?
Résumé généré par Claude — vérifié par l'humain