Retour au feed
Reddit r/LocalLLaMA·

[OSS] dlmserve - first serving engine for diffusion language models

Signal
75
Hype
25
En 3 lignesdlmserve est le premier moteur de serving pour modèles de langage par diffusion (LLaDA, Dream-7B). Contrairement aux LLM autorégressifs, ils débruitent une phrase entièrement masquée en parallèle. API compatible OpenAI, batching continu, 2.5x de débit vs HuggingFace à batch=4, fonctionne en 12 GB VRAM. MIT, pip install dlmserve.
Lire la source
Ton avis ?
Open sourceGénération de codeInfrastructureOutils

Résumé généré par Claude — vérifié par l'humain