Retour au feed
Reddit r/LocalLLaMA·

Claude cli >= 2.1.154 breaks local use with vLLM by introducing "ctx", "msg" and "system" roles for API messages. This 1-line patch to vLLM fixes it.

Signal
65
Hype
15
En 3 lignesClaude CLI >= 2.1.154 introduit les rôles « ctx », « msg » et « system » pour les messages API, cassant la compatibilité avec vLLM. Un patch d'une ligne dans vLLM restaure la compatibilité et permet d'utiliser les workflows Claude avec des modèles locaux comme MiniMax-M2.7.
Lire la source
Ton avis ?
ClaudeOpen sourceOutilsInfrastructure

Résumé généré par Claude — vérifié par l'humain