Topic

#Qwen

Qwen est une famille de modèles de langage open source développée par Alibaba Cloud, couvrant du texte, du code et du multimodal. Par exemple, Qwen2.5-72B est un modèle de 72 milliards de paramètres disponible en accès libre sur Hugging Face.

40Articles
7Sources
60Signal moyen
arXiv cs.CL·

SENSE: Semantic Embedding Navigation with Soft-gated Evaluation for Retrieval-based Speculative Decoding

SENSE améliore le décodage spéculatif basé sur la récupération en utilisant les états cachés du modèle cible pour l'alignement sémantique. Un module d'évaluation soft-gated valide l'équivalence sémantique plutôt que les formes de surface. Sur LLaMA et Qwen, SENSE atteint 4.09 longueur d'acceptation moyenne et 3.26x d'accélération.

LlamaQwenRaisonnement
SIG
78
HYP
00
arXiv cs.CL·

ProtStructQA: A Denotation Threshold in Protein Structural Reasoning

ProtStructQA est un benchmark exécutable pour la réponse à des questions sur les structures protéiques. 382.2K questions générées depuis un langage spécialisé caché, évaluées sur Qwen3 (0.6B–8B) et Gemma-3. Découverte clé : seuil de capacité entre Qwen3-1.7B et 4B où les modèles passent de l'incapacité à produire des dénotations exécutables à la maîtrise du raisonnement chaîné.

BenchmarksRaisonnementQwen
SIG
78
HYP
00
arXiv cs.CL·

Skill or Skip? Learning Selective Skill Invocation in Agentic Tasks via Dual-Granularity Preference Learning

SelSkill, un framework d'apprentissage par préférence dual-granularité, optimise l'invocation sélective de compétences dans les tâches agentic. Sur ALFWorld avec Qwen3-8B : +10,9 pp de succès, +29,1 pp de précision. Sur BFCL : +5,7 pp de succès, +29,5 pp de précision. Transfère à zéro-shot sur Tau-bench et PopQA.

Agents IAReinforcement learningRaisonnement
SIG
72
HYP
00
arXiv cs.AI·

From "Weak" Signals to Strong Models: Preference Delta Aggregation with LoRA Merging

Preference Delta Aggregation (PDA) agrège des signaux de préférence faibles issus de paires de modèles (ex: Qwen3 4B vs 1.7B) via fusion de LoRA. Geometric Alignment Merging (GAM) aligne les sous-espaces d'adaptateurs avant agrégation. Sur benchmarks de raisonnement et recherche agentique, PDA+GAM améliore Qwen3 8B de +6,8 et +7,3 points respectivement.

QwenFine-tuningReinforcement learning
SIG
78
HYP
00
arXiv cs.AI·

PhyDrawGen: Physically Grounded Diagram Generation from Natural Language

PhyDrawGen est un pipeline neuro-symbolique qui génère des diagrammes de physique à partir de texte en respectant les lois physiques. Un LLM extrait un graphe de scène typé, un solveur déterministe le convertit en graphe planaire, et Qwen-VL affine une boucle propose-vérifier. Évalué sur 1 449 problèmes (mécanique, optique, électromagnétisme), il surpasse GPT-5-image et Gemini.

QwenRaisonnementVision
SIG
78
HYP
00
arXiv cs.LG·

Bounded Behavioral Indistinguishability for Black-Box LLM Distillation

Étude de la distillation de LLM en boîte noire via la notion de « bounded behavioral indistinguishability ». Les auteurs évaluent des paires Qwen et Llama avec une suite de 5 000 prompts, montrant que LoRA améliore la similarité sémantique (0.788→0.862 pour Qwen, 0.814→0.874 pour Llama) mais laisse subsister des différences comportementales détectables par adversaires.

Fine-tuningÉvaluationsSécurité IA
SIG
72
HYP
00
Reddit r/LocalLLaMA·

Speed difference between Windows 11 and Linux with llama.cpp: a myth when using medium and large MoE models

Benchmark llama.cpp comparant Windows 11 et Linux (Ubuntu 26.04) sur GPU Nvidia (RTX 5080 + 2× RTX 5060 Ti). Aucune différence significative de performance : Qwen 3.5 122B atteint PP 300/TG 28 (Windows) vs PP 290/TG 28.5 (Linux) ; Qwen 3.5 397B : PP 140/TG 16 vs PP 150/TG 15.2. Tests répétés 4 fois avec llama.cpp récent incluant optimisation VRAM.

LlamaQwenBenchmarks
SIG
72
HYP
00
Reddit r/LocalLLaMA·

mudler/Qwen3.6-35B-A3B-Claude-4.7-Opus-Reasoning-Distilled-APEX-MTP-GGUF just released !

Mudler publie des quantifications APEX GGUF du modèle Qwen3.6-35B-A3B-Claude-4.7-Opus-Reasoning-Distilled avec tête MTP (multi-token prediction) intégrée. Les fichiers activent le décodage spéculatif auto-contenu via llama.cpp sans modèle brouillon séparé. Taille +2,5% vs version non-MTP, tête MTP quantifiée Q8_0 pour précision de draft élevée.

QwenGénération de codeOpen source
SIG
75
HYP
00
Reddit r/LocalLLaMA·

For those creating personal assistants locally - how has short/long term memory impacted your experience?

Un utilisateur de r/LocalLLaMA rapporte avoir créé un agent autonome avec Qwen 3.5 27B, amélioré par un système de mémoire court/long terme (fichier memory.md, résumés quotidiens, auto-réflexions). L'agent exécute des tâches complexes (création d'apps, recherche web, installation logicielle). L'utilisateur privilégie cette approche locale à GPT/Gemini pour l'expérience utilisateur, malgré une puissance inférieure.

QwenAgents IAMulti-agents
SIG
35
HYP
00
arXiv cs.AI·

DenseSteer: Steering Small Language Models towards Dense Math Reasoning

DenseSteer est une méthode d'inférence sans entraînement qui améliore le raisonnement mathématique des petits modèles (≤3B paramètres) en modulant leurs représentations internes vers des patterns de raisonnement dense. Sur Qwen-2.5, l'approche montre que un raisonnement plus efficace utilise moins d'étapes mais avec une densité informationnelle plus élevée.

RaisonnementFine-tuningBenchmarks
SIG
72
HYP
00