Un utilisateur de r/LocalLLaMA soulève que les benchmarks de quantification se concentrent sur la perplexité et la qualité prose, mais ignorent la validité des appels d'outils. Il hypothèse que les erreurs de quantification dégradent les sorties structurées (JSON, schémas) plus tôt que le texte libre, rendant les métriques actuelles inadéquates pour les cas d'usage agentiques.
Discussion technique sur la quantification Q8_0 : pourquoi ne pas ignorer les blocs de 32 valeurs contenant des outliers au lieu de les quantifier ? L'auteur suggère que cette approche pourrait améliorer la précision avec moins de 1% des sous-couches non quantifiées.
Gemma 4 E4B en format LiteRT avec moteur Google atteint 157.2 tok/s en génération de texte, 2.4× plus rapide que Q4 GGUF (66.3 tok/s) grâce à la prédiction multi-tokens (MTP). Captionnage d'images : gain marginal de 1.1× car le goulot est l'encodeur vision. Testé sur RTX 4060 Ti 16GB.
KeyLM, un modèle de 75M paramètres entraîné sur 18B tokens, surpasse SmolLM-135M-Instruct sur IFEval (17.85 vs 17.15) malgré une taille moitié moindre et 30x moins de données. Architecture standard : GQA, RoPE, SwiGLU, 24 couches, entraîné sur FineWeb-Edu, Wikipedia, Reddit et autres données publiques.
Un utilisateur a intégré un GPU datacenter V100 dans son PC gaming pour £200 et a documenté son expérience d'exécution de modèles locaux. Le billet a généré un intérêt significatif au-delà de Reddit.
Technique de wavelet pour améliorer la compréhension contextuelle des LLM sur le code. Approche basée sur l'analyse multi-échelle des structures de code pour optimiser le traitement par les modèles de langage.
Benchmark de codage comparant Step 3.7, Qwen 3.5 122B-A10B, Qwen 3.6 27B et Qwen 3.6 35B-A3B. Résultats bruts sans détails méthodologiques fournis dans l'extrait.
Benchmark de 20 petits LLMs sur GPU RTX 4050 6GB. L'auteur teste des quantifications Q4/Q6 GGUF avec 6 probes qualitatives (tool-call, JSON strict, décomposition de plan, pas d'hallucination de chemin) plutôt que des suites complètes, mesurant vitesse de préfill et génération à 1k/8k/32k tokens pour identifier les modèles viables en local sur hardware limité.
StepFun 3.5 MTP intégré dans llama.cpp avant Gemma MTP. Pull request #23274 ajoute le support du modèle StepFun avec architecture MTP (Multi-Token Prediction).
Comparaison des frameworks d'agents IA en 2026 : LangGraph pour workflows stateful, CrewAI pour prototypes multi-agents, LlamaIndex pour RAG, Pydantic AI pour services type-safe. L'auteur recommande d'éviter les frameworks pour cas simples et de bien spécifier le job avant de choisir.
Bonsai Image 4B propose des modèles de génération d'images quantifiés (1-bit et ternaire) pesant respectivement 0,93 GB et 1,21 GB. Ces versions compressées de Diffusion Transformer s'exécutent sur appareils locaux avec empreinte mémoire minimale.
Pull request pour llama.cpp ajoutant un toggle de mode « thinking » avec niveaux d'effort de raisonnement et améliorations de l'UI du formulaire de chat. Fonctionnalité visible en vidéo.
Benchmark complet de 8 petits LLMs (135M–1B) sur Jetson Orin Nano Super 8GB avec llama.cpp CUDA, testés en 4 modes de puissance (7W–MAXN). Mode 25W optimal : SmolLM2-135M atteint 165 tok/s et 22.6 tok/J ; LFM2.5-1.2B meilleur en classe ~1B (54.1 tok/s). 384 cellules de benchmark, données brutes publiées.
Un développeur cherche à construire un tuteur IA hors ligne gratuit basé sur un manuel universitaire. Architecture envisagée : RAG comme composant principal (chunking, embedding, retrieval avec citations page/section) + LoRA optionnelle pour le style pédagogique. Questions sur le choix du modèle (Qwen, Gemma), la gestion des structures complexes (figures, équations), et le packaging pour utilisateurs non-techniques.
Expérience 2 semaines : remplacement de Claude par Qwen3.6-27B (Q6_K, 22GB) dans un orchestrateur multi-agent sur RTX 3090. Succès : génération de plans (95% valides), extraction mémoire, auto-review. Échecs : fiabilité tool-call 12% vs 0.5% Claude, dérive contexte >14k tokens, gestion cascade-failures limitée.
Pull request pour ajouter le support de Step3.7-Flash dans llama.cpp. Les GGUFs sont disponibles sur Hugging Face. Un PR similaire pour Step-3.5-Flash est en cours.
Qwen 3.6-35B-A3B atteint 977 tokens/s en traitement de prompt et supporte une fenêtre de contexte de 262k sur Intel Arc B70 Pro via llama.cpp avec backend SYCL. L'utilisateur rapporte une inférence locale stable et utilisable pour des tâches complexes comme la génération de jeux.
Benchmarks llama.cpp sur Intel Arc Pro B70 publiés. Performance mesurée : 63 tokens/sec avec Qwen via SYCL. Test de GPU discret Intel pour inférence locale.
NVIDIA publie Cosmos 3, une collection de modèles omnimodaux (Nano 16B, Super 64B) capables de générer vidéo, image, audio et commandes d'action à partir de texte, image, vidéo et trajectoires. Disponible sur Hugging Face pour applications Physical AI.
Google publie Gemma Skills, une bibliothèque officielle pour améliorer les capacités de Gemma et les interactions modèle/agent. Version initiale disponible sur GitHub.
Un développeur entraîne un modèle local pour détecter les moustiques et les éliminer avec un laser. Projet de robotique appliquée combinant vision et contrôle automatisé.
ROCm sous Linux supporte désormais WSL2 de manière stable, bien que des bugs subsistent. Instructions de compilation fournies pour les utilisateurs.
MiniCPM5 1B est un nouveau modèle de langage compact d'OpenBMB. Contrairement à MiniCPM 4.6 (basé sur Qwen 3.5 0.8B), il semble être développé from scratch avec son propre tokenizer et sans capacités de vision. Les utilisateurs rapportent un comportement différent des autres petits modèles.
Un chercheur ayant travaillé plusieurs mois sur verl (framework RL post-training de ByteDance) détaille ses internals : orchestration des boucles RLHF, pattern single-controller, structures de données (DataProto), et un bug NCCL découvert. Fork abandonné mais expérience documentée pour la communauté.
Correction : les 600 GB/s annoncés pour RTX Spark correspondent à la bande passante NVLink, non à celle du GPU. Les médias ont confondu les deux spécifications selon les slides de Computex.
Un utilisateur de r/LocalLLaMA a généré un jeu de plateforme style Sonic avec Stepfun 3.7 Flash en une seule tentative. Le modèle a produit une mécanique de contrôle et une sensation de vitesse impressionnantes sans scaffold.
Utilisateur compare Qwen 3.6 27B (8-bit, exécuté localement) à Gemini Pro pour des tâches de recherche et conseil. Qwen surpasse Gemini sur les analyses approfondies (carrière, immigration, documentation officielle), tandis que Gemini hallucine et se fixe sur des messages antérieurs. Performance améliorée après support MTP dans llama.cpp.
llama.cpp version b9455 fusionne un correctif majeur pour la quantification du KV cache en mode tensor sur multi-GPU. La solution étend le backend meta pour gérer correctement l'aplatissement des tenseurs sans perdre les informations de forme, évitant ainsi de modifier les graphes de calcul.
Intel présente Crescent Island à Computex 2026, un GPU professionnel basé sur l'architecture Arc Xe 3P avec jusqu'à 480 GB de VRAM en LPDDR5X. TDP de 350W, support des formats FP4/MXFP4 à FP64 pour les workloads IA nouvelle génération.
NVIDIA RTX Spark disposera de 600GB/s de bande passante mémoire, le double de DGX Spark (273GB/s). Architecture mémoire unifiée avec 128GB LPDDR5X.
Système de routage ASR multilingue léger pour matériel local, utilisant Zipformer, Silero VAD et SpeechBrain. Dirige l'audio entre modèles monolingues spécialisés (~100M paramètres) plutôt qu'un seul modèle massif. Atteint 13% WER sur code-switching inter-énoncés, surpassant les APIs cloud. Limitation connue : 41% WER en intra-énoncés. Repo open-source disponible.
PR sur llama.cpp limitant l'allocation mémoire des logits dans llama_context. Avec -ub 2048 et MTP, économise 1.2GB VRAM. Propose une API pour réserver l'espace logits uniquement pour n_seqs nécessaires, par défaut tous les tokens mais configurable à 1 en server-context.
mistral.rs v0.8.2 atteint jusqu'à 2.8x plus rapide que llama.cpp en inférence CUDA sur Gemma 4 (dense et MoE) sur GB10, B200 et H100. Résultats reproductibles publiés avec support Q4K et eQ8_0, serveur OpenAI-compatible inclus.
Mellum2, un modèle IA rapide, devient open source. Conçu pour les workflows IA, il offre des performances optimisées pour l'exécution locale et l'intégration dans les outils de développement.
JetBrains publie Mellum 2, un MoE 12B/2.5B spécialisé en code. Performance en raisonnement comparable à Qwen 3.5 9B, inférieure à Qwen 3.5 4B sur autres tâches. Rapport technique disponible.
Research Proof est un outil open-source pour valider les améliorations de modèles IA. Il force à documenter la baseline, l'évaluation, les coûts et les régressions potentielles. Utile pour les releases de modèles, fine-tunes, données synthétiques et benchmarks.
Benchmark comparatif des quantifications MTP (Multi-Token Prediction) entre unsloth et bartowski sur Qwen 3.5-4B, 3.5-9B et 3.6-27B. Bartowski utilise Q8_0 pour la tête MTP (fichiers plus volumineux). Tests sur Snapdragon avec Q4_0, IQ4_NL, Q4_1, MXFP4_MOE, Q8_0 limités à 24GB VRAM RTX 3090. Unsloth généralement plus rapide en décodage (t/s) et efficace en VRAM.
Découverte d'une vulnérabilité RCE (exécution de code à distance) dans Odysseus Chat, un projet lié à PewDiePie. Un correctif est en cours de soumission via pull request.
Utilisateur déploie Deepseek V4 Flash sur DGX Spark (2x ASUS GX10) via vLLM. Contexte max 256k tokens, débit prefill 1680-2150 T/s, décode 37-49 T/s selon fenêtre. Performance stable, dégradation faible. Modèle surpasse M2.7 et Stepfun 3.7 en raisonnement haute contexte.
VibeETL : plateforme ETL visuelle open-source construite en 3 mois par un ancien data scientist. Backend Polars + Rust, frontend React Flow avec algorithme BFS natif. Zéro dépendance externe, exécution Python sandboxée (30s timeout). Alternatif léger à Alteryx.
Un utilisateur Reddit rapporte qu'un modèle (probablement Minimax M3) aurait été entraîné sur 100+ trillions de tokens, soit le double des standards actuels (27-50T pour Kimi, Mimo, Deepseek). L'auteur doute que le modèle dépasse 500B paramètres malgré cette augmentation massive de données.
Un utilisateur propose d'utiliser HTML comme langage de sortie principal pour les agents LLM, permettant de générer du contenu interactif et animé directement dans le chat via des iframes. L'approche est testée avec Qwen 3.6-27B sur dual 3090.
Un chercheur a construit Mamba-Titan-1.4B-Reasoning (2.54B params MoE) sur RTX 3060 en gelant un backbone Mamba-1 1.4B et en ajoutant 8 experts entraînables. Entraîné sur traces CoT DeepSeek, le modèle a développé un mécanisme de « vault door » : le token </think> s'isole à la plus petite norme (1.991 vs 4.742 moyenne) pour contrôler la terminaison du raisonnement latent.
Développeur crée un serveur MCP pour explorer l'ensemble de Mandelbrot via LLM. Outils : rendu d'images, présets de régions intéressantes, inspection des paramètres, palettes de couleurs, générateur de galerie HTML. Testé avec Qwen 3.6-35B. Repo GitHub : openmandel.
MiniMax M3 annoncé avec 1M tokens de contexte, capacités de coding et agentic avancées, support multimodal. Positionnement sur la frontière des modèles open-source haute performance.
Minimax M3 commence à être déployé sur l'API. Le modèle a été repéré il y a environ 15 minutes sur une capture d'écran.
Un utilisateur de r/LocalLLaMA recommande d'investir dans des GPUs plutôt que d'utiliser des hacks pour contourner le manque de VRAM. Il rapporte faire tourner Qwen 3.6-27B en Q8 avec cache K/V f16 sur 2×RTX 3090 d'occasion, atteignant 128k tokens de contexte (1399 pp, 104 tg).
Recherche sur la prédiction sémantique d'étapes dans les trajectoires de raisonnement des LLM. Méthode de prévision multi-étapes latentes via échantillonnage d'étapes pour améliorer le raisonnement des modèles de langage.
Le G7 s'accorde sur une terminologie commune distinguant l'IA open-source de l'IA open-weights. Les gouvernements formalisent des définitions que la communauté technique connaissait déjà.
Un développeur a entraîné GPT-1 (1B paramètres) sur une RTX 2060 Super 8GB en 1 heure. Il démontre qu'un gamer peut pré-entraîner localement un modèle spécialisé <1B sans infrastructure cloud. Code et modèle publiés sur GitHub et HuggingFace.