Llama est une famille de grands modèles de langage open-weight développée par Meta AI, utilisable en recherche et en production. Par exemple, Llama 3 peut être exécuté localement ou affiné sur des données personnalisées via Hugging Face Transformers.
Fast-dLLM++ améliore l'inférence des modèles de diffusion LLM en remplaçant la sélection de tokens par confiance homogène par un décodage basé sur le profil Fréchet. Sans entraînement supplémentaire, cette méthode exploite les profils de confiance hétérogènes pour paralléliser davantage de tokens, gagnant jusqu'à 37% de débit sur GSM8K, MATH, HumanEval et MBPP avec LLaDA-8B.
TriEval est un pipeline d'évaluation des LLM testant simultanément biais, toxicité et véracité avec ressources minimales. Compatible open-source et closed-source, il fonctionne sur laptop sans GPU. Testé sur Llama 3 8B, Mistral 7B, Gemma 2 9B et Claude Haiku, révélant des différences toxicité/véracité entre modèles.
SENSE améliore le décodage spéculatif basé sur la récupération en utilisant les états cachés du modèle cible pour l'alignement sémantique. Un module d'évaluation soft-gated valide l'équivalence sémantique plutôt que les formes de surface. Sur LLaMA et Qwen, SENSE atteint 4.09 longueur d'acceptation moyenne et 3.26x d'accélération.
llama.cpp version b9455 fusionne un correctif majeur pour la quantification du KV cache en mode tensor sur multi-GPU. La solution étend le backend meta pour gérer correctement l'aplatissement des tenseurs sans perdre les informations de forme, évitant ainsi de modifier les graphes de calcul.
PR sur llama.cpp limitant l'allocation mémoire des logits dans llama_context. Avec -ub 2048 et MTP, économise 1.2GB VRAM. Propose une API pour réserver l'espace logits uniquement pour n_seqs nécessaires, par défaut tous les tokens mais configurable à 1 en server-context.
ImmigrationQA : dataset de 17 058 paires QA source-grounded sur le droit d'immigration américain (13 sous-domaines). Fine-tuning d'un Llama 3.2 3B avec LoRA sur corpus de 10 056 documents validés. Modèle fine-tuné : 1.08/3.0 (16.8% correct) vs Llama 3 8B base : 0.85/3.0 (4% correct), amélioration relative 27%. Coût : ~29$. Dataset, modèle et code publics.
Étude arXiv sur l'affinage itératif des fonctions de récompense générées par LLM pour RL sparse structuré. Les auteurs identifient deux modes de défaillance dominants (reward flooding, incompréhension sémantique) et proposent un raffinement diagnostique guidé par taxonomie. Résultats : DoorKey-8x8 passe de 2,3% à 97,6%, KeyCorridor de 31,2% à 86,7%. Limites : méthode restreinte à PPO et tâches sparse structurées.
Étude de la distillation de LLM en boîte noire via la notion de « bounded behavioral indistinguishability ». Les auteurs évaluent des paires Qwen et Llama avec une suite de 5 000 prompts, montrant que LoRA améliore la similarité sémantique (0.788→0.862 pour Qwen, 0.814→0.874 pour Llama) mais laisse subsister des différences comportementales détectables par adversaires.
Discussion technique sur le fonctionnement du débordement VRAM dans llama.cpp. Un utilisateur exécute Gemma-4 26B (21GB) sur RX6600XT + Ryzen 7 5700X avec 32GB RAM, obtenant ~20 tokens/s en décodage. Question : comment s'effectue la répartition CPU/GPU et quel rôle joue la vitesse PCIe vs CPU ?
Llama Studio v0.2.0 introduit des scripts shell par modèle remplaçant JSON, la répartition GPU multi-cartes avec tensor-split, et la sauvegarde/chargement automatique de sessions. WebUI open-source pour gérer des instances llama-server.
Un utilisateur rapporte qu'ajouter une RTX 2070 Super (8 GB VRAM) à son système haute-end (RTX 5090, 9800X3D, 96 GB RAM) lui permet de faire tourner Qwen 3.6-27B en Q8_0 avec contexte 144k à 40-70 tok/s. Conclusion : plus de VRAM > meilleures perfs brutes pour l'inférence locale.
Stepfun 3.7 Flash offre une qualité proche de GLM 5.1 avec 80% de compréhension 3D, tout en consommant 75% moins de paramètres et intégrant la vision native. Recommandé pour les contraintes RAM.
Optimisation Flash Attention pour llama.cpp sur GPU RDNA3 : réduction de 47% de la VRAM KV par rapport à Vulkan f16. Packing 8-bit des K-values dans instructions GPU natives sudot4, sans quantization lossy. À 128k contexte avec MTP draft : 21.76 GiB vs 23.18 GiB (gain 1.42 GiB). Qualité préservée : KLD moyen 0.00455 (q4_0 V), 97.06% top-token identiques.
Benchmark llama.cpp comparant Windows 11 et Linux (Ubuntu 26.04) sur GPU Nvidia (RTX 5080 + 2× RTX 5060 Ti). Aucune différence significative de performance : Qwen 3.5 122B atteint PP 300/TG 28 (Windows) vs PP 290/TG 28.5 (Linux) ; Qwen 3.5 397B : PP 140/TG 16 vs PP 150/TG 15.2. Tests répétés 4 fois avec llama.cpp récent incluant optimisation VRAM.
Développeur crée un lecteur d'ebooks avec modèle de traduction embarqué basé sur llama.cpp. Application locale pour lecteurs multilingues : traduction IA, annotations, signets, critiques, recherche dans les notes. Utilise modèles compacts (4B-70B) sans dépendance cloud.
Analyse TCO d'un serveur LLM local de 6400$ équipé de 4x MI100 32GB et CPU EPYC 48-core. Exécute 4 instances llama.cpp avec Qwen 3.6 27B sur ROCm. Traite 20.4M tokens input et 1.32M tokens output/jour. Coût API équivalent: 3701$/an (308$/mois). L'auteur souligne l'importance de l'amortissement matériel pour un TCO réaliste.
Annonce d'un nouveau site web llama.app et d'un binaire unifié `llama` pour le projet llama.cpp. Développement continu de l'écosystème d'inférence locale.
Llama.cpp version B9406 corrige un crash GGML_ASSERT dans get_rows/mtmd_helper_decode_image_chunk lors de l'utilisation simultanée de MTP, MoE et vision avec Qwen 3.6-35B-A3B.
Pull request llama.cpp #23764 : utilisation de masques f16 dans Flash Attention pour réduire la consommation VRAM. Optimisation permettant de charger des modèles plus volumineux sur GPU.
Utilisateur teste MTP (Multi-Token Prediction) sur Qwen3.6-35B avec llama.cpp sur RTX 3090. Avec MTP activé (--spec-type draft-mtp), les performances diminuent : prefill passe de 1082 t/s à 878 t/s (N=1), génération de 116 t/s à 108 t/s. Taux d'acceptation des drafts faible (0.80 à 0.37). Demande comment améliorer.
Étude sur l'échec de la conception de récompenses par LLM en RL sparse structuré. Les auteurs identifient deux modes de défaillance dominants (reward flooding, incompréhension sémantique) et proposent un raffinement itératif guidé par diagnostics. Sur MiniGrid, DoorKey-8x8 passe de 2,3% à 97,6% de succès; KeyCorridor de 31,2% à 86,7%. La taxonomie des défaillances est le mécanisme principal.
Évaluation de 14 modèles de sécurité open-source sur 79 331 échantillons couvrant 8 catégories de risque NIST. Qwen Guard (4B) atteint le meilleur recall (83,97%), surpassant Llama Guard (12B) et GPT-OSS Safeguard (20B). La taille du modèle ne corrèle pas avec la performance de détection.
Méthode d'optimisation des préférences guidée par détection d'hallucinations pour améliorer la fiabilité des résumés cliniques. Sur Llama-3.1-8B-Instruct, réduction de 24% des hallucinations en inférence et 48% après fine-tuning, sans dégradation de fluidité. Évaluation sur MIMIC-IV.
COLAGUARD, un modèle de garde-fou, transfère le raisonnement de sécurité multi-étapes dans un espace latent continu via un curriculum d'entraînement par étapes. Évalué sur 10 tâches de modération et 8 benchmarks de sécurité, il améliore macro-F1 de 8,24 points sur Llama Guard 3, égale GuardReasoner en performance tout en offrant 12,9X d'accélération et 22,4X de réduction d'usage de tokens.
Cross-Model Entropy (CME) propose un signal de récompense sans labels pour l'entraînement RL des LLM post-training. CME utilise la log-vraisemblance moyenne des réponses sous un modèle vérificateur indépendant, évitant l'auto-cohérence et le reward hacking. Intégré à GRPO, CME atteint 52,5–71,4% de taux de victoire ajustés sur UltraFeedback/AlpacaEval 2.0 sur Qwen, Llama, Gemma, OLMo.
KOFF décompose les LLM en backbone partagé épars et modules mémoire externes spécialisés. Sur Llama et Qwen (3B-8B), le framework préserve les performances à 12% de sparsité globale en utilisant des adaptateurs LoRA et des caches KV appris, tandis que l'élagage sans mémoires dégrade fortement le modèle.
Nouvelle version b9387 de llama.cpp avec mise à jour significative du support AMD/ROCm. Les utilisateurs sont invités à partager leurs résultats de performance.
Un modèle LLM anonyme nommé Hy3 domine les classements OpenRouter avec une avance significative. Son identité et ses détails techniques restent inconnus, soulevant des questions sur sa provenance et ses capacités réelles.
Le RAG (Retrieval-Augmented Generation) améliore les modèles de langage en leur donnant accès à des données externes, réduisant les hallucinations et les erreurs. Cette approche combine recherche documentaire et génération pour optimiser la pertinence des réponses.
Sigilant-sweep, un CLI open-source pour llama.cpp et vLLM, compare 16 configurations (quantifications, KV cache, contexte). Sur Qwen2.5-7B, Q4_K_M surpasse Q8_0 de 230ms en TTFT et +10.7 TPS. L'outil mesure TPS, TTFT, PPL avec p50/p95 et score pondéré (latence/qualité/équilibre).
Discussion sur les optimisations llama.cpp pour contexte long : comparaison entre MTP (Multi-Token Prediction), quantification KV cache et performances. Utilisateur rapporte 60 tokens/s avec contexte long sur 3090, dégradation à 20 tokens/s lors du remplissage. Qwen 27B Q4 testé.
Optimisation du partage de charge entre GPUs hétérogènes (RTX 5090 + 3090) dans Ollama. Implémentation d'une pondération basée sur la puissance de calcul (SMCount × ClockMHz) plutôt que sur la VRAM seule. Résultat : vitesse supérieure à une 5090 isolée, meilleure utilisation de la VRAM du 3090 sans handicaper la 5090.
Analyse de 703 975 conversations SMS de jeunes en crise (Kids Help Phone, 2018-2023). Introduction de Keyphrase Generative Representation (KGR), un LLM contraint générant des phrases-clés spécifiques au contexte. Taxonomie étendue de 19 à 39 labels avec précision 0.96. KGR identifie 81% de phrases-clés pertinentes et améliore le workflow de recherche thématique (+0.45 en précision vs processus manuel).
Un développeur a fait tourner un LLM de 260K paramètres (llama2.c/stories260K) sur un émulateur JavaScript d'un CPU Motorola 68K des années 90, lui-même exécuté dans un RTOS de 2008. Quantification INT8 + lookup tables pour RoPE et inverse square root (Quake) pour contourner l'absence de FPU. Génération : 2-4 secondes/token.
Llama.cpp Console, une interface graphique pour llama.cpp, est désormais disponible pour les utilisateurs Windows. L'outil offre une alternative aux interfaces en ligne de commande pour exécuter des modèles LLM localement.
InfoQuant propose une méthode de quantification post-entraînement (PTQ) sans entraînement pour les LLM. Elle utilise Peak Suppression Orthogonal Transformation (PSOT) pour transformer les activations en distributions plus faciles à quantifier. Sur LLaMA-2 13B en W4A4KV4, elle préserve 97% de la précision et réduit l'écart de performance de 42% par rapport à l'état de l'art.
ReDose est un dataset de 6 435 posts Reddit annotés par des toxicologues pour extraire les entités DRUG, DOSE et EFFECT. BiomedBERT atteint F1=0.843 pour DRUG ; Llama-3 70B surpasse GPT-4 (F1=0.79 vs 0.72). L'extraction d'EFFECT reste difficile (recall GPT-4=0.41).
NestedKV compresse le cache KV des modèles long-context sans entraînement. La méthode maintient des ancres clés multi-échelles (globales, par bloc, fenêtre glissante), score les tokens par anomalie cosinus et combine les classements avec routage adaptatif par tête. Gains jusqu'à 19.10 points sur RULER et 19.29 sur LongBench vs KeyDiff (Qwen3-4B, r=0.75).
Reachy Mini, robot humanoïde de Pollen Robotics, fonctionne désormais entièrement en local sans connexion cloud. Intégration de modèles open-source (Llama, Whisper) pour la vision, la parole et le contrôle moteur. Déploiement sur hardware embarqué.
llama.cpp Console est une application Windows desktop (WPF) pour gérer llama.cpp sur WSL/Ubuntu sans terminal. Elle automatise l'installation de WSL, Ubuntu, CUDA, Vulkan, le téléchargement de modèles GGUF depuis Hugging Face, et le lancement de llama-server avec monitoring en temps réel (tokens, GPU, logs).