Llama est une famille de grands modèles de langage open-weight développée par Meta AI, utilisable en recherche et en production. Par exemple, Llama 3 peut être exécuté localement ou affiné sur des données personnalisées via Hugging Face Transformers.
ARIADNE est un framework sans entraînement pour sélectionner dynamiquement des adaptateurs au moment de l'inférence. Il représente chaque adaptateur par des centroïdes calculés à partir des embeddings de son ensemble d'entraînement. Testé sur Llama 3.2 1B avec 23 tâches NLP, il récupère 97,44% des performances optimales et atteint 89,7% de précision sur 44 tâches.
ProfiLLM est un pipeline LLM agentic déployé chez DiDi pour extraire des profils utilisateurs sémantiques à partir de logs comportementaux massifs. Le système utilise 27 outils analytiques pour miner les données et génère des profils alignés sur l'utilité prédictive, atteignant +6.14% d'amélioration AUC et +0.47% de GMV en test A/B.
llama.cpp intègre la gestion de modèles via API (PR #23976). Téléchargement et chargement/déchargement à la demande depuis un répertoire. Interface utilisateur prévue. Déploiement et gestion du cycle de vie complets via API seule.
llama.cpp optimise la gestion mémoire GPU. Les paramètres clés : --no-mmproj-offload libère 1GB pour modèles vision, --cache-type-k/v réduit KV cache de 50-75%, --spec-draft-n-max=2 optimise speculative decoding. Flash attention activé par défaut. Testé sur Qwen 3.6-27B avec contexte 150k sur RTX 3090.
Les modèles locaux sont passés d'outils marginaux à des solutions viables en un an. Gemma, Qwen, GLM, Kimi remplacent désormais certains appels API pour le code, les documents privés et les workflows locaux, bien que le gap persiste sur les tâches complexes nécessitant planification et correction d'erreurs.
Analyse de la faible diversité narrative dans les histoires générées par LLM. L'auteur examine pourquoi les modèles produisent des récits répétitifs avec des personnages et structures similaires, malgré des prompts variés.
GPT-NL est un modèle de langage souverain entraîné pour le néerlandais, développé aux Pays-Bas. Le projet vise à réduire la dépendance aux modèles américains et à préserver l'indépendance technologique linguistique.
Glint Research présente Glimmer 1, un modèle de langage fondationnel de 10k paramètres entraîné sur 500K tokens de FineWeb-Edu. Architecture standard Llama avec 16 dimensions cachées, 2 couches, 4 têtes d'attention et fenêtre de contexte de 512 tokens. Benchmarks : arc_easy 25.46%, wikitext-2 perplexité 14.73 (byte).
Article argumentant pour les modèles open-weight face aux labs frontier. Critique la concentration du pouvoir chez quelques entreprises et plaide pour l'accessibilité et la transparence des poids de modèles IA.
N2 Pro (rebrandé Rio-3.5) démontre des performances solides en benchmarks de code sur macOS 128GB. L'utilisateur rapporte une cohérence 100% sans hallucinations sur des tests privés llama.cpp, surpassant les modèles testés précédemment sauf GPT-5.x.
AeroLLM, application open source optimisée pour Apple Silicon, permet d'exécuter localement des LLM, TTS et STT via une interface graphique. Utilise MLX pour l'inférence native, télécharge les modèles depuis Hugging Face avec recommandations RAM, expose une API optionnelle. Version 0.1.0 disponible.
Audit de mécanismes internes du modèle LLaMA 3.1-8B-Instruct sur 54 prompts moraux utilisant Transluce. Découverte d'un « Situational Anchor Effect » : les représentations domaine-spécifiques dominent indépendamment du contenu éthique. L'éthique reste constante en capacité mais très sensible au cadre interprétatif du prompt. Identification d'un neurone candidat (L16/N3837) stable en température.
Nex2 mini Phase Twin : modèle 30B optimisé pour 16GB VRAM. Conçu pour les cartes Intel A770, fonctionne sur une seule GPU et s'améliore avec deux. Atteint 89 tok/s sur A770 16GB. Calibrage automatique selon le matériel.
Pull request #24080 sur llama.cpp ajoute le rendu de blocs UI/SVG. La démonstration vidéo montre des capacités de rendu SVG intégrées au projet.
llada.cpp est le premier framework d'inférence optimisé pour les NPU mobiles accélérant les diffusion LLMs sur smartphones. Trois techniques réduisent la latence : Multi-Block Speculative Decoding, Dual-Path Progressive Revision, et Swap-Optimized Memory Runtime. Sur LLaDA-8B, gains de 17x-42x vs CPU baseline.
Étude comparative du pruning vs. entraînement from scratch sur Llama-3.1-8B (ratios 0.5–0.8, 6 méthodes). Le pruning surpasse l'initialisation aléatoire avec budget tokens égal, mais cet avantage s'érode avec plus de tokens. Le pruning fin conserve un gain même avec budget illimité ; le pruning structuré grossier peut être rattrapé par l'entraînement from scratch.
Le support EAGLE a été fusionné dans llama.cpp. EAGLE est une technique d'accélération de l'inférence pour les modèles de langage qui réduit la latence en prédisant plusieurs tokens en parallèle.
Le boom des LLM cloud touche à sa fin. Les coûts d'inférence baissent, la concurrence s'intensifie et les marges se compriment. Les fournisseurs doivent innover au-delà du simple accès API pour survivre.
Heretic annonce un système de sauvegarde décentralisé pour les modèles locaux non censurés. Les modèles sont compressés à 9 KB, permettant le stockage sur téléphone. Le projet crée une infrastructure résiliente face aux takedowns, avec site officiel et documentation redondante.
Le PR #24260 de llama.cpp ajoute le support de l'architecture Cohere-MoE. Les utilisateurs testent les modèles North Mini Code, plus compacts (3GB de moins en Q8) que Qwen 3.6 27B pour l'inférence locale sur homelab.
Un modèle cloud frontier a été suspendu globalement en 48h après un ordre du Commerce américain limitant l'accès aux ressortissants étrangers. L'incident illustre le risque de dépendance aux services cloud : un modèle local 70B reste opérationnel sans interruption, plus lent mais autonome.
llama-launcher v1.3 ajoute une optimisation bayésienne via Optuna pour tuner automatiquement les paramètres de llama-server. L'outil rapporte jusqu'à 15% d'amélioration de vitesse sur Gemma 12B MTP sans intervention manuelle.
Discussion sur la distribution décentralisée des modèles LLM open-source. L'auteur propose de prioriser le partage des modèles de base non-quantifiés (fp16/bf16) plutôt que les variantes dérivées, arguant que les modèles de base sont les données primaires essentielles à préserver face aux restrictions croissantes des éditeurs fermés.
Le support PWA a été fusionné dans llama.cpp (PR #23871). L'interface web du serveur llama peut désormais s'installer comme une app native sur bureau/écran d'accueil, avec mode fenêtre autonome et icônes appropriées.
Benchmark dual-GPU (2× RTX 3080 20GB) comparant llama.cpp (row/tensor split) vs ik_llama (graph split) sur Qwen3.6-27B-Q8_0. Row split : 1732 t/s prompt, 23 t/s génération, VRAM 18.2/18.5 GB. Tensor et graph split non détaillés dans l'extrait.
Expérience avec MTP (Multi-Token Prediction) en speculative decoding sur llama.cpp. Les assistants MTP ne sont pas interchangeables : même nom et architecture ne garantissent pas les mêmes performances. Gemma 4 26B Q4 : ~30 t/s → 55-62 t/s avec le bon assistant. Les modèles assistants non quantifiés surpassent les versions Q4 (~10 t/s plus rapides).
EAGLE3 intégré à llama.cpp après 6 mois de développement. Le modèle assistant reçoit des indications du modèle principal, contrairement à MTP où il opère indépendamment.
InfiniteKV compresse le KV cache en enregistrements de 104 bytes indexables stockés en RAM ou sur disque, au lieu de supprimer les anciens tokens. Mistral-7B répond correctement à token 76,747 (2.3× sa fenêtre d'entraînement de 32,768). Un million de tokens nécessite ~3 GB au lieu de 122 GB.
Une technique de compression de contexte LLM atteint 16x de compression, surpassant les approches KV cache traditionnelles. La méthode réduit significativement l'utilisation mémoire tout en maintenant la qualité des réponses.
HCPD, une méthode de détection d'hallucinations sans accès aux internals du modèle ou références externes. Un agent LLM décompose adaptativement son jugement en critères pondérés et interprétables, aligné par supervision faible sur la cohérence sémantique. Code disponible.
Étude des mécanismes internes d'ancrage numérique dans les modèles de langage. Les chercheurs localisent les circuits responsables des biais d'ancrage (où des nombres hors contexte influencent les réponses) dans Qwen et Llama 7B-8B. Les méthodes au niveau des arêtes capturent mieux ce signal que les méthodes au niveau des nœuds.
Benchmark llama.cpp sur CPU Intel 250K Plus : optimiser l'argument --threads améliore les performances de +80% (49 → 88 tok/s). 16 threads optimal vs 6 threads (P-cores uniquement). Avec 18 cores, baisse de performance sans throttling détecté.
Utilisateur avec RTX 3080 Ti 12GB + RTX 3080 20GB cherche à optimiser l'inférence asymétrique. Gemma 4 31B en Q4_K_XL atteint 20t/s avec cache standard, 70t/s en compressant cache K/V en q4_0. Demande clarification sur expansion mémoire GGUF et conseils configuration dual-GPU.
Discussion sur les optimisations de vitesse pour llama.cpp avec modèles MoE sur multi-GPU. L'auteur explore les flags -ngl, -ncmoe, -fitt, -ub et leur impact sur throughput (50→120 tps en prompt processing). Débat sur la pertinence pratique de ces optimisations pour une carrière en IA.
Discussion communautaire sur NVFP4 dans llama.cpp. Utilisateurs comparent NVFP4 avec quantifications Q4-Q8 pour GPUs 8GB (RTX 4060, AMD, Intel). Questions : qualité NVFP4 vs Q6/Q8, benchmarks (vitesse, perplexité), modèles recommandés (Qwen 3.5-9B, Gemma-4-12B). Ressources : listes HuggingFace NVFP4 et GGUFs.
Minimax annonce la sortie en open weights de son modèle M3 prévue vendredi. Le modèle sera accessible en poids ouverts, permettant aux développeurs de l'utiliser localement sans restrictions propriétaires.
AutoMine, une méthode de mining de scénarios basée sur LLM et VLM, extrait des scénarios critiques des logs de conduite autonome. Utilise l'augmentation de prompts et des fonctions atomiques robustes. Score HOTA-Temporal de 36.38 à la compétition Argoverse 2 CVPR 2026.
Framework multi-agent AutoGen pour la conception automatisée de barrières en béton armé. Atteint 98% de précision en design en boucle fermée génération-évaluation-optimisation. Un modèle 8B surpasse des modèles 631B non contraints, réduisant coûts computationnels tout en respectant normes AASHTO-LRFD.
Les modèles de langage deviennent surconfiants quand on augmente le budget de raisonnement au-delà d'un seuil critique. Ce phénomène, appelé Calibration Drift Under Reasoning (CDUR), est étudié sur Llama-3.1-8B et Llama-3.3-70B. Les auteurs proposent CABStop, une règle d'arrêt calibrée pour arrêter le raisonnement quand la confiance diverge de l'exactitude réelle.
Une étude sur le steering d'activation montre que réduire la sycophantie dans Llama-3-8B-Instruct supprime aussi l'accord avec des énoncés factuellement corrects. Les représentations sycophantique et factuelle occupent des sous-espaces distincts mais le vecteur de steering les affecte également, révélant un fossé entre lisibilité et écrivabilité des activations.