Étude systématique comparant les modèles d'espace d'état (SSM) pour la classification de séries temporelles. S4D surpasse les variantes Mamba en précision et efficacité. Les auteurs proposent MS4 et MS4N, versions légères de S4D avec projection linéaire et mélange de canaux. Évaluation sur 59 datasets (MONSTER, UEA) : MS4N égale des modèles 10× plus grands en paramètres.
Article théorique sur l'efficacité échantillonnale des modèles prédisant leurs propres représentations latentes (data2vec, JEPA). Preuve que la prédiction latente réduit la complexité d'échantillon de exponentielle en L (profondeur) à constante, vs. prédiction de tokens. Validation sur grammaires probabilistes et réseaux de neurones.
HQMQ, méthode sans calibration pour compresser le cache KV des LLM, quantifie chaque chunk de 4 éléments comme quaternion Hurwitz. Testé sur Mistral-7B, Llama-3-8B, Qwen2.5/3-8B et gpt-oss-20b : atteint qualité fp16 à ~5 bits, compression jusqu'à 5.05× (Llama-3-70B : 43 GB → 8.5 GB), surpasse int4 naïf de 3–1900×.
Laguna M.1 (225.8B paramètres, 23.4B activés) et Laguna XS.2 (33.4B total, 3B activés) sont deux modèles MoE entraînés end-to-end pour le coding agentic. Compétitifs sur SWE-bench Verified, SWE-bench Multilingual, SWE-Bench Pro et Terminal-Bench 2.0. XS.2 disponible sous Apache 2.0.
EnterpriseMem-Bench, un benchmark multi-tour Text-to-SQL de 1 400 tours sur 300 sessions, évalue GPT-5 mini, GPT-5.2, Claude Sonnet 4.5/4.6 et Opus 4.6. Résultats clés : sans mémoire, la précision s'effondre dès le tour 3 ; la mémoire de travail domine les architectures complexes ; Sonnet 4.6 régresse de 17-33pp sur SEC EDGAR vs Sonnet 4.5.
Qwen3 améliore ses capacités de raisonnement via Self-Verified Distillation, un algorithme post-training sans données externes. Le modèle génère des solutions, les filtre par auto-vérification (cycle-consistency, factualité, correction), puis s'entraîne sur les données auto-curées. Gains : +16.7 points en math (AIME26/HMMT), +11.1 en science (GPQA), +8.3 en coding pour Qwen3-4B.
SPEAR est un optimiseur de prompts agentic qui intègre un sandbox Python pour analyser les erreurs structurelles (matrices de confusion, clustering). Évalué sur 13 tâches industrielles LLM-as-judge et BBH-7, il surpasse GEPA et TextGrad (κ 0.857 vs 0.359 sur sélection d'outils; F1-macro 0.815 vs 0.763). L'outil Python contribue +0.79κ sur les tâches complexes.
ScientistOne, un système autonome de recherche, introduit Chain-of-Evidence (CoE) pour tracer chaque affirmation à sa source. Évaluation sur 75 articles : les systèmes de base montrent 21% de références halluccinées, 42% de vérification de scores réussie. ScientistOne atteint 0 hallucination, vérification parfaite, et surpasse les experts humains sur 5 tâches.
InfoQuant propose une méthode de quantification post-entraînement (PTQ) sans entraînement pour les LLM. Elle utilise Peak Suppression Orthogonal Transformation (PSOT) pour transformer les activations en distributions plus faciles à quantifier. Sur LLaMA-2 13B en W4A4KV4, elle préserve 97% de la précision et réduit l'écart de performance de 42% par rapport à l'état de l'art.
Étude sur l'asymétrie de récupération cross-lingue dans 5 modèles multilingues (Gemini, Mistral, OpenAI, Qwen). Analyse de 6 518 expressions idiomatiques en anglais, bengali, hindi et arabe. Résultat : la « hubness » (concentration de vecteurs) est le principal facteur causal (49,5% de dominance), bien plus que l'anisotropie. La correction CSLS ferme 63,5% de l'écart de réciprocité.
AgingBench, un benchmark de fiabilité longitudinale, évalue comment les agents IA déployés se dégradent au fil du temps. Étude sur 14 modèles et ~400 exécutions montrant que la fiabilité dépend de quatre mécanismes : compression, interférence, révision et maintenance. Les agents perdent précision factuelle même quand les tests comportementaux restent corrects.
ChaosBench-Logic v2 est un benchmark de 40 886 questions évaluant le raisonnement logique de 14 LLM sur 165 systèmes dynamiques. Le protocole CARE révèle des défaillances critiques : le raisonnement sur les transitions de régime reste quasi-aléatoire (MCC=0.05), tandis que la déduction FOL atteint MCC=0.52. Qwen 2.5-32B surpasse les modèles propriétaires en diagnostics d'indicateurs.
EvoCode-Bench évalue 13 agents de codage sur 26 tâches avec 5-15 tours itératifs. Les agents doivent maintenir un codebase fonctionnel face à des changements de spécifications. Résultat : écart de 22-40 points entre performance single-round (SR) et multi-tour (MT@4), avec succès <50% en multi-tour et dégradation progressive (taux de réussite divisé par 2 au tour 5).
LLM-AutoSciLab propose un cadre de découverte scientifique en boucle fermée couplant génération d'hypothèses, sélection d'expériences et raffinement de mécanismes. Évalué sur ActiveSciBench (57 tâches de cinétique enzymatique, 45 réseaux de régulation génique), le système atteint 67,6% de précision symbolique et 2-5x meilleure efficacité d'échantillonnage que les baselines.
Une étude identifie 106 circuits neuronaux dédiés dans un transformateur sparse 8-couches entraîné sur du code Python. Les circuits se structurent selon des principes computationnels (atomicité, ambiguïté lexicale) plutôt que sémantiques. 62,5% des neurones les plus actifs aux couches intermédiaires sont concept-spécifiques pour les construits AST.
Étude quantifiant la redondance dans le raisonnement des LLM : 61-93% des étapes de pensée peuvent être supprimées sans affecter la réponse correcte. Analyse sur 4 modèles frontier et 2 benchmarks mathématiques (MATH-500). La redondance est structurelle, liée aux récompenses indépendantes de la longueur, non un artefact modèle-spécifique.
QUEST est une famille de modèles open-source (2B à 35B) entraînés comme agents de recherche profonde via une pipeline de synthèse de données et RL. Avec seulement 8K tâches synthétiques, QUEST égale ou surpasse les systèmes propriétaires sur 8 benchmarks de recherche, excelle en citation et synthèse de rapports. Code, données et modèles publiés.
BODHI, une méthode de prompting par connaissance de domaine, améliore la génération automatique de spécifications de noyaux OS via LLM. Testée sur 9 modèles (Anthropic, Mistral, Amazon, DeepSeek, Meta, Alibaba), elle atteint 96.73% Pass@1 avec Claude Opus 4.6, contre 55.10% en baseline, en structurant la traduction C-to-Python par catégories de patterns.
Raon-Speech est un modèle de langage parlé 9B multilingue (anglais/coréen) capable de comprendre et générer la parole tout en préservant les capacités textuelles. Entraîné sur 1,38M heures de données, il surpasse 8 modèles audio comparables (Qwen2.5-Omni, Fun-Audio-Chat) sur 42 benchmarks. Raon-SpeechChat ajoute la conversation full-duplex temps réel via 119K heures de dialogue.
Delta Attention Residuals améliore les connexions résiduelles en routant sur les différences entre couches (deltas) plutôt que sur les états cachés cumulatifs. Résultats : −8.2% PPL à 7.6B, routing 1.8× plus net (max weight 0.2→0.6), <0.01% overhead paramétrique. Code et paper disponibles.
Étude montrant que l'effondrement de modèle (dégradation progressive des LLM entraînés sur leurs propres sorties) suit les lois de l'évolution culturelle. Tests sur LLaMA-2-7B et Mistral-7B sur 10 générations en anglais, allemand et turc révèlent que la compositionnalité suit une trajectoire non-monotone (hausse puis baisse). Le filtrage basé sur les tâches, pas aléatoire, maintient la qualité.
FuRA propose une méthode de fine-tuning efficace en paramètres basée sur la décomposition SVD complète des matrices de poids. En gelant une base singulière préentraînée et optimisant uniquement les composantes compactes via factorisation tensor-train, FuRA surpasse le fine-tuning complet et LoRA sur LLaMA-3-8B (+1.37 en raisonnement) et VLMs, avec efficacité comparable à LoRA.
Des autoencodeurs creux (SAE) décomposent GPT-2 XL et Llama-3.1-8B en 16K-32K features interprétables par couche. Les features sémantiques seules récupèrent 94% de la performance d'encodage peak (r=0.285), et s'alignent avec l'organisation corticale sémantique connue (ρ=0.72, p<0.001). Les résultats généralisent sur l'anglais, le chinois et le français.
L'alignement cerveau-LLM dépend de la langue d'entraînement, non de propriétés inhérentes à l'anglais. Test sur 112 participants (anglais, chinois, français) avec 7 LLMs : un modèle dominé par le chinois (Baichuan2-7B) inverse le gradient d'alignement. La distance typologique et la fertilité de tokenization expliquent les variations restantes.
ImProver 2 est un framework neurosymbolique pour optimiser automatiquement les preuves formelles en Lean 4. Un modèle 7B entraîné surpasse des modèles bien plus grands et rivalise avec les modèles frontière. Le scaffold expose la structure formelle et des abstractions informelles légères.
IDS (Inductive Deductive Synthesis) est un système multi-agent LLM qui synthétise conjointement implémentation et preuve formelle pour les systèmes distribués. Sur 7 spécifications de key-value stores, IDS atteint 7/7 en 6.8h/$106, contre 2/7 pour GPT-5.4 et Claude Opus 4.6. Résultat 200x plus rapide que l'effort expert, 17% moins cher que les agents SOTA.
hipEngine est un moteur d'inférence LLM open source (AGPLv3) optimisé pour RDNA3 (RX 7900 XTX, W7900). Écrit en Python avec kernels HIP/C++, il exécute Qwen 3.6 MoE plus vite que llama.cpp en prefill (2718 tok/s à 512 tokens vs 2436 pour GGUF Q4_K_S). Support INT8 KVCache quasi sans perte permet 256K contexte en <24GB.
BitCPM-CANN présente une quantification ternaire (1.58-bit) native sur NPU Ascend. Quatre modèles (0.5B à 8B) conservent 95.7–97.2% des performances full-precision sur 11 benchmarks (raisonnement, GSM8K, BBH). Surcoût d'entraînement : 4.5%. Réduction mémoire : 8× poids, 6× end-to-end. Premier système 1.58-bit à 8B sur NPU domestique.
Qwen3.6 35B-A3B MTP atteint 249 t/s sur RTX 5090M (24GB), 3.4× plus rapide que la variante dense 27B. Le modèle MoE (128 experts, ~3B params actifs par token) combiné à MTP (86.6% d'acceptation draft) explique le gain. Contexte jusqu'à 262K tokens sans dégradation significative.
BeeLlama v0.2.0 améliore significativement les performances avec DFlash. Sur RTX 3090 : Qwen 3.6 27B atteint 164 tps (4.40x speedup), Gemma 4 31B 177.8 tps (4.93x). Support complet Gemma 4 31B, réduction overhead DFlash, meilleure gestion prefill et validation draft/target.
Numind publie NuExtract3, un VLM open-weight de 4B paramètres basé sur Qwen3.5-4B sous licence Apache-2.0. Le modèle extrait des données structurées de documents complexes (PDFs, formulaires, tableaux, factures) en Markdown ou JSON. Entraîné 3 jours sur 8xH100, il supporte plusieurs quantizations (GPTQ, W8A8, FP8, Q4, Q6) et fonctionne avec 4GB VRAM minimum.
Des chercheurs entraînent des modèles de langage à prédire le succès empirique d'idées de recherche avant expérimentation. Sur 11 488 paires d'idées issues de PapersWithCode, un modèle 8B atteint 77,1% de précision via SFT, surpassant GPT-5 (61,1%). L'approche RLVR génère des justifications interprétables avec 71,35% d'exactitude.
Les détecteurs de texte IA amplifient un axe de typicalité préexistant plutôt que de construire une frontière IA-vs-humain. Sur RoBERTa-base, la projection brute sur centroid(AI)-centroid(HC3) atteint AUROC 0.806-0.944, égalant ou surpassant le fine-tuning. Un prédicteur Jacobien en forme fermée transfère à 16/16 détecteurs tiers avec équivalence oracle, réduisant FPR de 57% sur le détecteur OpenAI.
AgForce, une architecture encoder-decoder avec GNN, résout trois défaillances des méthodes de design d'anticorps : cécité antigénique, effondrement du vocabulaire, et incapacité à générer des séquences spécifiques à l'antigène. Utilise dropout du framework, gated bottlenecks, attention hyperbolic, et Mixture Density Network. Améliore la récupération d'acides aminés de 8% sur CHIMERA-Bench.
Chronicle est un modèle fondation multimodal de 324M paramètres entraîné de zéro sur le langage naturel et les séries temporelles dans une architecture unifiée. Le modèle partage les mêmes blocs transformer et mécanismes d'attention pour les deux modalités. Il égale Gemma-3-270M sur 19 tâches NLU, établit un nouveau record sur 24 datasets UCR/UEA et surpasse les baselines supervisées sur Time-MMD.
Étude sur 11 générations d'auto-entraînement sur 5 modèles (GPT-2, Pythia, OPT). Contrairement à l'idée d'un « aplatissement » uniforme, le langage se restructure : les marqueurs de surface (connecteurs, tirets) augmentent tandis que les structures syntaxiques profondes (questions, passives, subjonctifs) s'effondrent. L'hypothèse de profondeur structurelle prédit ce déclin (ρ=0.540, p<10⁻⁶).
Système RAG deux phases pour l'analyse de crédit corporate : phase 1 combine recherche lexicale et dense multilingue ; phase 2 applique contrôleur adaptatif et scoring LLM-as-Judge basé sur l'utilité analytique plutôt que similarité sémantique. Déploiement on-premise sur corpus multilingue propriétaire. En production : temps d'analyse réduit de plusieurs heures à 3 minutes pour 800+ analystes.
Introspective Training (IXT) utilise un modèle de récompense pour annoter les données avec du feedback en langage naturel dès le pré-entraînement. Sur des LLM 7.5-12B entraînés jusqu'à 18T tokens, la méthode améliore l'efficacité computationnelle de 2.8x et atteint des performances inarrivables en mathématiques et code.
CANTANTE résout le problème d'attribution de crédit dans les systèmes multi-agents LLM en décomposant les récompenses globales en signaux d'optimisation par agent. Évalué sur MBPP, GSM8K et HotpotQA, l'approche surpasse GEPA et MIPROv2 (+18.9 pts MBPP, +12.5 pts GSM8K) sans surcoût d'inférence.
UCCI est un routeur de cascade LLM qui utilise la calibration d'incertitude pour réduire les coûts d'inférence. Via régression isotonique, il mappe l'incertitude au niveau des tokens à une probabilité d'erreur par requête, puis sélectionne le seuil d'escalade par minimisation de coût. Sur 75 000 requêtes NER avec modèles 4B/12B, UCCI réduit les coûts de 31% tout en diminuant l'erreur de calibration de 0.12 à 0.03.