Le raisonnement en IA désigne la capacité d'un modèle à résoudre des problèmes en plusieurs étapes logiques, au-delà de la simple mémorisation. OpenAI o3 en est un exemple : il décompose un problème avant de formuler une réponse.
Audit systématique des benchmarks FOLIO et MALLS révélant 39% et 36% d'erreurs dans les formalisations FOL. Les auteurs publient des annotations corrigées et un framework LLM pour guider la relabélisation manuelle, permettant d'atteindre 90% de précision en révisant <24% des instances. Tests sur Gemma 31B, Qwen3-30B et GPT-4o-mini montrent des gains de +9 à +22 points.
Les chercheurs proposent Bank of Values (BoV), une méthode remplaçant les vecteurs de valeur contextuels par des vecteurs sans contexte stockés comme paramètres creux dans les derniers tiers des couches. Sur modèles 135M et 780M, BoV améliore la perte de validation et les performances sur 21 benchmarks avec moins de calcul et mémoire.
Étude arXiv sur les représentations des LLM : le chevauchement lexical influence les embeddings plus que le contenu sémantique, persiste à travers les couches et architectures, et dégrade les performances en résumé et édition de modèles.
Article proposant une architecture modulaire pour systèmes d'agents IA embarqués sur microcontrôleurs. Découple agents locaux (réseaux compressés, logique règles) d'agents cloud (SLMs pour raisonnement). Intègre couche gouvernance pour observabilité et sécurité sur flottes distribuées.
Méthode pour extraire des primitives de raisonnement à partir de traces d'agents ReAct. Les routines récurrentes sont regroupées et converties en pseudo-outils typés. Les bibliothèques induites surpassent l'agent source : +44pp sur RuleArena NBA, +30pp sur MuSR, +22pp sur NatPlan.
ChatHealthAI aligne les représentations structurées des dossiers médicaux électroniques (EHR) avec l'espace sémantique d'un LLM gelé via un resampler task-aware. Le framework multimodal intègre les représentations longitudinales des patients avec des descriptions d'événements cliniques raffinées, améliorant le raisonnement clinique interprétable tout en maintenant la performance prédictive sur le benchmark EHRSHOT.
AURA-Mem propose une mémoire récurrente de taille constante (4,224 bytes) pour les politiques robotiques, avec une porte apprise qui n'écrit en mémoire que si l'observation change l'action suivante. Sur LIBERO-Long avec OpenVLA-OFT 7B, elle égale la politique de base (0.233 de succès) tout en réduisant les écritures mémoire de 7× et la consommation VRAM de 6,061× vs KV-cache.
Étude montrant que les graphes visuels aident les LLM à organiser le raisonnement multi-sauts mieux que leur représentation textuelle. Les graphes structurés en mind maps guident le modèle sans indices directs, contrairement aux graphes aplatis en texte. L'avantage persiste après fine-tuning supervisé et distillation KL.
MiniMax introduit une nouvelle architecture d'attention (MSA) supportant nativement 1M tokens sans complexité quadratique. Approche « KV outer gather Q » offrant 4× plus rapide que Flash-Sparse-Attention, réduction compute à 1/20e, 9× speedup prefilling, 15× decoding. Premier modèle open-weight combinant coding frontier, 1M contexte et multimodalité native.
Microsoft annonce MAI-Thinking-1 (35B, raisonnement) et MAI-Code-1-Flash (5B, code). Le premier surpasse Claude Sonnet 4.6 en évaluation humaine aveugle. Les deux modèles sont entraînés sur données sous licence commerciale sans distillation tiers.
Technique de wavelet pour améliorer la compréhension contextuelle des LLM sur le code. Approche basée sur l'analyse multi-échelle des structures de code pour optimiser le traitement par les modèles de langage.
Pull request pour llama.cpp ajoutant un toggle de mode « thinking » avec niveaux d'effort de raisonnement et améliorations de l'UI du formulaire de chat. Fonctionnalité visible en vidéo.
Étude comparative de règles d'apprentissage (backprop, feedback alignment, predictive coding, STDP) via alignement RSA avec fMRI V1 humain. Backprop détruit 90% de l'alignement V1 après 1 epoch (r: 0.102→0.011), tandis que PC et STDP ne perdent que 25-31%. À epoch 40: PC/STDP >> BP/FA. Suggère un trade-off fondamental entre signaux d'erreur globaux (couches hautes) et alignement précoce.
Expérience 2 semaines : remplacement de Claude par Qwen3.6-27B (Q6_K, 22GB) dans un orchestrateur multi-agent sur RTX 3090. Succès : génération de plans (95% valides), extraction mémoire, auto-review. Échecs : fiabilité tool-call 12% vs 0.5% Claude, dérive contexte >14k tokens, gestion cascade-failures limitée.
Livre d'introduction mathématique aux fondations de l'IA générative. Couvre VAE, diffusion, normalizing flows, autoregressive models, GANs, Wasserstein GANs et energy-based models via une approche dérivation-orientée. Auteur : Tianhua Chen.
ExpGraph, un préprint arXiv du 29 mai 2026, propose une architecture de mémoire en graphe auto-évolutif pour agents LLM. Le système accumule l'expérience via des nœuds et arêtes dynamiques, permettant aux agents d'améliorer leurs performances sur des tâches complexes sans réentraînement.
Théorie asymptotique pour SGLD-Gibbs, combinant dynamique de Langevin stochastique et mises à jour Gibbs pour l'inférence bayésienne dans les modèles à variables latentes. Les auteurs dérivent des limites de diffusion-saut et proposent un guide de tuning d'hyperparamètres garantissant une quantification d'incertitude statistiquement valide.
InfoAtlas est un modèle fondation capable d'estimer l'information mutuelle entre variables haute-dimensionnelles en une seule passe forward, sans optimisation itérative. Préentraîné sur données synthétiques, il atteint 100× d'accélération par rapport aux estimateurs neuraux classiques tout en maintenant la précision et généralise à des scénarios réels complexes.
Étude théorique montrant comment les transformers apprennent à implémenter une recherche en arbre (DFS) via RL. Un transformer à deux têtes d'attention émerge naturellement d'un entraînement par gradient de politique sur des arbres stochastiques, sans démonstrations expertes. Le modèle généralise à des profondeurs non vues et adapte sa stratégie selon les distributions d'objectifs.
PROBE, un framework d'optimisation pour agents LLM en conception de médicaments, résout le conflit entre affinité de liaison et druggabilité. Via probing d'édits contrôlés et une site map spécifique à la poche, il guide une boucle multi-agent (affinité, druggabilité, co-optimisation) sur CrossDocked2020 avec résultats SOTA.
Étude de la fidélité des agents LLM dans un simulateur de poker Texas. Les chercheurs mesurent l'écart entre le raisonnement énoncé et les actions réelles en décomposant le problème en deux étapes : raisonnement-conclusion et conclusion-action. Les deux étapes montrent des comportements opposés.
La quantification post-entraînement (PTQ) réduit la précision des modèles de raisonnement et augmente la longueur des chaînes de pensée. 52% des erreurs proviennent de réponses correctes trouvées mais non finalisées. Une pénalité logit sans entraînement sur les marqueurs de surréflexion ("wait", "but") réduit la longueur de 12-23% tout en préservant la précision sur 5 modèles (1.5B-32B).
ART (Attention Run-time Termination) est un mécanisme léger qui interrompt l'accès aux blocs KV lors du décodage si leur contribution à l'attention devient négligeable. Testé sur LongBench, il améliore le débit de génération de 20% en grands batches tout en préservant la précision.
CSRP, un framework en trois étapes pour la correction d'erreurs grammaticales chinoises, combine pré-entraînement continu (5.9M échantillons), fine-tuning avec Chain-of-Thought, et optimisation de politique avec récompenses conscientes de l'efficacité. Atteint 50.99 F₀.₅ sur NACGEC et surpasse GPT-4 en correction orthographique (59.61 F1).
SENSE améliore le décodage spéculatif basé sur la récupération en utilisant les états cachés du modèle cible pour l'alignement sémantique. Un module d'évaluation soft-gated valide l'équivalence sémantique plutôt que les formes de surface. Sur LLaMA et Qwen, SENSE atteint 4.09 longueur d'acceptation moyenne et 3.26x d'accélération.
ProactiveLLM apprend à décider quand interagir avec des flux d'entrée en temps réel sans signaux externes. Via masquage aléatoire monotone et auto-distillation synchronisée, le modèle perçoit la suffisance sémantique à partir d'entrées partielles. Réduit la latence d'interaction tout en maintenant la qualité sur tâches texte et parole.
DLLM-JEPA combine les architectures JEPA avec les modèles de langage par diffusion masquée pour l'apprentissage auto-supervisé. Élimine le besoin de paires multi-vues explicites et réduit les FLOPs d'entraînement de 33% vs LLM-JEPA. Améliore les performances de +18.7pp sur GSM8K (LLaDA-8B) et +11.4pp (Dream-7B) tout en préservant les capacités de base.
DeSQ décompose les questions complexes en contraintes atomiques pour générer des requêtes SPARQL. Le framework opère en trois étapes : décomposition, génération de fragments SPARQL avec placeholders, et assemblage final. Surpasse l'état de l'art sur 4/5 benchmarks majeurs avec meilleure robustesse aux variations lexicales.
TOPD (Trajectory-aware On-Policy Distillation) améliore l'apprentissage du raisonnement en LLM en utilisant des informations de trajectoire future pour identifier les vrais états divergents. Sur AIME24/25, TOPD atteint 63.3%/53.3% vs 60.0%/46.7% en OPD standard, montrant que 30% des tokens haute-perte sont des faux positifs.
ProtStructQA est un benchmark exécutable pour la réponse à des questions sur les structures protéiques. 382.2K questions générées depuis un langage spécialisé caché, évaluées sur Qwen3 (0.6B–8B) et Gemma-3. Découverte clé : seuil de capacité entre Qwen3-1.7B et 4B où les modèles passent de l'incapacité à produire des dénotations exécutables à la maîtrise du raisonnement chaîné.
LaSR introduit un paradigme d'entraînement pour les Speech LLMs intégrant un raisonnement latent aligné sur les régions acoustiques. Sans tokens intermédiaires explicites, la méthode améliore la reconnaissance de vocabulaire spécialisé sur Fun-Audio-Chat. Un nouveau corpus Spoken Darwin-Science pour terminologies académiques est proposé.
SelSkill, un framework d'apprentissage par préférence dual-granularité, optimise l'invocation sélective de compétences dans les tâches agentic. Sur ALFWorld avec Qwen3-8B : +10,9 pp de succès, +29,1 pp de précision. Sur BFCL : +5,7 pp de succès, +29,5 pp de précision. Transfère à zéro-shot sur Tau-bench et PopQA.
Étude théorique et empirique des limites de l'édition de paramètres dans les LLM. Les auteurs démontrent via l'hypothèse d'effondrement dimensionnel que les modifications localisées propagent des interférences globales dégradant les capacités du modèle. Les méthodes par récupération surpassent systématiquement l'édition paramétrique.
SPADER est un framework RL pour agents LLM augmentés d'outils en Multi-Answer QA. Il introduit Step-wise Peer Advantage (SPA) pour l'attribution de crédit fine-grained sur trajectoires longues, et une récompense d'exploration sensible à la diversité favorisant la découverte d'entités rares. Évalué sur QAMPARI, Mintaka, WebQSP, QUEST : amélioration du recall et F1 vs prompting et RL supervisé.
Un article arXiv présente le Universal Quantum Transformer (UQT), une architecture quantique utilisant les propriétés multi-qubits pour le raisonnement mathématique exact. Sur 5 qubits, l'UQT apprend parfaitement l'arithmétique modulaire (Z₁₁) et l'algèbre non-abélienne (S₄), sans instabilité stochastique. Déployé sur IBM Quantum, il contourne le goulot quadratique de l'attention classique.
Benchmark d'évaluation du raisonnement interactif pour LLM basé sur 474 jeux exécutables. Les modèles reçoivent uniquement les règles, doivent interroger un environnement caché, intégrer observations partielles et décider quand répondre. Évalue robustesse contextuelle, adaptation métacognitive et efficacité d'interaction sur modèles frontier.
TIGER est une méthode d'inférence pour réduire les hallucinations dans la génération multimodale. Elle construit un graphe d'observations à partir de l'entrée et un graphe de claims à partir de la sortie, puis assigne des scores de risque basés sur le support et les conflits. Le modèle répare les claims à haut risque sans modifier le backbone. Convergence garantie avec réduction géométrique du risque.
Geodesic Flow Matching adapte le transport Riemannien pour débruiter les Spatial Semantic Pointers (SSPs) sur des variétés toriques. Testé sur un système SLAM neuronal à pics, la méthode réduit l'erreur de suivi de 72% et augmente l'efficacité neurale de 40% par rapport aux baselines.
Papier de synthèse proposant l'Intelligent Computing Architecture Model (ICAM), un cadre à 6 couches pour l'informatique model-native. Mappe les concepts d'architecture informatique classique aux systèmes LLM (gestion de cache, contexte, agents). Introduit trois lois de conception : Semantic Locality Law, Context Budget Law, Agent Speedup Law. Distingue plan d'exécution probabiliste et plan de contrôle déterministe.
Framework hybride couplant LLMs avec simulation physique pour planifier la synthèse de matériaux inorganiques. Étude sur le système niobium-oxygène : les routes de synthèse générées par LLM surpassent les algorithmes classiques de planification de chemin en exploitant des priors implicites.