Étude mécanistique de l'apprentissage en contexte (ICL) montrant que les démonstrations structurées induisent une inférence de concepts dans un sous-espace de faible dimension. Sur Llama-3-8B, un sous-espace de 68–73 dimensions sur 4096 restaure 78,8% de la performance, tandis que le sous-espace complémentaire n'a aucun effet. Résultats confirmés sur Qwen2.5-7B et tâches multilingues.
Algorithme IC-Q pour l'apprentissage décentralisé de workflows multi-agents avec contraintes d'interface. Chaque agent observe seulement une fonction locale de l'artefact partagé et son état privé, sans accès centralisé aux trajectoires jointes. Garantie de convergence en nombre fini d'échantillons pour Q-learning neuronal avec observabilité partielle décentralisée.
DynaTrain est un système d'entraînement distribué permettant la reconfiguration en ligne du parallélisme multi-dimensionnel en moins d'une seconde. Via une abstraction Virtual Parameter Space, il reconfigure un modèle dense de 70B en 2s et un MoE de 235B en 4.36s, surpassant les systèmes élastiques existants de trois ordres de magnitude.
ReacTOD combine neuro-symbolique et ReAct pour le dialogue orienté tâche. Une boucle ReAct bornée avec validation symbolique corrige itérativement les erreurs de dialogue (taux 93.1%), éliminant hallucinations et erreurs de format. Sur MultiWOZ 2.1 : gpt-oss-20B atteint 52.71% JGA (+14pp), Qwen3-8B 47.34%. Sur SGD : Claude-Opus 80.68%, Qwen3-32B 64.09%.
DecisionBench est un benchmark pour évaluer la délégation émergente dans les workflows multi-agents long-horizon. Le substrate inclut 11 modèles (7 familles), des tâches GAIA/tau-bench/BFCL, et des métriques multi-axes (qualité, coût, latence, fidélité de routage). Les résultats montrent que la qualité seule masque les signaux d'orchestration, et que le canal de livraison domine le contenu des descriptions.
UCCI est un routeur de cascade LLM qui utilise la calibration d'incertitude pour réduire les coûts d'inférence. Via régression isotonique, il mappe l'incertitude au niveau des tokens à une probabilité d'erreur par requête, puis sélectionne le seuil d'escalade par minimisation de coût. Sur 75 000 requêtes NER avec modèles 4B/12B, UCCI réduit les coûts de 31% tout en diminuant l'erreur de calibration de 0.12 à 0.03.
Étude de 63 modèles de base montrant une transition de phase cachée : sous ~3.5B paramètres, raisonnement et véracité s'anticorrèlent ; au-delà, ils coopèrent. Architecture, données et recette d'entraînement décalent indépendamment ce seuil critique. Normalisation de largeur élimine l'anticorrélation ; modèles frontière atteignent r=+0.72. Outil open-source et dashboard diagnostique publiés.
PRISM est un benchmark de 10 372 paires instruction-code pour l'évaluation de la génération vidéo programmatique par LLM. Il propose 4 métriques : fiabilité du code, cohérence spatiale, complexité visuelle et densité temporelle. L'évaluation de 7 LLM révèle un écart d'exécution-spatial de 41% : le code exécutable ne garantit pas une sortie visuellement cohérente.
NVIDIA publie Nemotron-Labs-Diffusion, modèle tri-mode (AR, diffusion, auto-spéculation) en 3B/8B/14B. Self-speculation combine diffusion pour le drafting et AR pour la vérification avec KV cache partagé : 3× meilleure longueur d'acceptation vs Qwen3-8B-Eagle3, 2.2× speedup, 4× speedup sur GB200 (1015 tok/sec avec kernels CUDA).
BlendedNet++ est un dataset de 12 492 géométries d'avions Blended Wing Body (BWB) avec simulations RANS pour prédire les champs aérodynamiques. Les auteurs benchmarkent 5 architectures de deep learning (Transolver meilleur) et proposent un pipeline de conception inverse générative utilisant des modèles de diffusion conditionnels, validé par CFD avec R² > 0,99.
Qumus est le premier système d'IA incarnée pour la science expérimentale : un robot de laboratoire autonome capable de générer des hypothèses, planifier des protocoles et exécuter des expériences sur matériaux quantiques 2D. Il a créé pour la première fois du graphène par IA et fabriqué des transistors via empilement van der Waals, avec correction d'erreurs en boucle fermée.
GAMMA est un framework de quantization mixte pour LLMs qui alloue automatiquement la précision par module sans entraînement. Utilisant une reconstruction d'états cachés et la programmation entière, il atteint +12.99 points vs baselines fixes sur Llama/Qwen 8B-32B, et égale la qualité 3-bit à 2.5-bit moyen.
DBES est un cadre diagnostic pour évaluer la spécialisation des experts dans les modèles MoE (Mixture-of-Experts). Cinq métriques théoriques mesurent l'isolation de domaine et la spécialisation du routage. Tests sur Qwen, DeepSeek et GLM révèlent des paradigmes distincts. Post-training ciblé sur experts spécialisés améliore les performances de 66-94% avec 15% des ressources.
Distillation de modèles fondamentaux tabulaires (TabICLv2) en arbres boostés (XGBoost/CatBoost) pour inférence CPU ultra-rapide. Résout le problème d'effondrement des soft targets via étiquetage out-of-fold stratifié. Sur 153 datasets : 0.882 macro-mean AUC (96.5% du teacher) en 1.9 ms CPU, speedup 38-860x. Pipeline open-source TabTune.
Étude sur la latence des agents informatiques sur OSWorld : les appels LLM pour la planification et la réflexion dominent le temps total. Les 16 agents testés nécessitent 2,7-4,3× plus d'étapes que les trajectoires humaines optimales. Chaque étape successive prend 3× plus longtemps.
GenoMAS est un framework multi-agent basé sur LLM pour l'analyse d'expression génique. Six agents spécialisés orchestrés via protocoles de passage de messages typés combinent workflows structurés et adaptabilité autonome. Sur le benchmark GenoTEX : 89,13% de corrélation pour le prétraitement, F1 de 60,48% pour l'identification de gènes (+10,61% et +16,85% vs état de l'art).
ERA, un système IA combinant LLM et Tree Search, génère automatiquement des logiciels scientifiques de niveau expert. Il a découvert 40 nouvelles méthodes en bioinformatique surpassant les meilleures méthodes humaines, généré 14 modèles épidémiologiques surpassant l'ensemble CDC pour les prévisions COVID-19, et produit des solutions expertes en analyse géospatiale et prédiction neuronale.
WELD est le premier dataset d'émotion en milieu professionnel naturel couvrant 30,1 mois (nov 2021 - mai 2024) avec 49 employés d'une entreprise chinoise. 733 780 vecteurs de probabilité d'expressions faciales 7-classes, validant trois phénomènes établis et révélant six régimes émotionnels asymétriques. Détecte un biais de modèle FER : surprédiction de « colère » sur visages asiatiques neutres (0,194 vs 0,05).
Étude complète des méthodes de post-entraînement par renforcement pour LLM. Unifie RLHF (DPO), RLVR (PPO, GRPO) et SFT dans un cadre unique de policy gradient. Analyse technique détaillée des approches offline et itératives, avec notation standardisée pour comparaison directe.
BioProAgent combine LLMs et machines à états finis pour planifier des expériences biologiques en laboratoire. Le système applique un workflow Design-Verify-Rectify et réduit la consommation de tokens de 6× via abstraction symbolique. Sur BioProBench, il atteint 95.6% de conformité physique vs 21.0% pour ReAct.
Une étude arXiv montre que les modèles Mixture-of-Experts (MoE) peuvent surpasser les architectures denses sous contraintes de ressources égales (paramètres, compute, données). Les chercheurs identifient une région d'activation optimale cohérente entre tailles de modèles. Validation sur ~200 modèles 2B et 50 modèles 7B (50 trillions de tokens).
ScaleLogic, un framework de raisonnement logique synthétique, montre que l'RL peut enseigner le raisonnement long-horizon aux LLMs. Le coût d'entraînement suit une loi de puissance avec la profondeur de preuve (T ∝ D^γ, R² > 0.99), l'exposant γ augmentant de 1.04 à 2.60 avec l'expressivité logique. Les modèles entraînés sur des logiques plus expressives transfèrent mieux (+10.66 points sur benchmarks).
Étude empirique de 117 expériences (0.2B–3.8B paramètres, 2B–128B tokens) sur les lois de scaling pour les Code LLMs. Le code nécessite un ratio données/paramètres plus élevé que le langage naturel. La loi de Farseer surpasse Chinchilla. Les mélanges code-NL bénéficient au NL en ressources limitées, mais le pénalisent à budgets élevés.
FinAuditing est un benchmark d'audit financier construit sur 1 102 instances XBRL réelles (33k tokens en moyenne). Il évalue 13 LLMs sur trois tâches : appariement sémantique, extraction de relations et raisonnement mathématique. Les résultats révèlent des lacunes significatives en récupération de concepts et raisonnement cross-document.
ProfBench est un benchmark de 7000+ paires réponse-critère évaluées par experts humains en physique, chimie, finance et conseil. Les auteurs proposent des LLM-judges robustes réduisant le coût d'évaluation de 2-3 ordres de magnitude. GPT-5-high atteint 65,9% de performance, révélant des écarts significatifs entre modèles propriétaires et open-weight.
Une étude arXiv démontre que les modèles Mixture-of-Experts (MoE) surpassent les architectures denses sous contraintes de ressources strictement égales (paramètres totaux, compute d'entraînement, données identiques). Les chercheurs identifient une région d'activation optimale cohérente entre tailles de modèles. Validation sur ~200 modèles 2B et 50 modèles 7B (50 trillions de tokens).
RLBFF combine le feedback humain et les récompenses vérifiables pour l'entraînement de modèles de récompense. La méthode extrait des principes binaires du feedback naturel (ex: exactitude, lisibilité du code) et les utilise comme tâches d'entailment. Les modèles atteindent 86,2% sur RM-Bench et 81,4% sur JudgeBench (#1 septembre 2025). Qwen3-32B aligné avec RLBFF égale o3-mini et DeepSeek R1 à 5% du coût d'inférence.
ProfBench introduit un benchmark de 7000+ paires réponse-critères évaluées par experts (PhD Physique/Chimie, MBA Finance/Consulting). Les meilleurs modèles (GPT-5-high) atteignent 65,9% de performance. Les auteurs proposent des LLM-Judges robustes réduisant les coûts d'évaluation de 2-3 ordres de magnitude.
Tongyi DeepResearch est un modèle LLM agentic de 30.5B paramètres (3.3B activés par token) conçu pour la recherche autonome longue durée. Entraîné via mid-training et post-training agentic avec synthèse de données automatique, il atteint SOTA sur Humanity's Last Exam, BrowseComp, WebWalkerQA et autres benchmarks. Le modèle, framework et solutions sont open-sourcés.
Med-V1 est une famille de modèles de langage de 3 milliards de paramètres entraînés sur des données synthétiques pour l'attribution d'évidences biomédicales et la vérification de faits. Elle surpasse ses modèles de base de +27% à +71% sur cinq benchmarks et rivalise avec GPT-5 tout en étant bien plus efficace. L'étude quantifie les hallucinations dans les réponses générées par LLM selon les instructions de citation.
Des chercheurs révèlent une vulnérabilité critique des méthodes de model editing : les mises à jour de paramètres permettent de récupérer les données éditées via une attaque KSTER exploitant la structure low-rank. Une défense par « subspace camouflage » est proposée pour obfusquer les empreintes sans compromettre l'utilité.
Soohak est un benchmark de 439 problèmes mathématiques de niveau recherche, créé par 64 mathématiciens. Gemini-3-Pro atteint 30,4%, GPT-5 26,4%, Claude-Opus-4.5 10,4%. Le benchmark introduit un sous-ensemble « refusal » évaluant la capacité à reconnaître les problèmes mal posés : aucun modèle ne dépasse 50%.
OxyGen propose une gestion unifiée du cache KV pour l'inférence de modèles Vision-Langage-Action (VLA) sous parallélisme multi-tâches. Implémenté sur π₀.₅, le système atteint 3.7× d'accélération sur RTX 4090 et Jetson AGX Thor, livrant 200+ tokens/s et 70 Hz simultanément sans dégradation de qualité.
WriteSAE introduit le premier autoencoder creux décomposant et éditant les écritures de cache matriciel dans les modèles récurrents Gated DeltaNet, Mamba-2 et RWKV-7. Les atomes factorisés exposent une forme fermée pour les décalages logit par token, avec 92.4% de substitutions réussies sur 4,851 activations testées à Qwen3.5-0.8B et 88.1% sur Mamba-2-370M.
SurgicalMamba, modèle basé sur Mamba2, reconnaît les phases chirurgicales en temps réel avec coût O(d) par frame. Trois composants adressent les défis spécifiques : dual-path SSD séparant régimes long/court-terme, stepping modulé en intensité adaptant le taux effectif, et state regramming pour mélange cross-canal. Résultats SOTA : 94.6%/82.7% sur Cholec80, 89.5%/68.9% sur AutoLaparo, 238.74 fps GPU.
CHI-Bench évalue l'automatisation d'workflows healthcare complexes via agents IA. Le benchmark couvre 3 domaines (autorisation préalable, gestion d'utilisation, gestion des soins) avec 87 outils MCP et 1 290+ documents de règles. Meilleur résultat : 28% de tâches résolues, 3,8% en session unique.
Étude sur le moment où un modèle de langage s'engage dans la tromperie. Via localisation contrefactuelle sur 5 environnements (bluff, labyrinthes, conseils financiers, vente auto, négociation), les auteurs analysent 1,46M phrases et 91,5B tokens. Les indices lexicaux ne généralisent pas, mais les features d'attention se transfèrent entre domaines.
OProver est un framework unifié pour la preuve formelle agentique en Lean 4. Le modèle 32B atteint 93,3% Pass@32 sur MiniF2F et 58,2% sur ProverBench. L'entraînement combine pretraining, SFT sur trajectoires de réparation, et RL sur cas difficiles. OProofs contient 1,77M énoncés Lean et 6,86M preuves vérifiées.
Étude de 38 modèles sur 8 900 références académiques : la qualité du rappel factuel suit une sigmoïde combinant la taille du modèle et la fréquence du sujet dans les données d'entraînement. Ces deux variables expliquent 60-94% de la variance. Le modèle propose que le rappel est limité par un rapport signal/bruit.
MemRepair est un framework d'agent augmenté par mémoire pour la réparation de vulnérabilités au niveau du dépôt. Il combine trois couches mémoire (History-Fix, Security-Pattern, Refinement-Trajectory) avec une boucle de raffinement itérative. Évalué sur SEC-Bench, PatchEval et Multi-SWE-bench, MemRepair atteint 58.0%, 58.2% et 30.58% de taux de résolution, surpassant OpenHands, SWE-agent et InfCode-C++.