Analyse systématique des erreurs dans les méthodes d'attribution de données basées sur trajectoires. Identifie l'incompatibilité optimiseur (SGD vs AdamW) comme erreur dominante. Propose AdamW-influence avec améliorations de 10-300% en corrélation Spearman sur MLP, CNN, GPT-2, Llama 3.2-1B. Fournit directives pratiques pour sélection de données via framework K-step look-ahead.
PASC est une méthode de prédiction conforme qui garantit la couverture simultanée de tous les étages dans les pipelines NLP multi-étapes (NER → NED → entity typing, RAG, chaînes d'agents). Sur CoNLL-2003, PASC atteint 96,4% de couverture end-to-end vs 93,4% pour Bonferroni et 86,5% pour CP indépendant, avec 1,7x plus rapide et robustesse sous distribution shift (WNUT-17, WikiNEuRal).
Nouvelle architecture transformer « block-based double decoders » combinant l'efficacité d'entraînement des modèles decoder-only avec les gains d'inférence des encoder-decoder. Réduit la mémoire KV-cache et le calcul par token d'au moins 2/3 à l'inférence, tout en maintenant la supervision complète et l'empaquetage statique pendant l'entraînement.
ReCrit est un framework de reinforcement learning qui améliore la capacité des LLM à gérer les critiques utilisateur en raisonnement scientifique. Il décompose les comportements en quatre quadrants (Correction, Sycophancy, Robustness, Boundary) et utilise des récompenses transition-aware. Sur ChemBench, TRQA et EarthSE, ReCrit améliore la précision de 38,15% à 51,49% sur Qwen3.5-4B.
HELLoRA applique des modules LoRA uniquement aux experts les plus activés à chaque couche des modèles Mixture-of-Experts, réduisant les paramètres entraînables de 84% sur OlMoE et améliorant la précision de 9.2%. Testé sur OlMoE-1B-7B, Mixtral-8x7B et DeepSeekMoE sur raisonnement mathématique, génération de code et alignement.
m3BERT est un modèle d'embedding multilingue utilisant une stratégie Matryoshka pour optimiser les représentations sur plusieurs dimensions et couches transformer. Prétraîné en trois étapes (monolingue, multilingue, domaine web), il surpasse les modèles existants sur Bing-Click et s'adapte à des contraintes de ressources variables.
HalluWorld est un benchmark contrôlé pour évaluer les hallucinations des LLM via des mondes de référence explicites (gridworlds, échecs, tâches terminales). Les modèles frontier résolvent bien les hallucinations perceptuelles directes, mais échouent sur le suivi d'état multi-étapes et la simulation causale, même avec extended thinking.
DECOR est un framework multi-agent pour auditer la déception dans les LLM en décomposant les contextes en unités informationnelles atomiques et en évaluant quatre dimensions de manipulation (omission, focalisation, obscurcissement). Testé sur 15 modèles frontier, il atteint l'état de l'art en détection de déception mono et multi-tour avec profils d'manipulation interprétables.
Formal Skill est une abstraction runtime pour les agents LLM qui structure les compétences réutilisables via métadonnées JSON, schémas d'action, exécuteurs Python et logique de contrôle par hooks. Implémentée dans FairyClaw (runtime open-source événementiel), elle remplace les procédures en texte naturel par des machines à états exécutables, réduisant les tokens tout en améliorant la fiabilité sur Harness-Bench.
REFLECT est un benchmark de méta-évaluation pour tester la fiabilité des juges LLM supervisant des agents de recherche. Les auteurs créent une taxonomie fine des défaillances (processus et résultats) via interventions contrôlées sur des traces d'exécution. Résultat : les meilleurs modèles LLM atteignent <55% de précision sur la vérification d'evidence et le raisonnement.
SAECache propose une politique d'éviction sémantique pour les caches de préfixes LLM. Les tokens ne sont pas tous aussi utiles à cacher : certains types (prompts système, requêtes utilisateur, outputs d'outils) montrent jusqu'à 756x de variation en taux de réutilisation. SAECache utilise une architecture multi-queue avec apprentissage en ligne pour adapter les priorités, atteignant 1.4x-2.7x d'amélioration TTFT.
Analyse de 34 modèles frontier (2024-2026) montrant que les capacités de raisonnement et codage coopèrent (r=+0.72) mais avec variations par lab. DeepSeek a basculé de reasoning-first à coding-first (+11.2→-4.7); Google maintient l'équilibre; Anthropic oscille. SWE-bench sature tandis que HLE et instruction-following restent discriminants. Prédictions falsifiables pour 12 mois avec dashboard interactif.
POLAR-Bench est un benchmark diagnostique évaluant les compromis confidentialité-utilité dans les agents LLM. Un modèle de confiance avec politique de confidentialité interagit avec un modèle tiers adversarial sur 10 domaines et 7,852 échantillons. Les modèles frontière retiennent 99% des attributs protégés, mais les modèles open-weight 1-30B (courants en inférence privée) fuient jusqu'à 50% des données sensibles.
LLMEval-Logic est un benchmark chinois de raisonnement logique contenant 246 items de base et 190 items difficiles, vérifiés par Z3 et audités par experts. Évaluation de 14 modèles frontière : meilleur score 37,5% sur items difficiles, 60,16% en formalisation Z3+rubrique.
GoLongRL propose une recette post-training open-source pour l'apprentissage par renforcement en contexte long avec récompenses vérifiables. Les auteurs publient un dataset de 23K samples RLVR couvrant 9 types de tâches, et introduisent TMN-Reweight pour optimiser les récompenses hétérogènes. Qwen3-30B-A3B atteint des performances comparables à DeepSeek-R1 et Qwen3-235B.
Benchmark de cinq systèmes ASR commerciaux sur le code-switching (alternance entre deux langues) pour quatre paires linguistiques : arabe égyptien-anglais, arabe saoudien-anglais, persan-anglais, allemand-anglais. ElevenLabs Scribe v2 obtient le meilleur WER (13,2% global). L'étude propose BERTScore comme métrique plus fiable que WER pour l'arabe et le persan.
Hugging Face lance Carbon, une famille de modèles fondamentaux ADN open-source. Carbon-3B égale l'état de l'art (Evo2-7B) tout en étant 275× plus rapide. L'approche adapte les techniques LLM modernes : tokenisation 6-mer déterministe, loss factorized (FNS) en mid-training, et curation de données biologiques fonctionnelles.
Mosaic, un modèle probabiliste de prévision météorologique, corrige trois défaillances spectrales des modèles ML : l'amortissement spectral, l'aliasing haute fréquence et les fuites résiduelles. Avec 214M paramètres à 1.5° de résolution, il égale des modèles entraînés 6× plus fins et génère des ensembles bien calibrés en 12s pour 10 jours sur H100.
Nouvelle méthode MoLF (Mixture of LoRA and Full) qui combine fine-tuning complet et LoRA via routage dynamique au niveau optimiseur. Testée sur Gemma-3-1B, Qwen2.5-1.5B/3B sur SQL, Medical QA, Counterfactual Knowledge. MoLF-Efficient surpasse les approches LoRA adaptatives de 20% (Fact) et 9% (Med/SQL). Code open-source disponible.
DISCA, une méthode d'inférence sans entraînement, aligne culturellement les LLM via désaccord socio-démographique intra-pays. Testée sur 20 pays et 7 backbones (2B–70B), elle réduit le désalignement culturel de 10–24% sur MultiTP sans modifier les poids du modèle.
Les chercheurs proposent IBPO (Implicit Behavior Policy Optimization), une méthode de crédit assignment pour l'apprentissage par renforcement avec LLM. En comparant plusieurs trajectoires de raisonnement, le framework transforme les récompenses terminales éparses en signaux d'apprentissage sensibles aux étapes, réduisant la variance des gradients et améliorant la stabilité sur les benchmarks mathématiques et de code.
AdaGraph est un algorithme de clustering graph-native qui élimine la malédiction de la dimensionnalité en opérant sur la topologie des graphes kNN plutôt que sur les distances euclidiennes. Testé sur 10 benchmarks synthétiques (d=10 à 5000) et trois domaines scientifiques (génomique, NLP, matériaux), il surpasse HDBSCAN, WGCNA et autres méthodes sans spécifier k a priori.
DACA-GRPO améliore l'entraînement par renforcement des modèles de langage diffusion en résolvant deux problèmes : l'absence d'attribution de crédit temporelle et le biais des estimations de vraisemblance. La méthode introduit des scores de progression de débruitage et un masquage stratifié, gagnant jusqu'à 7.4pp en génération de code et 36.3pp en satisfaction de contraintes.
LoopQ est un framework de quantification post-entraînement (PTQ) conçu pour les modèles de langage récursifs (LoopLMs) qui réutilisent les blocs Transformer. Il résout trois défis : décalage de distribution entre rôles, réutilisation d'état entre boucles, et accumulation d'erreur récursive. Sous quantification W4A4, LoopQ améliore la précision de 68,8% et réduit la perplexité de 87,7% vs baseline PTQ statique.
HPC-LLM est un assistant LLM spécialisé pour les workflows HPC (Slurm, MPI, GPU, filesystems). Basé sur Llama 3.1 8B fine-tuné avec QLoRA sur ~9k-24k exemples HPC, il combine RAG et adaptation de domaine. Le modèle atteint des performances comparables à Qwen 2.5 14B avec moins de ressources GPU.
Étude de la structure géométrique des architectures Mixture-of-Experts (MoE) via un framework Jacobian-PCA-Grassmann. Analyse de Mistral et Qwen révèle une asymétrie : décorrélation fonctionnelle forte entre experts mais représentations partiellement chevauchantes. Le routing sparse (top-k) renforce la séparation fonctionnelle.
TailedTS est un benchmark de 24,69 milliards de points de données issu des vues Wikipedia 2024, conçu pour tester les modèles de prévision de séries temporelles sous conditions heavy-tailed et non-gaussiennes. Le dataset révèle que 5% des pages génèrent 70% du trafic, et introduit un cadre de quantification de périodicité montrant que les pages très consultées ont une structure périodique plus faible.
Les modèles de langage masqué (MLM) définissent des distributions conditionnelles locales incompatibles avec une distribution jointe globale cohérente. Les auteurs modélisent le rééchantillonnage itératif comme une chaîne de Markov Glauber dynamics et prouvent un temps de mélange O(n log n) sous influence cross-token bornée, mais exhibent une métastabilité exponentielle à basse température.
Étude révélant une asymétrie de visibilité des datasets multilingues : 118 langues (59% des 200 plus parlées) ont zéro dataset catalogué selon LRE Map et LDC. Via citation-mining sur Semantic Scholar, les auteurs identifient 609 datasets uniques dans 53 langues peu visibles, dont 356 accessibles publiquement. La rareté multilingue est un problème de documentation et discoverabilité, pas seulement de production.
Les modèles MIL sur whole-slide images souffrent de « cécité spatiale » : ils prédisent correctement mais ignorent l'architecture tissulaire. ResTopoMIL corrige cela en séparant statistiques d'apparence (histogramme prototype) et relations spatiales (branche graphe avec contrainte de permutation). Amélioration sur 9 benchmarks WSI avec 1.15M paramètres.
Étude d'une nouvelle attaque « sleeper memory poisoning » contre les agents LLM dotés de mémoire persistante. Un adversaire corrompt des documents externes pour injecter de fausses mémoires utilisateur. Taux de succès : 99,8% (GPT-5.5), 95% (Kimi-K2.6). Les mémoires empoisonnées déclenchent des actions malveillantes dans 60-89% des cas.
SparseSAM propose une sparsification structurée sans entraînement pour accélérer les encodeurs ViT du Segment Anything Model. Via une attention Stripe-Sort (permutation Z-order) et un MLP Residual-Consistency, le framework atteint 2x speedup et 2.8x réduction mémoire avec perte de 0.004 mIoU à densité 0.4.
AdaptiveLoad optimise l'entraînement des Transformers de diffusion vidéo (DiT, MMDiT) en résolvant le déséquilibre de charge causé par la complexité quadratique de l'attention. Deux composants : équilibrage adaptatif dual et kernel CUDA LayerNorm-Modulate fusionné. Sur Wan 2.1 : déséquilibre computationnel réduit de 39% à 18,9%, utilisation VRAM +22,7%, débit +27,2%.
BacktestBench est le premier benchmark large-scale pour le backtesting quantitatif automatisé, contenant 18 246 paires QA annotées à partir de 6 millions de données de marché réelles. AutoBacktest, un système multi-agent, traduit les stratégies en langage naturel en backtests reproductibles via coordination Summarizer-Retriever-Coder. Évaluation sur 23 LLMs identifie les facteurs clés de performance.
TabGRAA, une méthode d'alignement par avantage relatif de groupe, améliore les modèles de langage tabulaires via post-entraînement itératif guidé par récompense. Sur cinq benchmarks, elle surpasse DPO, KTO et NPO adaptés, optimisant le compromis fidélité-utilité-confidentialité sans supervision supplémentaire.
GrowthGR, un framework de retrieval pour e-commerce, résout le problème du « Matthew effect » en équilibrant conversion immédiate et croissance long-terme des nouveaux produits. Déployé sur Taobao, il combine prédiction de valeur transactionnelle (ItemLTV) et optimisation multi-valeurs (MoPO), atteignant +5.3% GMV nouveaux items et +0.3% GMV global.
Étude montrant que les modèles de langage fine-tunés sur les échecs mémorisent plutôt que de généraliser. KinGPT (25M params) surpasse ChessGPT (3B) et C1-4B sur des benchmarks d'échecs, mais l'analyse révèle une reconnaissance de motifs. LLM-Modulo, framework avec vérificateur externe, améliore RedPajama 3B de 1,2% à 21,2% en précision de coups. Code et modèles open-sourcés.
WebGameBench est un benchmark évaluant si les agents de code peuvent transformer une spécification de jeu web en application jouable dans un navigateur. Sur 111 tâches et 12 agents, le meilleur atteint 76,9% de taux utilisable mais seulement 20,2% excellent, révélant un écart entre livraison minimale et satisfaction complète des exigences.
Les chercheurs identifient l'Entropy-Gradient Inversion, une corrélation négative entre l'entropie des tokens et les gradients de logits, comme signature géométrique des capacités de raisonnement des grands modèles. Ils proposent CorR-PO, une méthode d'optimisation par renforcement intégrant cette signature dans la régularisation des récompenses, surpassant les baselines sur plusieurs benchmarks de raisonnement.
PROTEA est une interface pour déboguer et affiner les workflows multi-agents LLM hors ligne. Elle évalue les sorties intermédiaires avec des rubriques configurables, localise les goulots d'étranglement via le graphe du workflow, et génère des révisions de prompts ciblées. Sur deux workflows en production, PROTEA améliore la précision de 64,3% à 83,9% et le Hit@5 de 0,30 à 0,38.