MERIT, un framework de préentraînement multimodal, combine le masquage d'ECG avec l'alignement contrastif ECG-texte pour apprendre des représentations cardiologiques. Sur PTB-XL, gains de +3% F1 (All) et +5% F1 (SubClass), +2.66% AUC en zéro-shot. Améliore aussi la génération de texte clinique avec LLM.
GenSBI est une bibliothèque open-source JAX pour l'inférence basée sur simulation (SBI). Elle implémente flow matching, score matching et diffusion denoising avec trois architectures transformer (SimFormer, Flux1, Flux1Joint). Validation sur benchmarks SBIBM : scores C2ST de 0.50-0.56 (idéal=0.50).
BioELX est un système de liaison d'entités biomédicales multilingues en deux étapes sans données d'entraînement annotées. Il enrichit SapBERT avec des alias multilingues Wikidata et utilise un LLM pour la désambiguïsation contextuelle. Sur cinq benchmarks, il atteint +19.2 Recall@1 sur XL-BEL, avec gains majeurs pour langues peu dotées (turc +21.6, coréen +22.1, thaï +30.8).
StoryMI est un framework multi-agent LLM pour générer des dialogues thérapeutiques d'entretien motivationnel (MI) contrôlables. Des profils clients basés sur questionnaires sont enrichis en histoires narratives. Des agents thérapeute/client génèrent des énoncés codifiés MI, coordonnés par un agent d'interaction. Évaluation sur 6K dialogues simulés couvrant 12 codes MI et 13 domaines symptomatiques.
RAG-Coding est une méthode multi-agents orchestrant 4 LLM pour le codage ICD-10-CM automatisé. Elle ancre les décisions dans des sources externes (tabular officiel, guidelines) et améliore la précision de 8-13% en micro-F1 sur MDACE. Les auteurs publient aussi MDACE-2025 avec annotations expertes selon les guidelines 2025.
TritonMoE : kernel MoE en Triton pur pour inférence portable NVIDIA/AMD sans code vendor-spécifique. Gate+up GEMM fusionnés réduisent trafic mémoire de 35%. Atteint 89-131% du débit Megablocks (batch ≤512 tokens) sur A100, même kernel sur MI300X. Limitations : dégradation à 2048+ tokens et avec 64+ experts.
Corpus Usenet complet (1980–2013) de 103,1B tokens publié pour fine-tuning local. Zéro contamination IA, 408M posts bruts pré-SEO, organisés par domaines (comp.*, sci.*, rec.*). Samples gratuits téléchargeables, corpus complet sous licence.
Benchmark complet de 38 paires de quantifications KV sur Qwen 3.6 27B avec contexte 64k-128k. Q5_0 et Q5_1 sous-estimés, Q8_0/Q4_* surestimés. Recommandation : Q8_0/Q6_0 ou Q8_0/Q5_1 haute performance, Q6_0/Q5_0 équilibre, Q5_0/Q5_0 VRAM limité.
Kernel de dispatch MoE fusionné écrit en pur Triton (sans CUDA) atteint 89-131% des performances de Megablocks sur A100. Fusionne gate+up projections pour réduire 35% du trafic mémoire. Fonctionne sur AMD MI300X sans modification. Limitations : performance dégradée au-delà de 2048 tokens et avec 64+ experts.
Verilog-Evolve est un framework de raffinement itératif du code Verilog généré par LLM. Le système évalue les candidats via simulation fonctionnelle, synthèse Yosys, timing ABC et métriques GEMM, puis évolue des compétences modulaires entre tâches. Résultats sur VerilogEval : meilleure stabilité fonctionnelle et qualité RTL downstream.
MicroSpec réduit le vocabulaire actif de 40x (sous 3k tokens) lors du décodage spéculatif sans entraînement supplémentaire. La technique exploite la localité temporelle du langage et intègre gestion GPU asynchrone. Speedup end-to-end de 1.12-1.32x vs EAGLE-2.
Des chercheurs testent si les LLM encodent des structures syntaxiques formelles (phase boundaries du Minimalist Program) invisibles aux Universal Dependencies. Sur 13 modèles (4 familles), 12/13 montrent un gradient lié au nombre de phases, et 13/13 une asymétrie prédite par la cohésion intra-phase. L'activation patching confirme ces représentations sont causalement actives.
Étude de l'apprentissage en ligne adversarial sur pertes cachées-convexes (nonconvexes devenant convexes après reparamétrisation). Les auteurs prouvent que la descente de gradient en ligne (OGD) atteint un regret optimal Θ(√T), améliorant le résultat O(T^2/3) antérieur. Ils caractérisent la condition de compatibilité Hessienne nécessaire-suffisante et étendent l'analyse au feedback bandit avec regret O(T^3/4).
Cadre PAC-Bayésien pour l'apprentissage informé par la physique (PIML) intégrant les équations différentielles partielles. Fournit des garanties de généralisation haute probabilité avec pertes non bornées via perspective multi-tâche. Bornes non-vacueuses validées sur benchmarks PDE standards.
Staged-Competence, un framework de curriculum learning, améliore la robustesse de l'alignement de sécurité basé sur DPO. Sur trois familles de modèles, il réduit les taux de réponses nuisibles hors-distribution de 16% et les taux de succès des attaques jailbreak de 20%, tout en préservant les capacités générales. Le framework atteint la sécurité de base avec 75% des données d'entraînement.
ARBITER corrige les défaillances du vote majoritaire en test-time sampling. Les trajectoires de raisonnement se concentrent en clusters (bassins) stables mais pas nécessairement corrects. ARBITER utilise les états cachés et preuves du modèle pour ajouter des preuves conservatives au consensus, récupérant ~22% de l'écart oracle sur Llama-3.1-8B MMLU-HS-Math (78%→82%).
AirCast-SR est un modèle de super-résolution atmosphérique qui affine les prévisions météorologiques IA globales de 28 km à 1 km de résolution horizontale. Basé sur un U-Net 3D conditionné par diffusion LCM, entraîné sur les prévisions GraphCast et les données NOAA, il produit des prévisions de 67 heures sans biais et démontre une transférabilité zéro-shot sur l'Inde et l'Allemagne.
Étude sur le coût des contraintes de sortie structurées pour petits modèles de langage (< 3B). Tests sur Qwen2.5-0.5B/1.5B et SmolLM2-1.7B montrent que forcer la validité du schéma JSON (61.5% → 100%) réduit la précision des réponses (19.7% → 11.0%) et augmente les sorties invalides sémantiquement (49.5% → 88.9%). Recommandation : rapporter séparément validité schéma, précision réponse et taux d'erreurs sémantiques.
Une étude arXiv montre que les modèles avec des connaissances factuelles stables échouent systématiquement à les assembler en chaînes de raisonnement multi-hop (écart >40 points). Les métriques agrégées masquent ce « composition collapse ». Les auteurs proposent un protocole double-gate pour décomposer les gains post-training en trois canaux : stabilité atomique, composition résiduelle et profondeur critique.
MemFail est un benchmark diagnostic qui isole les modes de défaillance des systèmes de mémoire LLM modernes. Les auteurs formalisent ces systèmes comme composition de trois opérations (résumé, stockage, récupération) et construisent cinq datasets adversariaux pour tester chacune. Évaluation de quatre systèmes SOTA révèle les compromis architecturaux.
MedGuideX transforme les recommandations des guides de pratique clinique (CPG) en logique décisionnelle exécutable pour générer des données d'entraînement en question-réponse. Post-entraînement d'un LLM médical sur ces données améliore la précision de 10,28% sur quatre benchmarks de raisonnement clinique et produit des justifications préférées par les médecins.
JobBench est un benchmark évaluant 36 modèles IA (dont Claude Opus à 45,9%) sur 130 tâches professionnelles réelles couvrant 35 métiers. Contrairement aux benchmarks existants axés sur la valeur économique, JobBench priorise les workflows que les experts identifient comme prioritaires pour la délégation, favorisant l'augmentation plutôt que le remplacement humain.
Article formalisant la mémoire d'agent IA comme workload de gestion de données distinct. Propose GEM (Governed Evolving Memory) avec quatre opérateurs au niveau état (ingestion, révision, oubli, récupération) et six conditions de correction. Démontre que les systèmes record-level ne peuvent satisfaire ces conditions. Prototype MemState sur graphe de propriétés.
NestedKV compresse le cache KV des modèles long-context sans entraînement. La méthode maintient des ancres clés multi-échelles (globales, par bloc, fenêtre glissante), score les tokens par anomalie cosinus et combine les classements avec routage adaptatif par tête. Gains jusqu'à 19.10 points sur RULER et 19.29 sur LongBench vs KeyDiff (Qwen3-4B, r=0.75).
Étude contrôlée sur la longueur d'historique de chemin dans le QA sur graphes de connaissances avec LLM. Bounded Path Context (BPC) limite l'historique exposé au modèle (K derniers sauts) tout en conservant le chemin complet en mémoire symbolique. Sur WebQSP et CWQ avec Qwen3.5-9B-AWQ : K=1 atteint 0.487 F1 (vs 0.472 historique complet) avec 9.7% moins de tokens.
FAB-Bench est un framework de benchmarking adaptatif pour évaluer les systèmes RAG en fabrication semiconducteurs. Il définit 6 métriques diagnostiques (précision factuelle, utilisation contextuelle, complétude, pertinence de retrieval, profondeur technique, cohérence du raisonnement) sur des fenêtres de contexte 4K-32K tokens. Benchmark de 200 paires query-answer testé sur 4 LLMs et 4 frameworks RAG.
Étude mécanistique des hallucinations dans les LLM sur connaissances structurées linéarisées (graphes, tables). Les hallucinations résultent de dynamiques internes systématiques : attention concentrée sur des indices structurels raccourcis, représentations feed-forward ne grounding pas la connaissance fournie, reversion à la mémoire paramétrée. Patterns généralisent à graphes multi-hop et données tabulaires.
MechRL utilise un agent RL (PPO) opérant sur 144 têtes d'attention de GPT-2 small pour découvrir automatiquement les circuits mécanistiques. Entraîné sur induction et IOI, l'agent identifie les têtes causalement pertinentes via ablation zéro et récompense contrastive, généralisant à docstring completion (96% de l'oracle en best-of-five).
QAM-W est un codec de quantification 2D pour poids de LLM qui utilise rotation Hadamard et mise à l'échelle consciente de l'activation. Sur 5 modèles (1.1B–13B), la variante activation-aware à ~5.5 bpw maintient ±0.4% de perplexité BF16, égalant SmoothQuant W8A8 avec 32% moins de bits. Le codage 2D surpasse le codage polaire de 2–15 pp.
Architecture d'inférence avec état persistant pour appels d'outils multi-agents. Cache KV persistent entre les tours, coût réduit de O(n_t) à O(Δ_t). Speedup 2.1× sur workflows 6-tours, 4.2× sur workflows 35-tours vs vLLM/SGLang.
Les modèles de diffusion vidéo autorégressifs utilisent un cache KV quantifié pour réduire la mémoire, mais la quantization crée un biais d'attention (Jensen bias) qui dégrade la qualité. Les auteurs proposent une correction per-attention-score calculée à partir des pas de quantization, récupérant la qualité perdue avec INT2 tout en utilisant 50% moins de mémoire qu'INT4.
GAC est un contrôleur adaptatif pour l'entraînement hybride SFT-RL qui ajuste dynamiquement le poids de mélange en fonction de l'estimation en ligne de la variance des gradients et du désaccord entre les deux signaux. Testé sur des benchmarks math, code, science et logique, GAC améliore les baselines fixes avec moins de 1% de surcharge computationnelle.
TSFMAudit, première méthode d'audit de contamination de données pour modèles de fondation en séries temporelles (TSFMs). Détecte si des datasets d'évaluation ont été exposés lors du préentraînement en analysant la dynamique d'adaptation fine-tuning : les données contaminées montrent une réduction de perte anormalement rapide. Évalué sur 6 TSFMs et 187 datasets.
GEM (Geometric Entropy Mixing) reformule la curation de données LLM comme un problème variationnel sur l'hypersphère pour éviter l'effondrement de clusters. Utilise un algorithme MM prouvable et la distillation enseignant-étudiant pour passer à l'échelle. Améliore la précision en aval de 1,2% sur modèles 1,1B intégrés à DoReMi et RegMix.
CE-FedGNN est un framework fédéré pour les réseaux de neurones graphiques (GNNs) qui réduit la communication en échangeant rarement des représentations agrégées plutôt que des embeddings à chaque round. Un estimateur de moyenne mobile gère les dépendances cross-client et la staleness. Le framework garantit la confidentialité via metric-DP et converge en O(1/√T) avec complexité de communication O(T^3/4).
LiveK12Bench est un benchmark dynamique multi-disciplinaire évaluant les capacités de raisonnement des modèles multimodaux sur 2K+ questions d'examens réels (Maths, Physique, Chimie, Biologie). Les tests révèlent une dégradation majeure : GPT-5 chute de 79 à 53/100 sous contraintes réalistes d'examen. Le framework inclut un pipeline automatisé anti-contamination et un schéma d'évaluation « Mock Exam » end-to-end.
Nouvelle loi de scaling unifiée (UNSL) modélisant simultanément l'impact de la taille du modèle, du dataset, des étapes d'entraînement, des étapes d'inférence et des hyperparamètres sur la performance. Validée sur vision, langage, math et RL avec extrapolations plus précises que les formulations existantes.
Étude sur le mécanisme du chain-of-thought (CoT) au moment de l'inférence. Les auteurs montrent que l'amélioration de performance provient principalement d'une activation lexicale et de co-occurrences de tokens à courte portée (2-3 tokens), plutôt que d'une dérivation logique globale. Même un texte avec mots mélangés surpasse l'absence de rationale.
Les modèles de raisonnement (LRM) encodent le refus conjointement dans les activations résiduelles et la chaîne de pensée (CoT). Sur DeepSeek-R1-Distill-LLaMA-8B, le steering d'activation inverse le refus dans 39% des cas avec CoT fixe, mais 70% sans CoT. Régénérer la CoT sous steering atteint 94% de succès, révélant que le refus est distribué entre activations et CoT.
Étude de 432 expériences sur 6 modèles (4 tiers de capacité) testant l'hypothèse que les modèles plus puissants nécessitent moins de structure. Résultats : relation non-monotone. Gemini 2.5 Flash voit ses performances baisser de 29-38pp avec plus de verbosité. Qwen3.5-122B (reasoning) atteint 91.7% VTSR avec harness strict. Taxonomie de 6 défaillances identifiée.