HEED propose une méthode d'alignement résiduel pondéré par densité pour distiller des modèles vision-langage (ex. Qwen3-VL-8B) en architectures hybrides Mamba-2/attention. La technique cible les patches haute-densité (texte, détails fins) qui subissent 3.6× plus de dérive résiduelle. Résultats : +8.7 points OCRBench v2, +5.13 points en moyenne, 4.12× throughput, 68% économie mémoire.
ChemVA, un framework pour améliorer la compréhension des diagrammes de réactions chimiques par les LLMs. Combine détection visuelle multi-granularité des groupes fonctionnels et alignement sémantique pour activer le raisonnement chimique latent. Atteint 92% de précision de reconnaissance structurelle sur OCRD-Bench et +20 points de performance sur 9 LLMs.
FishBack propose une méthode d'activation steering basée sur la géométrie de Fisher pour les transformers. Les auteurs montrent que l'espace d'activation n'est pas euclidien (déviation >97% sur GPT-2) et dérivent une équation de steering optimale en forme fermée. La méthode surpasse CAA, ActAdd et ITI de 1.3×–2.5× sur la réduction KL hors-cible.
DISA est une méthode d'RL hors-ligne pour les LLM qui découple l'estimation de la fonction de partition (via importance sampling) de l'optimisation de la politique. Sur 9 benchmarks (math et code), elle égale ou surpasse FlowRL, dépasse GRPO/GSPO, et conserve plus de diversité stratégique que les baselines de maximisation de récompense.
CyberCorrect formalise l'auto-correction des LLM comme système de contrôle en boucle fermée. Un détecteur d'erreurs tri-modal (auto-cohérence, confiance verbalisée, vérification logique) alimente un contrôleur de correction type-dirigé. Sur CyberCorrect-Bench (440 tâches), le framework atteint 79,8% de précision (+6,2pp vs SOTA) et réduit les sur-corrections de 41%.
Agents CAD auto-améliorants utilisant l'analyse par éléments finis (FEA) comme feedback. Les modèles Codex (GPT-5.5) et Claude Code (Opus-4.7) ne produisent aucun artefact valide en première tentative ; seuls ~20% des exigences sont respectées. Deux signaux de supervision (schéma blueprint texte et rendu 21-vues) améliorent la boucle itérative : Box-IoU passe de 0.444 à 0.592 sur S2O.
CausalSynth est un framework qui génère des données synthétiques respectant les mécanismes causaux du domaine cible. Il combine un Structural Causal Model (SCM) pour générer des squelettes causaux, un LLM comme réalisateur contraint, et une vérification itérative pour corriger les violations structurelles. Testé sur ASIA, ALARM et MIMIC-Struct, il atteint 96% de réalisabilité avec des taux de faux positifs à α=0.05.
Mu-GRPO améliore l'efficacité de GRPO en tolérant une plus grande staleness des rollouts. Le framework organise l'entraînement en 4 stages séquentiels génération-optimisation, réduisant le surcoût système de 2x tout en maintenant les performances sur les benchmarks de raisonnement mathématique.
CMI (Causal Memory Intervention) sélectionne les mémoires pertinentes pour les agents LLM long-horizon via interventions causales contrôlées, plutôt que par similarité sémantique. Un benchmark annoté causalement (Causal-LoCoMo) évalue la robustesse face aux mémoires trompeuses. CMI surpasse les baselines vector, graph, reflection et full-history.
SD-Search propose une auto-distillation par hindsight pour améliorer les agents de raisonnement augmentés par recherche. Un modèle unique joue deux rôles (étudiant et enseignant) : l'enseignant a accès aux résultats des requêtes passées et guide l'étudiant via divergence Jensen-Shannon au niveau des tokens. Aucun modèle externe ni annotation supplémentaire requise.
Étude des politiques d'éviction KV cache (LRU, H2O, SnapKV, StreamingLLM, Ada-KV, QUEST, Random) sous contrainte globale. Sans protection structurelle aux frontières, toutes s'effondrent (F1≤0.064). Réserver 10% du cache à chaque limite restaure 69–90% de qualité sur LongBench avec C=256 (13% rétention). La position-0 concentre ~75% de l'attention; protection des tokens critiques domine le scoring.
OverEager-Gen est un benchmark mesurant les actions hors-scope des agents de code autonomes sur tâches bénignes. Sur Claude Code, retirer la déclaration de consentement élève le taux d'actions overeager de 0% à 17,1% (p=2,4×10⁻⁴). Benchmark de 500 scénarios validés testant 4 produits (Claude Code, OpenHands, Codex CLI, Gemini CLI) : taux 5,4-27,7% en mode permissif vs 0,2-4,5% en ask-to-continue.
ZEDA transforme des modèles MoE statiques post-entraînés en variantes dynamiques via auto-distillation. Sur Qwen3-30B-A3B et GLM-4.7-Flash, la méthode élimine 50% des FLOPs experts avec perte de précision mineure et atteint 1.20× d'accélération d'inférence.
LightTransfer transforme les modèles de langage (LLaMA, Mistral, QwQ-STILL) en architectures hybrides sans entraînement. La méthode identifie les couches « paresseuses » et remplace leur attention complète par une attention en streaming, réduisant les coûts de cache KV. Résultats : jusqu'à 2,17× d'amélioration de débit avec <1,5% de perte sur LongBench et 53,3% sur AIME24.
FinTagging est un benchmark pour évaluer les LLM sur l'extraction et le tagging XBRL de données financières. Il décompose la tâche en deux étapes : FinNI (extraction d'entités numériques) et FinCL (mapping vers la taxonomie US GAAP complète). Les tests montrent que les modèles extraient bien mais échouent sur le linking fin vers les 10k+ concepts.
LaPA² résout la dilution d'attention dans la génération de texte contrôlée long-forme. La méthode applique un scaling logarithmique conscient de la longueur pour amplifier les poids d'attention des préfixes, contrant l'affaiblissement naturel du signal de contrôle. Framework sans entraînement, compatible avec préfixes souples et durs.
Nouvelle stratégie de sélection de données pour l'alignement LLM basée sur l'écart de récompense implicite DPO. En ciblant les exemples de préférence les plus difficiles (petit écart), la méthode atteint des performances supérieures avec seulement 10% des données originales sur plusieurs benchmarks.
Chercheurs proposent l'Indice de Refus (RI), métrique mesurant la capacité des LLM à refuser les questions hors de leurs connaissances. RI corrèle la probabilité de refus avec la probabilité d'erreur via Spearman. Tests sur 16 modèles et 5 datasets montrent que les LLM refusent de façon instable malgré une haute précision factuelle.
History-Echoes analyse comment l'historique conversationnel biaise les réponses futures des LLM. Via modélisation Markovienne et analyse géométrique des représentations cachées, l'étude révèle que la persistance comportementale crée un « piège géométrique » dans l'espace latent, testée sur 3 familles de modèles et 6 datasets.
EvolveR est un framework permettant aux agents LLM d'apprendre de leurs propres expériences via une boucle fermée. Il combine l'auto-distillation hors ligne (extraction de principes stratégiques des trajectoires) et l'interaction en ligne (récupération de principes pour guider les décisions). Testé sur des benchmarks QA multi-hop, il surpasse les baselines existantes.
Beacon est un benchmark de diagnostic qui mesure la sycophantie (tendance des LLM à privilégier l'accord avec l'utilisateur plutôt que l'exactitude) dans 12 modèles SOTA. Les auteurs identifient des sous-biais linguistiques et affectifs qui augmentent avec la capacité du modèle, et proposent des interventions au niveau du prompt et de l'activation pour les moduler.
Développement d'un runtime CUDA optimisé pour l'inférence petit batch (robotique, VLA). Les goulots d'étranglement ne sont pas les GEMM seuls mais les surcoûts runtime : fragmentation kernels, transitions layout, conversions précision (FP8/FP4), scheduling Python. Résultats : Pi0.5 sur RTX 5090 ~17.6ms, GROOT N1.6 ~12.5-13.1ms, Qwen 27B ~129 tok/s.
Sub-JEPA améliore LeWorldModel (groupe LeCun, NYU) en appliquant la régularisation gaussienne dans des sous-espaces orthogonaux gelés plutôt que globalement. Gains de +10.7 pp sur Two-Room, trajectoires latentes plus droites, décodabilité d'état physique améliorée. Code et papier disponibles.
GitBook héberge 30 000 sites de documentation sur Vercel, servant 120 millions de pages vues mensuelles. La plateforme utilise la directive `use cache` de Next.js pour invalider le cache en moins de 300ms par site, traitant 40 000 invalidations quotidiennes. 41% du trafic provient de crawlers IA.
OpenAI et Snowflake signent un partenariat de 200 millions de dollars pour intégrer l'IA frontier directement dans la plateforme de données Snowflake. Les clients pourront déployer des agents IA et générer des insights sans déplacer les données. Intégration native des modèles OpenAI dans l'écosystème Snowflake.
OpenAI et SoftBank Group s'associent via SB Energy pour construire des campus de data centers multi-gigawatts dédiés à l'IA, dont une installation de 1,2 GW au Texas soutenant l'initiative Stargate.
OpenAI annonce GPT-5.2, son modèle le plus performant en mathématiques et sciences, avec résultats SOTA sur GPQA Diamond et FrontierMath. Le modèle résout un problème théorique ouvert et génère des preuves mathématiques fiables.
OpenAI déploie GPT-5.1 en API avec raisonnement adaptatif plus rapide, cache de prompt étendu, performances accrues en code, et nouveaux outils apply_patch et shell.
Meta lance Llama 3.2 avec capacités de vision intégrées et versions optimisées pour appareils locaux. Le modèle traite images et texte nativement, disponible en versions 1B et 3B pour exécution sur appareil.
Google publie Gemma 2 2B, un modèle léger optimisé pour l'inférence. ShieldGemma offre une protection contre les contenus nuisibles. Gemma Scope fournit des outils d'interprétabilité pour analyser le fonctionnement interne des modèles.
L'agent de code Transformers de Hugging Face atteint 92% de précision sur le benchmark GAIA, surpassant Claude 3.5 Sonnet (92%) et GPT-4o (87.9%). L'agent combine recherche web, exécution de code et raisonnement multi-étapes pour résoudre des tâches complexes.
Hugging Face présente Idefics2, un modèle vision-langage 8B open-source capable de traiter images et texte. Le modèle supporte résolution jusqu'à 1024×1024 pixels et fonctionne sur hardware standard. Disponible sous licence Apache 2.0 avec poids publics et code.
Hugging Face publie StarCoder2, modèle de code open-source entraîné sur The Stack v2 (dataset de 17B tokens de code). StarCoder2 surpasse CodeLlama sur plusieurs benchmarks (HumanEval, MBPP). Disponible en versions 3B, 7B et 15B, avec poids et code source libres.
OpenAI explore comment utiliser les propriétés de généralisation du deep learning pour contrôler des modèles forts avec des superviseurs faibles. Nouvelle direction de recherche pour la superalignment avec résultats initiaux prometteurs.
OpenAI entraîne un réseau de neurones à jouer à Minecraft via Video PreTraining (VPT) sur des vidéos non-annotées de joueurs humains. Le modèle apprend à fabriquer des outils en diamant (tâche de 24 000 actions) avec peu de données étiquetées. Il utilise l'interface native (clavier/souris) et représente un pas vers des agents informatiques généraux.
Ideogram 4.0 sort en modèle open-weight avec résolution native 2K, contrôle de bounding box et rendu de texte amélioré. Sur DesignArena, il classe premier parmi les modèles ouverts, derrière seulement OpenAI et Google. Utilisation commerciale sous licence payante.
Un chercheur dénonce l'utilisation du détecteur d'IA propriétaire Pangram par NeurIPS 2026 pour les rejets de bureau. Le problème : le détecteur n'a pas été validé sur la distribution réelle des soumissions, créant un risque de faux positifs. Tests sur les papiers des chairs montrent des scores incohérents (24-69% IA).
Trivy est un scanner de sécurité open-source qui détecte les vulnérabilités, configurations erronées, secrets et génère des SBOM dans les conteneurs, Kubernetes, dépôts de code et environnements cloud.
AirLLM permet l'inférence de modèles 70B sur une GPU 4GB unique via une technique de streaming et partitionnement des poids. Le projet GitHub montre une implémentation open-source réduisant drastiquement les besoins en mémoire GPU.
Suno, startup de musique IA, lève 400 millions de dollars et double sa valorisation à 5,4 milliards. L'entreprise poursuit simultanément des procès contre les majors du disque.