Méthode pour étendre les LLM à de nouvelles langues sans phase d'alignement coûteuse. Convertit un modèle dense en architecture Mixture-of-Experts avec experts dédiés par langue, puis transfère les capacités d'alignement via fusion de deltas post-training. Améliore les performances sur les nouvelles langues tout en préservant les capacités originales.
Étude théorique de la perte de plasticité (LoP) en apprentissage profond dans des environnements non-stationnaires. Les auteurs identifient deux mécanismes principaux : saturation d'activation et redondance représentationnelle, qui créent des pièges dans l'espace des paramètres. Paradoxe : les propriétés favorisant la généralisation statique (représentations bas-rang) aggravent la LoP en apprentissage continu.
Audit critique de SAEBench, la suite d'évaluation standard pour les autoencodeurs creux (SAEs). Les métriques TPP et SCR échouent à plusieurs tests de fiabilité et ne doivent pas être utilisées. Les autres métriques montrent un bruit de reseed élevé et une discriminabilité faible. Seule sae-probes offre une fiabilité acceptable, mais peine à différencier les variantes d'architecture.
OPERA est une architecture de récupération augmentée par génération (RAG) qui couple planification et exécution via apprentissage par renforcement. Un module de planification d'objectifs décompose les questions complexes en sous-objectifs, exécutés par un module Reason-Execute avec composants spécialisés. L'entraînement utilise MAPGRPO, une variante de GRPO. Résultats supérieurs sur benchmarks multi-hop complexes.
UniER est un benchmark unifié pour la recommandation d'exercices pédagogiques, comparant deux paradigmes : ILER (recommandation au niveau item) et PLER (recommandation de parcours d'apprentissage). Le framework introduit la métrique Weighted Cognitive Gain (WCG) et évalue 18 méthodes sur 9 datasets. Les résultats montrent la supériorité systématique de PLER et les limites d'ILER en contexte de rareté de données.
Une expérience contrôlée randomisée montre que l'accès aux LLM augmente significativement la performance moyenne, mais les gains sont inégalement distribués. La compétence d'interaction IA (capacité à solliciter, filtrer et vérifier les outputs) prédit les bénéfices, pas le GPA. Une intervention de scaffolding (cartes conceptuelles) réduit la variance des résultats.
Étude de 124 pays couvrant 99% du PIB mondial. Mesure task-based de l'exposition à l'automatisation : 3,3% en Afrique du Sud à 61,6% en Chine. Distingue automatisation labor-substituting vs labor-augmenting. IA plus présente dans substitution en pays pauvres, augmentation en pays riches. Femmes surexposées à la substitution.
Une nouvelle méthode de credit assignment pour l'apprentissage par renforcement avec LLMs. IBPO (Implicit Behavior Policy Optimization) utilise des trajectoires contrefactuelles pour transformer les récompenses terminales éparses en signaux d'apprentissage sensibles aux étapes, réduisant la variance des gradients et améliorant la stabilité sur les benchmarks de raisonnement mathématique et code.
TinySAM 2 compresse SAM 2 pour la segmentation vidéo efficace. Mécanisme de gestion de qualité mémoire + compression spatio-temporelle des tokens. Atteint 90% des performances de SAM 2.1 avec 7% des tokens mémoire et 3% des données d'entraînement. Réduit paramètres, charge computationnelle et coûts de déploiement.
D²Evo est un framework RL pour améliorer le raisonnement des LLM. Il résout la rareté des samples de difficulté moyenne en minant des anchors adaptés à la capacité du modèle et en entraînant un Questioner à générer des questions diversifiées. Résultats : surpasse les méthodes existantes sur benchmarks mathématiques avec <2K samples réels.
Étude arXiv montrant que les évaluations de sécurité des LLM souffrent de bruit systématique : petits datasets, incohérences méthodologiques, configurations d'évaluation peu fiables. Analyse du pipeline complet (curation, red-teaming automatisé, génération, jugement par LLM) et propose des lignes directrices pour réduire le biais.
ProRL est un framework de reinforcement learning programmatique pour l'optimisation combinatoire (job shop scheduling). Il génère des politiques interprétables sous forme de programmes lisibles via un DSL spécialisé (DSL-S), explorant l'espace des programmes par recherche locale et optimisation bayésienne. Surpasse les heuristiques classiques et baselines DRL avec peu d'épisodes d'entraînement.
Nouvelle stratégie de sélection de données pour l'alignement LLM basée sur l'écart de récompense implicite DPO. La méthode sélectionne les exemples les plus difficiles (petit écart de récompense) et atteint des performances supérieures avec seulement 10% des données originales sur plusieurs benchmarks.
QSTRBench est un benchmark évaluant la capacité des LLM à raisonner sur le calcul spatial et temporel qualitatif (QSTR). Il couvre 9 calculi (Point Algebra, Allen's Interval Algebra, RCC-5/8/22, etc.) avec composition tables, relations inverses et voisinages conceptuels. Les modèles testés surpassent le hasard mais aucun ne répond correctement à tous les cas. RCC-22 s'avère le plus difficile.
Étude révélant un phénomène d'« inapprenabilité » dans l'apprentissage par renforcement avec récompense vérifiable (RLVR) pour LLM. Certains exemples difficiles restent non-apprenables même avec des trajectoires correctes. L'analyse montre des défauts de représentation fondamentaux : faible similarité de gradient et patterns de raisonnement non-généralisables. L'augmentation de données ne résout pas le problème.
EmoMind décode des descriptions affectives directes depuis les signaux fMRI du cerveau. Le système récupère d'abord une description neutre de la scène visuelle, puis la réécrit en utilisant un vecteur émotionnel continu de 34 dimensions extrait du même enregistrement fMRI. Évalué sur deux datasets indépendants, EmoMind surpasse GPT-4 avec étiquettes discrètes sur tous les axes de validation.
OCCAM est un framework pour expliquer les décisions des classifieurs d'images en boîte noire via des concepts visuels causaux. Il découvre des concepts en mode open-set, les localise par segmentation guidée par texte, et mesure leur contribution causale par interventions au niveau objet. OCCAM agrège les preuves interventionnelles pour induire une ontologie structurée révélant dépendances et biais systémiques.
Les systèmes en cascade d'LLM, conçus pour optimiser efficacité et performance en routant les requêtes complexes vers des modèles puissants, sont vulnérables aux attaques adversariales ciblées. Une nouvelle attaque exploite les modèles légers et les mécanismes de décision interne pour dégrader simultanément la précision et l'efficacité des coûts.
HINT-SD propose une auto-distillation ciblée pour entraîner des agents LLM sur des horizons longs. La méthode utilise l'historique complet de trajectoire pour identifier les actions pertinentes aux échecs et applique la distillation conditionnée par feedback uniquement sur ces segments. Sur BFCL v3 et AppWorld, elle améliore les baselines de 18,80% tout en réduisant le temps par étape d'entraînement de 2,26×.
Étude de 6,8M solutions sur 6,7K tâches dans 9 domaines (matériaux, biologie structurale, IA, biomédecine, data science, informatique théorique, F1, construction). Trois patterns universels identifiés : temps d'attente heavy-tailed, accumulation sublinéaire des records, corrélation temporelle des ruptures. Un modèle minimal unifie radical innovation et raffinements incrementaux.
Article arXiv proposant un cadre formel pour combiner évaluations LLM et humaines. Utilise un estimateur doublement robuste (missing data) pour déterminer le nombre optimal de revues humaines nécessaires. Shift du rôle LLM : de substitutif à auxiliaire dans un design d'échantillonnage deux étapes.
Premiers travaux sur l'oubli machine pour modèles de diffusion masqués (LLaDA, Dream). MDU minimise la divergence KL entre prédictions conditionnelles et distribution inconditionnelle masquée, avec paramètre de température pour équilibrer confidentialité-utilité. Code disponible.
EvoSynth, un framework multi-agent autonome, optimise les attaques jailbreak en espace de code exécutable plutôt qu'en espace de prompts. Le système évolue et corrige itérativement des algorithmes d'attaque basés sur le code. Résultats : 85,5% de taux de succès contre Claude-Sonnet-4.5, 95,9% en moyenne sur tous les modèles testés.
Étude complète des systèmes IA pour la recherche automatisée (avril 2026). Les LLM excellent dans les tâches structurées et outillées, mais restent fragiles pour les idées novatrices et le jugement scientifique. Les systèmes autonomes bout-à-bout n'atteignent pas encore les standards des grandes conférences. La collaboration humain-gouvernée demeure le paradigme le plus crédible.
F³A est un routeur sans entraînement pour l'élagage des tokens visuels dans les modèles vision-langage. Il sélectionne les tokens visuels pertinents via des indices conditionnés par la question, sans passe LLM supplémentaire, réduisant les coûts d'inférence tout en préservant la performance.
Infini-News indexe 1,35 milliard d'articles de CC-News (août 2016 à présent) avec extraction de métadonnées, détection de langue (GlotLID, lingua, CommonLingua) et attribution géographique (83,4% couverts). Les index Infini-gram permettent des recherches textuelles en sub-seconde sur l'archive complète.
TTG (Token Games) est un framework d'évaluation où les modèles de langage se défient mutuellement en créant des puzzles de programmation. Le système utilise des duels par paires et des ratings Elo pour comparer 10 modèles frontier. Les résultats correspondent aux benchmarks existants (Humanity's Last Exam) pour moins de 200 USD sans curation humaine.
HTSC-2025 est un benchmark open-source de matériaux supraconducteurs à haute température découverts entre 2023-2025 (systèmes X₂YH₆, pérovskites MXH₃, M₃XH₈, structures en cage BCN-dopées, honeycomb 2D). Comble le manque de datasets standardisés pour évaluer équitablement les algorithmes IA de prédiction de température critique.
Article théorique sur l'entraînement des transformers en régime champ moyen (profondeur et largeur infinies). Les auteurs modélisent l'entraînement comme contrôle d'une PDE neurale (vs ODE pour ResNets), établissent la bonne posture du passage forward, dérivant formules explicites pour les gradients Wasserstein et prouvant convergence du gradient flow vers minima globaux sous conditions d'injectivité du NTK.
DiVT (Disentangled Visual Tokenization) regroupe les embeddings de patches en unités sémantiques cohérentes pour les MLLMs, créant des tokens visuels discrets et significatifs plutôt qu'un flux continu. Adapte le budget de tokens à la complexité de l'image, réduisant mémoire et latence tout en améliorant la compatibilité avec les LLMs.
DISCA, une méthode d'inférence sans entraînement, aligne culturellement les LLM via des agents-personas basés sur le World Values Survey. Testée sur 20 pays et 7 backbones (2B–70B), elle réduit le désalignement culturel de 10–24% sur MultiTP sans modifier les poids du modèle.
Article théorique sur l'évaluation des modèles génératifs. Les auteurs montrent que les critères standards (marginal matching) ne garantissent pas la préservation de la structure de covariance. Ils introduisent D_Sigma = ||Sigma_P - Sigma_Q||_F pour mesurer la fidélité des dépendances, avec preuves formelles et validation sur Fashion-MNIST VAE, RNA-seq (TCGA-BRCA, n=1111) et données Alzheimer (n=113).
Article évaluant l'efficacité énergétique des solveurs de combinatoire neuraux vs heuristiques. Définit le seuil d'amortissement (AET) : volume de déploiement où un réseau de neurones compense son coût d'entraînement GPU. Sur CVRP (n=50), le solveur attention-based de Kool et al. (2019) atteint l'équilibre énergétique à ~4560 instances déployées. Ratio neural/heuristique par instance : 2.29e-3.
StreamPro introduit StreamPro-Bench, un benchmark évaluant la compréhension proactive de vidéos en streaming selon trois axes : perception, raisonnement temporel et agentivité. Le framework propose une perte CB-Stream pour équilibrer l'imbalance de supervision et applique GRPO avec récompenses multi-niveaux. Résultats : 41.5 sur StreamPro-Bench vs 10.4 précédemment, 78.9 sur StreamingBench-RTVU.
Étude comparative de 11 LLMs (GPT-4o, Gemma-3, Phi-4, etc.) sur 10 tâches professionnelles courantes. GPT-4o surpasse mais coûte plus cher ; les petits modèles (Gemma-3, Phi-4) offrent un bon rapport qualité/coût/empreinte environnementale. Propose une évaluation centrée sur la suffisance contextuelle plutôt que la performance maximale.
HASP transforme les compétences textuelles d'agents LLM en Program Functions exécutables qui interviennent activement dans la boucle d'agent lors d'états critiques. Le framework améliore les performances de 25% sur web-search (vs ReAct) et 30.4% sur math/coding (vs Search-R1) via intervention en inférence, post-training ou auto-amélioration.
Nouvel algorithme IH-GRPO découplant l'invocation d'outils de leur exécution pour améliorer le raisonnement mathématique des LLM. Gains de 1.87–2.53% sur benchmarks mathématiques avec Qwen3 (1.7B–8B). Code disponible.
Étude longitudinale sur 235M posts de 4M utilisateurs Bluesky montrant que l'exposition à des feeds algorithmiques (News, Science, Blacksky) modifie mesurément le langage des utilisateurs : accommodation stylistique, alignement sémantique, formalisation du registre. Effets variables par feed ; reposting est le prédicteur principal de convergence linguistique.
AMARIS introduit un système de mémoire persistante pour améliorer les rubriques d'évaluation dans l'entraînement par RL des LLMs. Le système accumule les diagnostics d'évaluation au fil du temps, utilise la récupération statique et dynamique pour contextualiser les modifications de rubriques, et ajoute ~5% de surcharge temporelle. Les expériences montrent des gains constants sur les domaines fermés et ouverts.
Focused Forcing optimise les caches KV dans la génération vidéo diffusion autorégressive en sélectionnant par frame et par head les frames historiques pertinents. La méthode combine scores d'attention et scores de diversité, atteignant 1.48× d'accélération sans entraînement tout en améliorant la qualité visuelle et l'alignement textuel.