SovSim, un framework de simulation multi-agent, évalue comment 11 modèles LLM gèrent les ressources communes sous structures de pouvoir asymétriques. Résultat : l'introduction d'un agent avec pouvoir disproportionné (boss/roi) provoque une dégradation de 87,3% du taux de survie et des effondrements de coopération comparé aux paramètres symétriques.
LLMBridge est un système basé sur LLM pour la résolution de bridging référentiel en anglais. Le pipeline combine pré/post-traitement heuristique avec l'inférence en langage naturel des LLM. Évalué sur ISNotes, BASHI et GUMBridge, il surpasse l'état de l'art sur les trois datasets en configuration end-to-end et gold anaphor.
Vercel alerte sur le vol d'inférence IA : une requête à un modèle frontier coûte ~$2, créant une opportunité lucrative pour les attaquants. Les limites de débit et l'authentification par session sont insuffisantes ; Vercel propose BotID pour vérifier chaque requête IA individuellement et prévenir les pertes massives.
Chercheurs proposent une « couche interprétative » (Behavioral Specification) pour personnaliser les décisions d'IA selon les préférences utilisateur. Testée sur 14 corpus autobiographiques, elle améliore la précision représentationnelle de 25× avec moins de contexte que le corpus brut, tout en réduisant l'hésitation du modèle. Efficace sur questions d'interprétation, moins sur questions factuelles.
Étude qualitative auprès de 8 chercheurs en IA révélant un paradoxe : ils se méfient des classements LLM mais les utilisent quand même. Les réseaux pairs dominent la sélection de modèles. Les chercheurs en NLP subissent une pression SOTA absente en HCI/Systèmes. Demande unanime : transparence des coûts.
Article proposant une méthode de résumé de graphiques via Program-of-Thoughts (PoT) : les VLMs génèrent des programmes Python pour extraire des statistiques valides plutôt que du texte direct. Introduit une tâche auxiliaire chart-to-dictionary. Résultats comparables aux méthodes existantes sur métriques sémantiques et factuelles.
GPF-LiveNews est un protocole d'évaluation en continu pour auditer comment les LLM encadrent les événements d'actualité pour différents publics. Testé sur 23 modèles et 12 cycles de monitoring, il mesure les variations sémantiques et de sentiment selon 42 labels d'identité. Les résultats montrent que les prompts Policy/Action produisent le plus fort mouvement sémantique.
Thoughts-as-Planning formalise l'optimisation des chaînes de raisonnement comme un processus de décision séquentielle sur un espace sémantique latent. Le framework apprend un modèle du monde latent simulant l'effet des édits de chaînes de raisonnement sur les sorties, supportant édits multi-échelle (token, segment, instruction) via planification par descente de gradient ou RL.
Étude comparative de quatre algorithmes de syllabification du néerlandais (Brandt Corstius, Liang, Trogkanis-Elkan CRF, et un modèle deep learning). Le modèle deep learning combinant informations phonétiques et orthographiques atteint 99,65% de précision (+0,14% vs littérature). Les algorithmes data-driven surpassent l'approche basée sur des règles.
Étude comparative de 9 modèles ASR (Whisper, Parakeet, Wav2Vec2) sur la parole enfantine en néerlandais. Whisper-medium fine-tuné atteint 5,54% WER sur JASMIN et 70,37% sur DART. Une méthode de sélection au niveau des énoncés identifie 42% (JASMIN) et 18,1% (DART) des utterances comme correctement prononcées avec précision ≥98,3%, réduisant le besoin de vérification manuelle.
Framework modulaire pour générer des lexiques artificiels prononçables et typologiquement plausibles. Utilise PHOIBLE pour les inventaires phonémiques, trois grammaires phonologiques (déterministe, OT, MaxEnt), et une ontologie Swadesh-Leipzig-Jakarta. Évaluation sur perplexité n-grammes et divergence KL : les grammaires probabilistes surpassent les baselines sur 100-5000 formes.
Méthode pour créer des sondes linéaires détectant des concepts dans les embeddings des LLM. Les auteurs définissent un processus : délineation du concept via datasets contrastés, entraînement de sondes par couche, suivi sur contextes larges. Testé sur 4 concepts et 3 LLM différents. Objectif : monitoring scalable de nouveaux modèles.
Méthode de correction de prévisions de consommation énergétique combinant un modèle spatio-temporel préentraîné avec l'Ensemble Score Filter (EnSF). EnSF utilise des modèles de diffusion basés sur les scores pour assimiler des observations partielles et bruitées. Tests sur données réelles montrent que EnSF surpasse l'Ensemble Kalman Filter en régime non-linéaire.
MoMa QL utilise la divergence maximum mean discrepancy (MMD) pour accélérer l'inférence des modèles génératifs score-based et flow-based en RL. La méthode garantit la convergence au niveau distribution et améliore les performances en offline-to-online RL sur les benchmarks D4RL.
Système de filet actif pour capture de débris spatiaux utilisant un réseau de neurones graphiques (GNN) pour optimiser simultanément la morphologie du filet, les masses et propulseurs des unités manœuvrables, et les points de visée du contrôleur. Le GNN réduit le problème d'optimisation mixte combinatoire non-linéaire (MCNLP) en problème non-linéaire (NLP) résolu par PSO avec affinage basé gradient.
COAST est une approche de causalité pour concevoir des interventions contraintes induisant des transitions d'état. Le système apprend des graphes causaux contextuels, attribue les changements distributionnels à des mécanismes causaux, et optimise via une formulation multi-objectifs équilibrant efficacité, complexité et stabilité. Validé sur benchmarks synthétiques et données biologiques réelles.
LoRe est un wrapper d'inférence sans entraînement qui optimise les solveurs neuraux basés sur diffusion pour l'optimisation combinatoire. Il applique un budget d'évaluation d'interactions par étape, routant dynamiquement le calcul vers les interactions à haut conflit/incertitude. Sur MIS et TSP, LoRe atteint ×8 speedup, ×12 réduction mémoire (MIS) et ×15 speedup, ×44 réduction mémoire (TSP n=1000).
BrainSimSiam, un framework d'apprentissage auto-supervisé léger, apprend des représentations robustes à partir de données fMRI sans labels. Utilisant des paires positives uniquement, il généralise sur plusieurs tâches (classification, régression) et surpasse les baselines supervisés, réduisant les besoins computationnels des modèles fondationnels en neuroimagerie.
Étude sur les traces long-CoT utilisées pour l'entraînement supervisé des LLM. Les chercheurs identifient une « continuation nuisible » : quand le raisonnement continue après que la réponse soit suffisamment justifiée. Supprimer ces continuations améliore les résultats du fine-tuning. Ils proposent HCC (Harmful Continuation Cut), un proxy léger pour détecter ces limites.
Étude sur l'échec de la conception de récompenses par LLM en RL sparse structuré. Les auteurs identifient deux modes de défaillance dominants (reward flooding, incompréhension sémantique) et proposent un raffinement itératif guidé par diagnostics. Sur MiniGrid, DoorKey-8x8 passe de 2,3% à 97,6% de succès; KeyCorridor de 31,2% à 86,7%. La taxonomie des défaillances est le mécanisme principal.
Étude théorique sur l'entraînement de modèles fondamentaux sur données synthétiques générées par d'autres modèles. Les auteurs montrent que la curation humaine d'un modèle peut dégrader l'alignement d'autres modèles via des interactions croisées, contrairement aux cas isolés où elle améliore toujours l'alignement.
Nouvel article arXiv proposant ePCA (Proof-Constrained Action), un framework de sécurité pour agents IA basé sur la vérification formelle. Les agents doivent formaliser leurs intentions en contraintes logiques du premier ordre avant d'exécuter des actions physiques, contournant les limites des garde-fous sémantiques empiriques. Évaluations montrent 0% de taux de succès d'attaque et 0% de faux positifs.
DenseSteer est une méthode d'inférence sans entraînement qui améliore le raisonnement mathématique des petits modèles (≤3B paramètres) en modulant leurs représentations internes vers des patterns de raisonnement dense. Sur Qwen-2.5, l'approche montre que un raisonnement plus efficace utilise moins d'étapes mais avec une densité informationnelle plus élevée.
Nouvelle métrique DMC (Data-Model Compatibility) pour évaluer l'adéquation des données d'entraînement lors de la distillation de raisonnement vers des modèles plus petits. DMC considère la qualité des données, la difficulté relative et les capacités du modèle étudiant. Validation sur plusieurs modèles et tâches montre corrélation forte avec la performance et amélioration via sélection dynamique de données.
Étude de la géométrie des représentations induites par LoRA via autoencodeurs creux (SAE) sur Gemma-2-9B. Les chercheurs observent un faible alignement géométrique entre les dictionnaires de features LoRA et les SAE préentraînés, suggérant que LoRA crée des structures représentationnelles distinctes dans le flux résiduel.
Article proposant des modèles causaux continus pour séries temporelles via équations différentielles stochastiques (SDE). Introduit un critère de continuité (invariance de la trajectoire à l'observation) et une taxonomie à trois niveaux. Validation sur données pharmacocinétiques et physiques avec intégration fine-grid surpassant l'approche naïve sur 8/8 configurations (p<1/256).
TaxDistill utilise la distillation de connaissances pour améliorer l'annotation taxonomique en métagénomique. GenomeOcean, un modèle fondation génomique de 500M paramètres, génère des soft labels pour entraîner un réseau étudiant léger, réduisant le bruit des outils de recherche initiaux. Sur 7 datasets CAMI2, TaxDistill améliore le F1 score de MMseqs2 de 0,763 à 0,941 sur le dataset Gastrointestinal.
COM, une stratégie pour les LLM de séries temporelles, intègre des contraintes géométriques dans l'initialisation et l'entraînement des embeddings de tokens. Elle préserve la continuité et l'ordinalité inhérentes aux séries temporelles, améliorant les performances sur plusieurs benchmarks d'analyse.
Article arXiv proposant une architecture multi-agent avec mémoire sémantique et caching pour réduire les hallucinations LLM. Pipeline à trois étages (FrontEndAgent, SecondLevelReviewer, ThirdLevelReviewer) évalué sur 310 prompts. Résultats : réduction THS de -31,3% à -35,9%, taux de cache hit de 47,3%, réduction de 47% des appels LLM. Pas de réentraînement requis.
Étude de l'apprentissage par renforcement en auto-jeu dans Big 2, un jeu de cartes à 4 joueurs avec information imparfaite. PPO surpasse Q-learning, SARSA et Monte Carlo Q-approximation contre des adversaires aléatoires, gloutons et heuristiques. La régularisation d'entropie modérée et l'auto-jeu en politique courante améliorent les performances.
TRACE, un agent LLM pour l'optimisation de composés pharmaceutiques, formule la sélection d'outils comme un problème de décision séquentielle. L'approche améliore les propriétés ADMET tout en préservant les sous-structures moléculaires critiques, surpassant les baselines sur plusieurs tâches d'optimisation.
Des chercheurs proposent une méthode d'audit basée sur le désaccord entre modèles pour évaluer les LLM utilisés par les agences fédérales pour catégoriser les commentaires publics. Sur 1 260 commentaires USDA analysés avec 4 LLM, la divergence thématique inter-modèles dépasse la variation intra-modèle, et les annotateurs humains introduisent des cadres interprétatifs absents de l'ensemble.
BEAMS établit des benchmarks pour évaluer les outils IA en modélisation et simulation. Le projet open-source sd ai teste plusieurs LLMs sur des tâches comme la traduction causale, l'itération de modèles et le raisonnement causal. Les résultats montrent que les outils IA performent mieux en discussion qualitative qu'en raisonnement causal et correction d'erreurs quantitatives.
Article théorique sur la stabilisation de l'apprentissage par différence temporelle hors-politique avec approximation de fonction. Propose BA-TDC et BA-TDRC, remplaçant la matrice auxiliaire de TDC par la matrice de Bellman comportementale. Analyse linéaire avec convergence prouvée sous condition de stabilité Hurwitz; expériences sur chaînes de Markov et contres-exemples classiques.
STHTD-MP, une nouvelle méthode de temporal-difference off-policy, remplace la métrique de covariance par la matrice de Bellman induite par la politique de comportement dans la formulation primal-dual. Analyse de convergence formelle et comparaison spectrale avec GTD2-MP montrent des gains potentiels sur benchmarks (Random Walk, Boyan Chain).
eXTC combine optimisation structurée de prompts et apprentissage par renforcement pour la classification de texte. Le système apprend d'abord un rulebook en langage naturel, puis distille le raisonnement d'un LLM teacher vers un modèle compact, avant d'étendre les capacités via RL. Résultat : inférence rapide avec traces de raisonnement locales et explications globales modulaires.
Redpanda propose une architecture de plan de données pour agents IA autonomes utilisant des canaux de métadonnées hors-bande. Ces canaux appliquent les politiques de sécurité, les classifications de données et les contraintes comportementales en dehors du chemin de lecture/écriture de l'agent, empêchant les hallucinations et manipulations. Démonstration avec un système multi-agent de rééquilibrage de portefeuille.
Framework pour générer des erreurs synthétiques ciblées avec LLM selon une taxonomie cognitive (Bloom révisée). Un Generation Agent produit des solutions erronées, un Examination Agent valide leur cohérence avec le mode d'erreur spécifié. Testé sur TheoremQA, révèle que générer des erreurs authentiques est bien plus difficile que produire des réponses fausses arbitraires.
Le Cognitive Categorical Transformer (CCT), modèle de 306M paramètres basé sur GPT-2 Small, intègre des composants inspirés de la théorie des catégories et des sciences cognitives. Sur WikiText-103, CCT atteint 21.27 PPL contre 24.19 pour GPT-2 Small, soit une réduction de 12% (2.92 PPL). Les ablations montrent que le simplicial message passing représente 84% de cette amélioration.
Étude arXiv sur la géométrie représentationnelle lors de l'apprentissage en contexte (ICL) dans les LLM. Les chercheurs montrent que la performance ICL corrèle avec la structure représentationnelle des tâches et que l'ICL réussi s'accompagne d'une réorganisation géométrique augmentant la séparabilité. Le comportement des LLM suit un algorithme de type prototype.