Étude géométrique montrant que l'accord inter-LLM sur les évaluations subjectives ne reflète pas l'alignement humain. Sur 41 juges LLM et 8 langues indiennes, les modèles utilisent 30-50% de la plage de scores humains, avec un axe d'évaluation quasi-orthogonal aux humains (87-89° vs 78-81°). L'accord LLM-LLM (r≈0.35) dépasse LLM-humain (r≈0.27-0.32). Seule la calibration post-hoc améliore tous les critères.
Les systèmes multi-agents LLM perdent jusqu'à 72% des faits critiques lors de la délibération, créant une « illusion délibérative ». DelibTrace mesure cette attrition factuelle et l'homogénéisation des positions. Les agents convergent vers un consensus tout en oubliant les éléments essentiels pour interpréter le problème.
SEA-Embedding est un pipeline d'embeddings textuels open-source et reproductible pour les langues d'Asie du Sud-Est, entraîné uniquement sur données publiques. L'étude analyse trois facteurs clés : composition des données, objectif d'entraînement et initialisation de l'encodeur. Résultats SOTA sur SEA-BED.
Nouvelle méthode d'inférence DCO (Dynamic Contextual Orthogonalization) pour réduire les hallucinations dans les LLM. Basée sur l'hypothèse que les hallucinations sont du bruit orthogonal au manifold sémantique du residual stream. Testée sur Llama-3 (8B/70B) avec gains sur XSum, NQ-Swap, IFEval et TriviaQA.
HDPO (Hint-Guided Diversified Policy Optimization) améliore le raisonnement des LLM via renforcement avec récompenses vérifiables. La méthode incite le modèle à générer d'abord plusieurs approches candidates (hints), puis sélectionner la plus fiable. Deux étapes : Cold Start pour structurer le raisonnement, puis RL guidé par hints pour diversifier et fiabiliser les solutions.
TypewriterLM est un modèle de langage de 7.24B paramètres entraîné exclusivement sur du texte anglais antérieur à 1913. Les auteurs construisent TypewriterCorpus (54B tokens), un corpus historique nettoyé avec procédures anti-fuite, et introduisent lexically grounded instruction tuning pour ancrer les réponses dans des documents historiques. Trois datasets et un benchmark (History-Event) sont publiés.
Système de conseil académique basé sur RAG déployé localement pour aider les étudiants à sélectionner des cours en respectant les prérequis. Combine LLM et récupération de données de syllabus structurées, préservant la confidentialité des données.
Méthode pour prédire les gains de scaling en inférence (best-of-N) sans exécuter la procédure complète. Ridge predictor identifie 3 features stables (accord inter-prompts, position du premier échantillon correct, variance de longueur) + entropie, atteignant ρ=0.90 de corrélation avec les gains réels sur familles de modèles et tâches math/reasoning.
EURO-5K est un corpus de 5K phrases annotées pour l'extraction d'obligations de reporting dans la législation EU (136 actes législatifs). Comparaison de modèles BERT fine-tunés et LLMs (QLoRA) : BERT générique et juridique atteignent 0.89 F1 similaire ; le préentraînement juridique aide surtout en tuning efficace en paramètres. Convergence à 3K samples.
Étude sur la productivité linguistique dans les LLM : les modèles reproduisent l'entrenchissement (structures fréquentes) mais échouent à implémenter la préemption (absence observée de structures). Les grands modèles gèrent la coercition contextuelle mais surpassent les patterns jamais vus dans les données.
Framework combinant prédiction conforme et représentation collaborative pour analyser le comportement des LLM face aux annotateurs humains en modération de contenu. Introduit la métrique Ghost Prediction pour quantifier les divergences modèle-humains. Évaluation sur 4 LLM et 4 datasets révèle que les grands modèles sont plus confiants sur textes sans alignement humain, avec biais démographique structurel.
ALAR (Adaptive Latent Agentic Reasoning) est un framework dual-mode qui alterne entre raisonnement latent compact et chain-of-thought explicite selon la difficulté. Entraîné sur les actions de l'agent, il réduit les tokens générés de 43,6% en recherche et 84,6% en tool-use tout en maintenant la précision.
Audit systématique des benchmarks FOLIO et MALLS révélant 39% et 36% d'erreurs dans les formalisations FOL. Les auteurs publient des annotations corrigées et un framework LLM pour guider la relabélisation manuelle, permettant d'atteindre 90% de précision en révisant <24% des instances. Tests sur Gemma 31B, Qwen3-30B et GPT-4o-mini montrent des gains de +9 à +22 points.
Padyam2Gadyam : dataset de 600 poèmes télougous classiques (13e-17e siècles) avec traductions en prose télougou et anglaise modernes. Évaluation de 5 LLM contemporains révèle des performances insuffisantes et des limites des métriques MT existantes.
Les chercheurs proposent Bank of Values (BoV), une méthode remplaçant les vecteurs de valeur contextuels par des vecteurs sans contexte stockés comme paramètres creux dans les derniers tiers des couches. Sur modèles 135M et 780M, BoV améliore la perte de validation et les performances sur 21 benchmarks avec moins de calcul et mémoire.
Étude arXiv montrant que les LLM ne déduisent pas bien les caractéristiques socio-démographiques des utilisateurs à partir d'un historique conversationnel unique. Les disparités observées dans les conseils (juridique, médical, financier) sont faibles mais présentes. Les sujets de conversation s'avèrent plus prédictifs que les données socio-démographiques et affectent les réponses de manière imprévisible.
Étude arXiv sur les représentations des LLM : le chevauchement lexical influence les embeddings plus que le contenu sémantique, persiste à travers les couches et architectures, et dégrade les performances en résumé et édition de modèles.
Benchmark d'évaluation des attitudes environnementales dans 31 LLMs (propriétaires et open-source). Les modèles affichent des positions plus progressistes que la moyenne des répondants allemands, mais sans lien systématique avec l'origine, la taille ou le contexte de release. Risque de manipulation par prompting et dérives sycophantiques détectées.
IdiomX est un benchmark multilingue à grande échelle pour la compréhension des expressions idiomatiques, contenant 190K+ exemples contextualisés couvrant 12K+ idiomes en anglais, arabe et français. Le dataset inclut des étiquettes d'usage idiomatique/littéral et des métadonnées linguistiques. Quatre tâches évaluent la détection, la récupération et l'interprétation d'idiomes.
Méthode de génération d'hypothèses conditionnelles pour l'analyse textuelle par LLM, intégrant des covariables spécifiées par les chercheurs. Résout les problèmes de déséquilibre de strates et d'inversion de signe via interactions features-covariables et rééquilibrage inverse-fréquence. Validation sur données synthétiques et réelles en sciences sociales computationnelles.
Framework unifié pour l'accès et la sélection de mémoire dans les systèmes de dialogue long-contexte. Utilise un facteur de Bayes pour quantifier l'utilité de chaque tour historique en mesurant l'amélioration de vraisemblance du modèle. Surpasse les approches embedding-based sur quatre benchmarks, particulièrement pour les tâches avec préférences changeantes.
Article philosophique examinant si les sorties de chatbots IA (ex: Claude d'Anthropic) produisent du langage meaningful. Les auteurs argumentent qu'une théorie standard du langage humain s'applique déjà aux LLMs sans nécessiter d'hypothèses anthropomorphiques sur les intentions ou états mentaux.
Fast-dLLM++ améliore l'inférence des modèles de diffusion LLM en remplaçant la sélection de tokens par confiance homogène par un décodage basé sur le profil Fréchet. Sans entraînement supplémentaire, cette méthode exploite les profils de confiance hétérogènes pour paralléliser davantage de tokens, gagnant jusqu'à 37% de débit sur GSM8K, MATH, HumanEval et MBPP avec LLaDA-8B.
WRIT est une méthode de synthèse de trajectoires d'entraînement pour agents multi-tours. Elle génère des tâches complexes selon deux axes : nombre de décisions d'écriture et charge de preuves à lire. Avec 2K trajectoires synthétisées, un modèle 4B surpasse GPT-5.1 sur τ²-bench en réduisant les tokens d'inférence.
Des chercheurs proposent une économie d'agents où les IA se coordonnent via des enchères et des échanges de paiements, sans contrôle centralisé. Inspirée par la théorie économique de Hayek, cette approche génère des stratégies de raisonnement multi-étapes émergentes et surpasse les baselines sur cinq tâches (raisonnement mathématique, recherche financière, optimisation de systèmes distribués).
DraDDP est le premier dataset public multimodal pour l'analyse de structures de discours en dialogues multi-parties. Construit à partir de séries TV américaines, il contient 495 segments de dialogue (6 374 énoncés, 9.1 heures de vidéo). Les benchmarks montrent l'utilité des informations multimodales pour identifier les dépendances et types de relations entre énoncés.
DOPA, un framework de recherche de démonstrations, utilise un proxy OOD pour approximer le domaine cible inaccessible et guide la récupération de démonstrations pertinentes. Une contrainte de diversité basée sur la distance de Mahalanobis assure la variété des exemples sélectionnés. Résultats positifs sur plusieurs LLMs et tâches en contexte de distribution shift sévère.
ART (Attention Run-time Termination) est un mécanisme léger qui interrompt l'accès aux blocs KV lors du décodage si leur contribution à l'attention devient négligeable. Testé sur LongBench, il améliore le débit de génération de 20% en grands batches tout en préservant la précision.
CSRP, un framework en trois étapes pour la correction d'erreurs grammaticales chinoises, combine pré-entraînement continu (5.9M échantillons), fine-tuning avec Chain-of-Thought, et optimisation de politique avec récompenses conscientes de l'efficacité. Atteint 50.99 F₀.₅ sur NACGEC et surpasse GPT-4 en correction orthographique (59.61 F1).
SENSE améliore le décodage spéculatif basé sur la récupération en utilisant les états cachés du modèle cible pour l'alignement sémantique. Un module d'évaluation soft-gated valide l'équivalence sémantique plutôt que les formes de surface. Sur LLaMA et Qwen, SENSE atteint 4.09 longueur d'acceptation moyenne et 3.26x d'accélération.
Système de génération d'humour pour SemEval-2026 Task-1 (MWAHAHA) utilisant une stratégie « générer-beaucoup → sélectionner-meilleur ». Génération de candidats diversifiés via prompting multi-étapes et ensemble de modèles, puis sélection via un modèle de préférence entraîné sur 2.5K jugements humains appariés. Classement 1er en anglais et chinois, 2e en espagnol.
ProactiveLLM apprend à décider quand interagir avec des flux d'entrée en temps réel sans signaux externes. Via masquage aléatoire monotone et auto-distillation synchronisée, le modèle perçoit la suffisance sémantique à partir d'entrées partielles. Réduit la latence d'interaction tout en maintenant la qualité sur tâches texte et parole.
Framework de red teaming multi-domaine évaluant 11 LLMs sur 690 scénarios cliniques. Résultats : variance substantielle (scores 0.791–0.984), défaillances critiques masquées par la précision moyenne, amplification d'erreur 10-20% sur tâches d'équité. Approche hybride (automatisée + validation humaine) nécessaire.
DLLM-JEPA combine les architectures JEPA avec les modèles de langage par diffusion masquée pour l'apprentissage auto-supervisé. Élimine le besoin de paires multi-vues explicites et réduit les FLOPs d'entraînement de 33% vs LLM-JEPA. Améliore les performances de +18.7pp sur GSM8K (LLaDA-8B) et +11.4pp (Dream-7B) tout en préservant les capacités de base.
Étude des métriques d'accord pour l'évaluation par LLM-as-Judge. Analyse de 24 papiers récents montrant que pour les critères binaires (MET/UNMET), Pearson r, Spearman ρ, Kendall τ_b et phi sont redondants. Cohen's κ seul ajoute de l'information. Les auteurs proposent une checklist de reporting incluant l'échelle de jugement, la gestion des abstentions et la matrice de confusion.
RealityTest évalue si les systèmes IA divulguent leur identité quand interrogés. Benchmark multilingue et multimodal basé sur 3 152 requêtes collectées auprès de ~750 participants dans 49 pays, 5 langues (texte et voix). Résultats : 31% seulement posent la question directement ; une instruction de suppression réduit la divulgation sous 30% même pour les meilleurs modèles.
DeSQ décompose les questions complexes en contraintes atomiques pour générer des requêtes SPARQL. Le framework opère en trois étapes : décomposition, génération de fragments SPARQL avec placeholders, et assemblage final. Surpasse l'état de l'art sur 4/5 benchmarks majeurs avec meilleure robustesse aux variations lexicales.
Étude de l'évaluation automatique de données bilingues massives : décomposition en deux tâches (évaluation du parallélisme via embeddings multilingues, estimation de qualité sans référence). Benchmark de 4 modèles d'embeddings et 9 évaluateurs sur FLORES-200 couvrant 6 654 paires de langues. Résultat clé : aucun modèle n'est fiable universellement ; une approche direction-aware est nécessaire.
TOPD (Trajectory-aware On-Policy Distillation) améliore l'apprentissage du raisonnement en LLM en utilisant des informations de trajectoire future pour identifier les vrais états divergents. Sur AIME24/25, TOPD atteint 63.3%/53.3% vs 60.0%/46.7% en OPD standard, montrant que 30% des tokens haute-perte sont des faux positifs.
Nouvelle métrique automatisée (Triangulated Preference Shift score) pour mesurer les biais lexicaux introduits lors de l'apprentissage par préférence (RLHF) dans les LLM, sans annotation manuelle. Analyse sur 6 familles de modèles révèle une tendance vers un « langage de prestige » (suremploi de « delve », « furthermore »).
ProtStructQA est un benchmark exécutable pour la réponse à des questions sur les structures protéiques. 382.2K questions générées depuis un langage spécialisé caché, évaluées sur Qwen3 (0.6B–8B) et Gemma-3. Découverte clé : seuil de capacité entre Qwen3-1.7B et 4B où les modèles passent de l'incapacité à produire des dénotations exécutables à la maîtrise du raisonnement chaîné.
Étude empirique d'adaptation de Phi Silica pour la réécriture de textes courts via curation de données, distillation de prompts et fine-tuning paramétrique. Dataset construit à partir de présentations publiques. Résultats : fidélité sémantique améliorée, hallucinations réduites, taux de victoire supérieur à GPT-5-chat.
Étude arXiv sur les limites d'adaptation des LLM pour l'annotation. Expériences sur détection de toxicité montrent que 66% des erreurs zero-shot résistent à la correction par prompting (taux de récupération 34.8%). Les modèles suivent des définitions mal alignées sans perdre confiance. La métrique DSF (Definition-Specific Familiarity) corrélée à la performance (r=+0.41) surpasse les métriques de mémorisation.
LaSR introduit un paradigme d'entraînement pour les Speech LLMs intégrant un raisonnement latent aligné sur les régions acoustiques. Sans tokens intermédiaires explicites, la méthode améliore la reconnaissance de vocabulaire spécialisé sur Fun-Audio-Chat. Un nouveau corpus Spoken Darwin-Science pour terminologies académiques est proposé.
SelSkill, un framework d'apprentissage par préférence dual-granularité, optimise l'invocation sélective de compétences dans les tâches agentic. Sur ALFWorld avec Qwen3-8B : +10,9 pp de succès, +29,1 pp de précision. Sur BFCL : +5,7 pp de succès, +29,5 pp de précision. Transfère à zéro-shot sur Tau-bench et PopQA.
Étude théorique et empirique des limites de l'édition de paramètres dans les LLM. Les auteurs démontrent via l'hypothèse d'effondrement dimensionnel que les modifications localisées propagent des interférences globales dégradant les capacités du modèle. Les méthodes par récupération surpassent systématiquement l'édition paramétrique.
SPADER est un framework RL pour agents LLM augmentés d'outils en Multi-Answer QA. Il introduit Step-wise Peer Advantage (SPA) pour l'attribution de crédit fine-grained sur trajectoires longues, et une récompense d'exploration sensible à la diversité favorisant la découverte d'entités rares. Évalué sur QAMPARI, Mintaka, WebQSP, QUEST : amélioration du recall et F1 vs prompting et RL supervisé.
Étude sur la prévention de l'oubli catastrophique lors de l'entraînement continu de modèles de langage multilingues. Les auteurs proposent cinq stratégies d'alignement des paramètres (gel de couches, régularisation, reversion post-hoc, fusion de modèles) testées sur 32 langues et quatre axes d'évaluation. L'alignement réduit significativement l'oubli des capacités existantes.
Étude de la manipulation temporelle dans les médias : une taxonomie de 8 cadres temporels identifie comment les références au passé, présent et futur fonctionnent comme outils rhétoriques. Corpus annoté de 458 articles anglais/allemands (2K+ phrases, 3K annotations). Les modèles supervisés surpassent les approches zero-shot pour détecter ces cadres au niveau phrastique.
AEyeDE propose une méthode de détection de texte généré par IA basée sur les matrices d'attention d'un modèle Transformer proxy. Un CNN léger apprend à distinguer les patterns d'attention entre texte humain et IA-généré. La méthode surpasse les baselines texte-seul et montre une robustesse en transfert cross-dataset et face aux perturbations orthographiques.