Nouvelle méthode d'inférence DCO (Dynamic Contextual Orthogonalization) pour réduire les hallucinations dans les LLM. Basée sur l'hypothèse que les hallucinations sont du bruit orthogonal au manifold sémantique du residual stream. Testée sur Llama-3 (8B/70B) avec gains sur XSum, NQ-Swap, IFEval et TriviaQA.
CORE est un framework qui entraîne les MLLMs à détecter les fake news multimodales en identifiant les conflits sémantiques ou physiques entre modalités. Utilisant un corpus annoté (CAC) avec facteurs de conflit, CORE généralise à des manipulations inédites en few-shot ou zero-shot, surpassant les méthodes existantes.
Nouvelle approche topologique pour l'interprétabilité des réseaux de neurones profonds. Les auteurs introduisent la « cohérence », une propriété géométrique où chaque neurone répond à des régions contiguës de l'espace d'état. Ils proposent Coh, une fonction objectif différentiable basée sur la variance de Fréchet, validée sur MNIST et les embeddings BERT.
FiRe-OPD propose une distillation on-policy (OPD) à granularité fine combinant filtrage de trajectoires et repondération douce de tokens. Validé sur AIME 2024 (+6.25 en strong-to-weak) et Miner (+18.81 en multi-teacher), la méthode surpasse les approches token-level récentes en stabilité et performance.
HyperPatch propose une méthode de modification de connaissances séquentielles pour LLMs basée sur des hypergraphes. Elle résout le problème de « N-ary Structural Drift » où les mises à jour complexes fragmentent les relations. Sur MQuAKE-CF et MQuAKE-T, gains de 96,24% et 21,06% en précision par rapport aux baselines.
Nouvelle méthode pour intégrer les actualités dans la prévision de séries temporelles via compression intelligente et supervision de retrieval. Un modèle de récompense estime l'utilité prédictive de chaque article, tandis qu'un PRM guide la sélection d'articles supplémentaires. Tests sur finance, énergie, trafic et bitcoin montrent amélioration de précision et réduction des itérations.
Méthode de génération d'hypothèses conditionnelles pour l'analyse textuelle par LLM, intégrant des covariables spécifiées par les chercheurs. Résout les problèmes de déséquilibre de strates et d'inversion de signe via interactions features-covariables et rééquilibrage inverse-fréquence. Validation sur données synthétiques et réelles en sciences sociales computationnelles.
Les chercheurs proposent Bank of Values (BoV), une méthode remplaçant les vecteurs de valeur contextuels par des vecteurs sans contexte stockés comme paramètres creux dans les derniers tiers des couches. Sur modèles 135M et 780M, BoV améliore la perte de validation et les performances sur 21 benchmarks avec moins de calcul et mémoire.
Étude de biais démographiques dans la classification de lésions cutanées avec ResNet. Trois stratégies testées : modèle simple, multi-tâche renforçant, apprentissage adversarial. Les biais sexe proviennent d'imbalances de données ; les biais âge favorisent systématiquement les jeunes. Stratégies de mitigation partiellement efficaces selon la distribution.
Framework combinant prédiction conforme et représentation collaborative pour analyser le comportement des LLM face aux annotateurs humains en modération de contenu. Introduit la métrique Ghost Prediction pour quantifier les divergences modèle-humains. Évaluation sur 4 LLM et 4 datasets révèle que les grands modèles sont plus confiants sur textes sans alignement humain, avec biais démographique structurel.
Étude montrant que les graphes visuels aident les LLM à organiser le raisonnement multi-sauts mieux que leur représentation textuelle. Les graphes structurés en mind maps guident le modèle sans indices directs, contrairement aux graphes aplatis en texte. L'avantage persiste après fine-tuning supervisé et distillation KL.
Étude sur la productivité linguistique dans les LLM : les modèles reproduisent l'entrenchissement (structures fréquentes) mais échouent à implémenter la préemption (absence observée de structures). Les grands modèles gèrent la coercition contextuelle mais surpassent les patterns jamais vus dans les données.
Ψ-Bench est un benchmark évaluant la capacité des LLMs à influencer des utilisateurs via dialogue persuasif. 10 modèles frontière testés sur 3 scénarios réalistes. Accès aux profils utilisateur améliore performance de 18,24%. Code disponible.
Méthode ML pour classifier en temps réel l'état de la route (grip sec/humide vs glissance neige/glace) à partir de signaux véhicule en croisière. Framework feature-based et end-to-end utilisant vitesses roues, couples, accélération longitudinale, angle braquage, vitesse de lacet. Validation sur données route publique.
HDPO (Hint-Guided Diversified Policy Optimization) améliore le raisonnement des LLM via renforcement avec récompenses vérifiables. La méthode incite le modèle à générer d'abord plusieurs approches candidates (hints), puis sélectionner la plus fiable. Deux étapes : Cold Start pour structurer le raisonnement, puis RL guidé par hints pour diversifier et fiabiliser les solutions.
Étude théorique sur les limites géométriques de la représentation de features dans les transformers. Les auteurs établissent un cadre basé sur les hypothèses de représentation linéaire et superposition, montrant que la capacité représentationnelle dépend du ratio vecteurs/dimensions (k/d) plutôt que du nombre brut. Analyse de dizaines de modèles open-source révèle deux classes selon la contrainte d'orthogonalité ε.
MASC (Margin Self-Correction) est une méthode d'oubli de modèles de langage qui réduit efficacement l'écart logit entre le token suivant original et ses alternatives, sans nécessiter d'évaluation en aval. Testée sur TOFU, MUSE News et MUSE Books, elle atteint un compromis oubli-rétention compétitif avec un coût computationnel inférieur aux baselines existantes.
Dataset de 410 499 espèces tropicales couvrant plantes, aquatiques et animaux de compagnie. Intègre identifiants taxonomiques (GBIF, NCBI, iNaturalist, etc.), ajoute ontologie cross-domaine, noms vernaculaires chinois (99,50% de couverture) avec provenance explicite, et liens CITES. Déposé sur Zenodo.
RelGT-AC étend RelGT pour les tâches d'autocomplétion sur bases de données relationnelles. Le modèle combine un masquage de colonnes, une tête unifiée (classification/régression) et un encodeur TF-IDF pour texte libre. Sur 7 tâches RelBench v2, il surpasse GraphSAGE sur 3 tâches de régression et gagne +10 AUROC sur tâches textuelles.
Étude arXiv sur les représentations des LLM : le chevauchement lexical influence les embeddings plus que le contenu sémantique, persiste à travers les couches et architectures, et dégrade les performances en résumé et édition de modèles.
Qift propose un nouvel ensemble de niveaux de quantification sans zéro pour W2A4/KV4 ({±0.5, ±1.5}) basé sur la rotation Hadamard. Sans entraînement ni codebook appris, cette méthode améliore la perplexité sur LLaMA-2-7B et LLaMA-3.1-8B comparée aux niveaux standards {-2,-1,0,+1}, tout en réduisant l'écart avec W3A4 en précision mixte.
ChatHealthAI aligne les représentations structurées des dossiers médicaux électroniques (EHR) avec l'espace sémantique d'un LLM gelé via un resampler task-aware. Le framework multimodal intègre les représentations longitudinales des patients avec des descriptions d'événements cliniques raffinées, améliorant le raisonnement clinique interprétable tout en maintenant la performance prédictive sur le benchmark EHRSHOT.
Étude arXiv montrant que les LLM ne déduisent pas bien les caractéristiques socio-démographiques des utilisateurs à partir d'un historique conversationnel unique. Les disparités observées dans les conseils (juridique, médical, financier) sont faibles mais présentes. Les sujets de conversation s'avèrent plus prédictifs que les données socio-démographiques et affectent les réponses de manière imprévisible.
Étude comparative d'un Transformer encoder-only vs LSTM pour prédire le débit en bassins non jaugés. Sur données NOAA NWM, l'LSTM surpasse le Transformer. L'intégration d'informations aval améliore tous les modèles (+60% NNSE médian). La mémoire récurrente s'avère mieux adaptée à cette tâche d'inférence hydrologique.
QUIVER enrichit les modèles ML classiques avec des vues quantiques basées sur la matrice d'information de Fisher quantique, extraite de circuits quantiques variationnels. Testé sur QM9 (propriétés moléculaires) et JetClass (LHC), le paradigme améliore les performances sans nécessiter du matériel quantique tolérant aux fautes.
Deux métriques automatisées évaluent le désalignement lexical des LLM : Lexical Alignment Score détecte la surutilisation de termes ('suggest', 'additionally', 'strategy'), Triangulated Preference Shift quantifie l'impact du RLHF. Testées sur 6 familles (Falcon, Gemma, Llama, Mistral, OLMo, Yi) via abstracts PubMed, sans annotation manuelle.
Framework pour agents LLM opérant sous instructions ambiguës. Propose une métrique Information Gain Reward mesurant l'utilité des questions de clarification via mise à jour bayésienne. Validation sur τ-Bench : +3.7% de taux de succès vs baseline sans clarification, +0.3 étapes d'interaction.
Padyam2Gadyam : dataset de 600 poèmes télougous classiques (13e-17e siècles) avec traductions en prose télougou et anglaise modernes. Évaluation de 5 LLM contemporains révèle des performances insuffisantes et des limites des métriques MT existantes.
Des chercheurs proposent une économie d'agents où les IA se coordonnent via des enchères et des échanges de paiements, sans contrôle centralisé. Inspirée par la théorie économique de Hayek, cette approche génère des stratégies de raisonnement multi-étapes émergentes et surpasse les baselines sur cinq tâches (raisonnement mathématique, recherche financière, optimisation de systèmes distribués).
G²C-MT propose une sélection de contexte guidée par graphe pour la traduction automatique au niveau du document. Le système modélise les dépendances discursives entre paragraphes via un graphe léger et utilise une marche aléatoire biaisée en profondeur pour extraire des chemins de contexte. Testé sur DeepSeek-V3, Gemini-2.5-Flash-lite et Qwen-2.5/3, l'approche surpasse les baselines sur plusieurs domaines.
SNMPBB, première adaptation des méthodes de Barzilai-Borwein non-monotones au problème de factorisation matricielle symétrique non-négative (Symmetric NMF). Démontre 6× d'accélération vs SymANLS sur données synthétiques. Extensions pour clustering de graphes (Graph-SNMPBB) et problèmes large-scale (LAI-SNMPBB) avec convergence globale prouvée.
Algorithme multifidélité adaptatif pour l'apprentissage machine en chimie quantique. Détermine dynamiquement la composition du dataset en interrogeant les échantillons à chaque niveau de fidélité. Réduit les coûts de génération de données jusqu'à 30× vs méthode monofidélité et 5× vs MFML standard sur énergies de cluster couplé et énergies d'excitation.
Nouvelle étude arXiv sur l'édition de faits opinionnés dans les LLM. Benchmark FOE avec 261 personnalités publiques, 19 catégories de sujets, 2,178 enregistrements d'opinions. Les méthodes actuelles échouent à préserver la cohérence entre opinion éditée et preuves générées. Proposition d'une méthode Self-Generated Evidence-Aligned pour l'alignement opinion-preuves.
PhotoCraft propose un système de mémoire hiérarchique pour agents de recherche d'images. Le système combine mémoire de travail, épisodique et sémantique pour maintenir la cohérence logique sur plusieurs étapes de raisonnement. Tests sur DISBench montrent des gains jusqu'à 18,5% en récupération contextuelle.
Méthode RL pour contrôler l'échantillonnage adaptatif au test-time sur LLM. Un contrôleur léger entraîné en RL décide dynamiquement d'arrêter ou continuer l'échantillonnage, équilibrant exactitude, latence et coût. Formulation MDP avec interprétation Lagrangienne. Surpasse ASC et ESC sur les trade-offs.
Article théorique sur les bornes de généralisation sous changements de distribution. Propose un cadre pour quantifier le risque supplémentaire quand le ratio d'états calmes vs crises diffère entre entraînement et déploiement, avec décomposition exacte et bornes minimax. Testé sur 25 ans d'indices boursiers.
Une méthode appelée Internal Coherence Maximization (ICM) génère automatiquement des exemples pour aligner les modèles IA sur des valeurs humaines diverses, sans supervision humaine extensive. Testée sur quatre benchmarks, ICM égale la performance des labels manuels. La cohérence des exemples améliore la généralisation même à précision égale, particulièrement pour les personas sous-représentées.
DMT-CBT modélise l'évolution longitudinale des états thérapeutiques en TCC sur plusieurs sessions. Le framework maintient des états structurés, intègre des données multimodales et des interventions augmentées par outils. DMTCorpus, un dataset synthétique multimodal, démontre une meilleure fidélité thérapeutique et alliance thérapeutique comparé aux approches post-hoc.
SenseJudge est un framework de jugement personnalisé basé sur les préférences humaines pour évaluer les réponses d'LLM. Associé à SenseBench, un benchmark d'instruction-following issu d'interactions multi-tours réelles, il surpasse les méthodes existantes en adaptation aux préférences utilisateur et en classement de modèles aligné avec le jugement humain.
Framework d'orchestration déterministe pour valider les données ESG fragmentées (Scope 1-3) avec détection d'anomalies temporelles, apprentissage d'ensemble imbalancé et traçabilité d'audit. Benchmark synthétique calibré sur GHG Protocol, PCAF, ISSB. Évaluation sur métriques de classification, calibration et complétude de chaîne de provenance.