OpenDeepThink utilise l'agrégation Bradley-Terry pour sélectionner les meilleures solutions parmi plusieurs candidats générés en parallèle. Le système compare aléatoirement des paires de réponses, agrège les votes et préserve les meilleures pour mutation. Sur Codeforces, Gemini 3.1 Pro gagne +405 points Elo en 8 appels LLM (~27 min). Les auteurs publient CF-73, 73 problèmes annotés par des experts.
SD-Search propose une auto-distillation par hindsight pour améliorer les agents de raisonnement augmentés par recherche. Un modèle unique joue deux rôles (étudiant et enseignant) : l'enseignant a accès aux résultats des requêtes passées et guide l'étudiant via divergence Jensen-Shannon au niveau des tokens. Aucun modèle externe ni annotation supplémentaire requise.
Les chercheurs formalisent le steering d'activation (contrôle d'LLM sans réentraînement) comme optimisation contrainte par budget sur la couche et le coefficient. Ils introduisent la granularité conceptuelle pour mesurer l'hétérogénéité directionnelle et présentent GRACE, un framework utilisant la géométrie d'activation pour diagnostiquer les difficultés de steering et réduire de 39,8% les évaluations nécessaires.
Étude montrant que des ensembles diversifiés de moniteurs détectent mieux les actions mal alignées d'agents IA que des ensembles homogènes. 12 moniteurs GPT-4.1-Mini (prompting + fine-tuning) évalués sur tâches de code : le meilleur ensemble de 3 moniteurs atteint 2.4x plus de gain de détection qu'un ensemble de 3 moniteurs identiques, avec généralisation sur données indépendantes.
HEED propose une méthode d'alignement résiduel pondéré par densité pour distiller des modèles vision-langage (ex. Qwen3-VL-8B) en architectures hybrides Mamba-2/attention. La technique cible les patches haute-densité (texte, détails fins) qui subissent 3.6× plus de dérive résiduelle. Résultats : +8.7 points OCRBench v2, +5.13 points en moyenne, 4.12× throughput, 68% économie mémoire.
DexWild propose un système low-cost pour collecter des données de manipulation dextère via des gestes humains naturels. Le framework co-entraîne sur démonstrations humaines et robotiques, atteignant 68,5% de succès en environnements inédits (4× mieux que robot seul) et 5,8× meilleure généralisation cross-embodiment.
Sign-Muon est un optimiseur distribué 1-bit qui combine l'agrégation par vote majoritaire (signSGD) avec le framework polaire de Muon. Il réduit la communication de 32× en float32 et atteint 92.15% de précision sur CIFAR-10/ResNet-50, avec 37% moins de temps d'entraînement sur 4 GPUs.
GeoSym127K est un dataset de 127K questions géométriques avec vérités symboliques exactes, généré par un moteur neuro-symbolique automatisé. Fine-tuning sur Qwen3-VL-8B : +22.21% sur MathVerse Vision-Only, 61.52% sur WeMath. RLVR via GRPO améliore encore les performances.
SkillMOO optimise les bundles de compétences pour agents de codage via recherche multi-objectif (NSGA-II) sur taux de réussite et coût d'inférence. Sur 16 tâches SkillsBench, le framework atteint le meilleur rang de pass rate sur 11/12 tâches non-nulles, réduisant les coûts jusqu'à 31,7% et gagnant jusqu'à 21 points de pourcentage en taux de réussite.
Les chercheurs formalisent le steering d'activation (contrôle d'LLM sans réentraînement) comme optimisation sous contrainte budgétaire. Ils introduisent la « granularité conceptuelle » pour expliquer pourquoi certains concepts sont coûteux à contrôler, et proposent GRACE, un framework qui utilise la géométrie d'activation pour diagnostiquer les difficultés et réduire de 39,8% les évaluations nécessaires.
EPIC (Efficient Preference-aligned Index Construction) optimise la RAG sur appareil en stockant les préférences utilisateur plutôt que des données brutes. Sur 4 benchmarks, réduit la mémoire d'indexation de 2404×, améliore la précision de suivi des préférences de 20,17 points, et abaisse la latence de récupération de 33,33×. Empreinte mémoire < 1 MB avec 29,35 ms/requête.
Étude critique des affirmations « state-of-the-art » en IA/ML. Analyse de 10 benchmarks publics révèle que plus de 50% des comparaisons de modèles top ne supportent pas les propriétés implicites de supériorité (effet significatif, consistance inter-tâches, robustesse). Les gains agrégés reposent souvent sur des datasets aberrants. Propose un langage de claim plus honnête sans expériences supplémentaires.
LARGER est un framework de récupération de contexte pour agents de codage au niveau repository. Il combine recherche lexicale et exploration de graphe structurel (imports, appels, hiérarchies de types) sans nécessiter de bases de données externes. Sur LocBench, il améliore la précision de +13.9 points (ou +11.8 avec hyperparamètres fixes) et gagne sur test generation et question-answering sur codebase.
LoopQ propose une méthode de quantization post-training (PTQ) adaptée aux modèles de langage récursifs (LoopLMs) qui réutilisent les blocs Transformer. La méthode adresse trois défis : décalage de distribution entre rôles, réutilisation d'état entre boucles, et accumulation d'erreur récursive. Résultats : +68,8% précision et -87,7% perplexité en W4A4 vs baseline.
RTPurbo transforme les LLMs en modèles sparse en ~100 étapes d'entraînement. L'approche exploite trois observations : seuls certains heads nécessitent l'attention complète, la récupération long-range utilise un sous-espace 16D, et la sélection top-p dynamique surpasse top-k fixe. Résultats : 9.36× speedup prefill à 1M tokens, 2.01× speedup decode, précision préservée.
Étude comparative fine-tuning vs. in-context learning sur LLMs via tâches de langages formels. Fine-tuning surpasse ICL en généralisation in-distribution, mais les deux modes égalisent hors-distribution. Les biais inductifs divergent aux niveaux de maîtrise élevés. ICL montre sensibilité au vocabulaire et à la taille du modèle.
Med-V1 est une famille de modèles de langage de 3 milliards de paramètres entraînés sur des données synthétiques pour l'attribution d'évidences biomédicales. Elle surpasse ses modèles de base de +27% à +71% sur cinq benchmarks et rivalise avec GPT-5, tout en détectant les hallucinations et les erreurs d'attribution dans les directives cliniques.
SomaliWeb v1 : corpus Somali de 819 322 documents (~303M tokens) avec tokenizer BPE-16K et benchmark d'identification de langue. Révèle défauts critiques dans HPLT v2 (17,3% doublons exacts, 56,1% mojibake, 10,7% quasi-doublons). Tokenizer 40,2% plus efficace que cl100k_base sur FLORES-200.
Les modèles de langage masqué (MLM) définissent des distributions conditionnelles locales incompatibles avec une distribution jointe globale cohérente. Les auteurs modélisent le rééchantillonnage itératif comme une chaîne de Markov Glauber dynamics et prouvent un temps de mélange O(n log n) sous influence cross-token bornée, mais exhibent une métastabilité exponentielle à basse température.
DataClawBench est un benchmark pour agents d'analyse de données exploratoire en finance réelle, contenant 2,06 millions d'enregistrements bruts et 492 tâches multi-domaines. L'évaluation de 8 LLMs avancés montre que l'exploration accrue ne garantit pas le progrès ou les réponses correctes.
Étude sur l'organisation géométrique des représentations dans les modèles de langage selon leur échelle. Subspace PGA mesure l'alignement de la géométrie intermédiaire avec la matrice d'unembedding. Modèles petits (≤1024) perdent progressivement cette organisation aux couches tardives, tandis que grands modèles (≥2048) la préservent. L'échelle détermine comment la géométrie s'organise pour la prédiction.
GCPO (Group Cooperative Policy Optimization) remplace l'optimisation compétitive des rollouts par une attribution de crédit au niveau de l'équipe. Les rollouts sont récompensés selon leur contribution à la couverture de solutions valides (volume déterminant sur embeddings sémantiques), pas leur précision individuelle. Résultats : amélioration de la précision et de la diversité sur benchmarks de raisonnement.
UA-StatuteRetrieval : benchmark de 20 ans sur 396M citations judiciaires ukrainiennes. La prédictibilité co-citation décline de 33-47% (Adamic-Adar MRR 0.43→0.29). Dégradation non-uniforme : droit criminel stable (~0.40), droit civil s'effondre (0.35→0.15) après réforme 2017. Articles mid-frequency (1K-10K citations) perdent 50% prédictibilité. E5-large détecte 4.3% dérive sémantique.
RaBiT propose une méthode de binarisation résiduelle pour quantifier les LLM en 2-bit. Elle résout le problème d'adaptation redondante entre chemins parallèles en dérivant séquentiellement chaque chemin binaire d'un poids partagé en précision complète. Résultats : performance SOTA, speedup 4.49× sur RTX 4090.
Mosaic, un modèle probabiliste de prévision météorologique, corrige trois défaillances spectrales des modèles ML : l'amortissement spectral, l'aliasing haute fréquence et les fuites résiduelles. Avec 214M paramètres à 1.5° de résolution, il égale des modèles entraînés 6× plus fins et génère des ensembles bien calibrés en 12s pour 10 jours sur H100.
COAST (Contrastive Conceptor Activation Steering) améliore les modèles Vision-Language-Action en identifiant et en guidant les représentations latentes vers des sous-espaces critiques pour la réussite. Sur trois architectures distinctes, COAST augmente le taux de succès de +20% en simulation et +40% sur robots réels, sans entraînement supplémentaire.
LiTS est un framework Python modulaire pour le raisonnement LLM via tree search. Il décompose la recherche en trois composants réutilisables (Policy, Transition, RewardModel) compatibles avec MCTS et BFS. Tests sur MATH500, Crosswords et MapEval montrent l'orthogonalité composants-algorithmes. Découverte clé : la diversité de la policy LLM, non la qualité de la récompense, est le goulot en espaces d'actions infinis.
CompactAttention optimise l'attention chunked prefill pour LLMs long-context via Block-Union KV Selection. La méthode convertit les masques block-sparse en tables KV per-group GQA-aware, évitant la compaction KV explicite. Sur LLaMA-3.1-8B, elle atteint 2.72× speedup à 128K tokens avec précision proche de l'attention dense (RULER).
Une banque développe un agent IA conversationnel pour trier les cas de fraude, arnaque et litiges. L'agent utilise des LLM pour poser des questions ciblées et router les clients vers les bons services. Évaluation via jumeaux numériques synthétiques simulant des dialogues réalistes. Résultat : +30,6% de précision en classification avec conformité garantie.
Les modèles de diffusion discrète permettent de générer du code par raffinement itératif. CDC (Constrained Diffusion for Code) intègre des contraintes directement dans le processus de débruitage sans entraînement supplémentaire, combinant optimisation mathématique et analyse de programme pour améliorer la correction fonctionnelle, la sécurité et la syntaxe.
Scales++ propose une sélection de sous-ensembles de benchmarks basée sur les propriétés intrinsèques des tâches plutôt que sur les patterns d'erreur des modèles. Avec 0,25% des données sur Open LLM Leaderboard, l'approche prédit les scores complets avec 3,2% d'erreur absolue moyenne, réduisant le coût de sélection de 18x.
R-AIRL (Reasoning Adversarial Inverse Reinforcement Learning) infère des fonctions de récompense au niveau du processus à partir des chaînes de pensée d'experts, sans nécessiter de récompenses explicites. Testé sur GSM8K, MMLU-Pro et MedReason : améliore pass@1 de 17,4 points en reranking, surpasse SFT en post-training, localise les défaillances de raisonnement avec 86,1% de précision.
Étude systématique des modèles de monde JEPA (Joint-Embedding Predictive Architecture) pour la planification physique. Les auteurs caractérisent les choix techniques (architecture, objectif d'entraînement, algorithme de planification) et proposent un modèle surpassant DINO-WM et V-JEPA-2-AC sur tâches de navigation et manipulation. Code, données et checkpoints disponibles.
SocialMemBench évalue les systèmes de mémoire IA dans les groupes sociaux multi-parties. Le benchmark inclut 430 personas, 7,355 tours de conversation et 1,031 paires QA sur 5 archetypes sociaux. Gemini 2.5 Flash atteint 0.721 sur petits réseaux; les frameworks open-source (Mem0, LangMem, Graphiti, Cognee) plafonnent à 0.12-0.18, révélant un écart significatif.
SkillGenBench est un benchmark pour évaluer les pipelines de génération de compétences pour agents LLM. Il couvre deux régimes : génération conditionnée par tâche et génération agnostique aux tâches, avec sources procédurales basées sur des dépôts ou documents. Les expériences révèlent une variation substantielle de performance et des modes d'échec distincts.
BPO, un framework en trois étapes (bootstrapping, extrapolation, refinement), crée une boucle d'auto-amélioration pour entraîner des modèles de raisonnement robustes en planification long-horizon avec récompenses éparses. Utilise des quaternions de planification, fusion chain-of-thought long-court, et curriculum learning stratifié. SOTA sur ALFWorld, ScienceWorld, WebShop avec efficacité token significative.
Étude des politiques d'éviction KV cache (LRU, H2O, SnapKV, StreamingLLM, Ada-KV, QUEST, Random) sous contrainte globale. Sans protection structurelle aux frontières, toutes s'effondrent (F1≤0.064). Réserver 10% du cache à chaque limite restaure 69–90% de qualité sur LongBench avec C=256 (13% rétention). La position-0 concentre ~75% de l'attention; protection des tokens critiques domine le scoring.
AgentArk distille l'intelligence multi-agent dans un seul modèle LLM via trois stratégies hiérarchiques : fine-tuning amélioré, augmentation par trajectoires et distillation consciente du processus. Le modèle résultant préserve l'efficacité computationnelle d'un agent unique tout en conservant les capacités de raisonnement et d'auto-correction des systèmes multi-agent.
KVDrive est un système de gestion multi-niveaux du cache KV (clés-valeurs) pour l'inférence LLM long-contexte, orchestrant placement en mémoire GPU/DRAM/SSD, ordonnancement du pipeline et coordination inter-niveaux. Le prototype atteint 1.74x de débit supérieur aux systèmes existants sans perte de précision.
Des modèles tabulaires fondamentaux (TFM) pour la santé sont distillés vers des modèles légers via une approche de distillation consciente des fuites de contexte. Sur 19 datasets médicaux et 6 TFM, les étudiants conservent ≥90% de l'AUC du professeur tout en étant 26× plus rapides sur CPU, préservant calibration et équité.