SPOT (Surgical Post-Training) est un framework de distillation on-policy qui injecte des capacités de raisonnement dans les LLM tout en préservant les connaissances antérieures. Avec 4k paires mathématiques rectifiées, il améliore Qwen3-8B de 6,2% en moyenne en 16 minutes sur 8x H800, en utilisant une formulation de récompense contrainte par KL et une pipeline de correction d'erreurs minimales.
CounterRefine ajoute une couche légère de correction pour RAG : après une première réponse, le système émet des requêtes conditionnées par la réponse pour récupérer des contre-preuves, puis applique une étape KEEP/REVISE validée déterministiquement. Sur SimpleQA, amélioration de 5,8 points de taux correct ; 5,6% des sorties modifiées avec 180 changements bénéfiques vs 8 nuisibles.
CoDiLA combine diffusion et autorégressif local pour générer du code en parallèle. Un petit modèle AR auxiliaire (0.6B params) assure la cohérence syntaxique sur les latents diffusion, éliminant les artefacts tout en maintenant la génération bidirectionnelle et sub-linéaire.
Étude comparative de l'interprétabilité des architectures Mixture-of-Experts (MoE) vs réseaux denses. Les experts MoE montrent moins de polysémantique neuronale que les FFN denses, particulièrement avec routage sparse. Les experts fonctionnent comme spécialistes de tâches linguistiques fines (ex: fermeture de crochets LaTeX), pas comme spécialistes de domaines larges. Code disponible.
STEM propose un framework pour le Knowledge Graph-based Question Answering (KGQA) qui reframe le raisonnement multi-hop comme une tâche de recherche de graphe guidée par schéma. Utilise une pipeline Semantic-to-Structural Projection et un Triple-Dependent GNN pour générer un Global Guidance Subgraph. Atteint SOTA sur plusieurs benchmarks multi-hop.
Étude comparative fine-tuning vs. in-context learning sur LLMs via tâches de langages formels. Fine-tuning surpasse ICL en généralisation in-distribution, mais les deux modes égalisent hors-distribution. Les biais inductifs divergent aux niveaux de maîtrise élevés. ICL montre sensibilité au vocabulaire et à la taille du modèle.
Méthodologie d'évaluation comportementale pour systèmes IA agentiques : scoring des décisions intermédiaires via juges LLM sur 6 dimensions (détection de régime, routage, adaptation, calibrage du risque, cohérence stratégique, récupération d'erreur). Score comportemental corrèle à rho=0.72 avec Sharpe ratio. Boucle fermée avec renforcement (SAC) réduit MAPE de 0.61% à 0.54% sur test 2017-2025.
Nouvelle méthode MoLF (Mixture of LoRA and Full) pour l'adaptation de LLM qui route dynamiquement les gradients entre fine-tuning complet et LoRA au niveau de l'optimiseur. Testée sur Gemma-3-1B, Qwen2.5-1.5B/3B sur tâches SQL, Medical QA et connaissance contrefactuelle. MoLF-Efficient surpasse les approches LoRA adaptatives de 20% (Fact) et 9% (Med/SQL). Code open-source disponible.
MULTITEXTEDIT est un benchmark de 3 600 instances couvrant 12 langues typologiquement diverses pour évaluer l'édition de texte dans les images. Les auteurs introduisent une métrique de fidélité linguistique (LSF) détectant les erreurs au niveau des scripts (diacritiques manquants, ordre RTL inversé). L'évaluation de 12 systèmes révèle une dégradation cross-linguale prononcée, particulièrement sur l'hébreu et l'arabe.
Les transformers avec attention softmax peuvent implémenter l'itération de Richardson préconditionné pour la régression par noyau gaussien en contexte. Les auteurs construisent un transformer monocouche avec O(log(1/ε)) blocs atteignant une précision ε sur des prompts de longueur N, où l'attention softmax produit un opérateur de noyau gaussien et les couches MLP-ReLU effectuent l'arithmétique scalaire locale.
Méthode de retrieval pour l'annotation multi-label juridique : embedding figé de documents et descriptions de labels, prédiction par k-NN. Sur Eurlex (100 labels), Qwen-8B atteint Macro-F1 49.12 vs 40.41 (GPT-5.2 zero-shot), réduit compute de 20-30×. Élimine les hallucinations (GPT-5.2 : 0.12-0.9% labels hors taxonomie).
CompactAttention optimise l'attention chunked prefill pour LLMs long-context via Block-Union KV Selection. La méthode convertit les masques block-sparse en tables KV per-group GQA-aware, évitant la compaction KV explicite. Sur LLaMA-3.1-8B, elle atteint 2.72× speedup à 128K tokens avec précision proche de l'attention dense (RULER).
E-PMQ propose une méthode de quantization post-fusion pour déployer efficacement des modèles fusionnés multi-experts en basse précision. En utilisant les poids des experts sources comme guides lors de la calibration par couche et l'ancrage des poids fusionnés, E-PMQ améliore la quantization 4-bit GPTQ de 65,0% à 73,6% sur CLIP-ViT-B/32 (8 tâches) et de 34,8% à 76,7% sur CLIP-ViT-L/14 (20 tâches).
RTPurbo transforme les LLMs en modèles sparse en ~100 étapes d'entraînement. L'approche exploite trois observations : seuls certains heads nécessitent l'attention complète, la récupération long-range utilise un sous-espace 16D, et la sélection top-p dynamique surpasse top-k fixe. Résultats : 9.36× speedup prefill à 1M tokens, 2.01× speedup decode, précision préservée.
ConsumerSimBench, benchmark construit sur 1 553 sujets de réseaux sociaux chinois et 23 122 critères de réaction, évalue si les LLMs peuvent reconstruire les patterns de réaction réels des consommateurs. Gemini-3.1-Pro atteint seulement 47,8% de couverture des critères, révélant un écart majeur entre performance technique et intuition consommateur ancrée socialement.
Optimisation systématique de modèles de diffusion en temps réel sur Apple M3 Ultra (GPU 60-cœurs, 512 GB mémoire unifiée). Combinaison de CoreML, quantization, Token Merging, distillation (SDXS-512) et pipeline caméra 3-threads atteint 22.7 FPS à 512×512. Révèle que les optimisations CUDA ne s'appliquent pas à l'architecture mémoire unifiée d'Apple Silicon.
Sign-Muon est un optimiseur distribué 1-bit qui combine l'agrégation par vote majoritaire (signSGD) avec le framework polaire de Muon. Il réduit la communication de 32× en float32 et atteint 92.15% de précision sur CIFAR-10/ResNet-50, avec 37% moins de temps d'entraînement sur 4 GPUs.
TopoPrior apprend des structures de collaboration réutilisables pour systèmes multi-agents LLM. Via un framework graphique variationnel conditionnel, il capture les régularités structurelles entre domaines hors ligne, réduisant le coût de recherche en ligne et la consommation de tokens à l'inférence tout en restant compatible avec les backbones existants.
Étude révélant une asymétrie de visibilité des datasets multilingues : 118 langues (59% des 200 plus parlées) ont zéro dataset catalogué selon LRE Map et LDC. Via citation-mining assisté par LLM sur Semantic Scholar, les auteurs identifient 609 datasets uniques dans 53 langues peu visibles, dont 356 accessibles. La rareté multilingue est un problème de documentation et discoverabilité, pas seulement de production.
UA-StatuteRetrieval : benchmark de 20 ans sur 396M citations judiciaires ukrainiennes. La prédictibilité co-citation décline de 33-47% (Adamic-Adar MRR 0.43→0.29). Dégradation non-uniforme : droit criminel stable (~0.40), droit civil s'effondre (0.35→0.15) après réforme 2017. Articles mid-frequency (1K-10K citations) perdent 50% prédictibilité. E5-large détecte 4.3% dérive sémantique.
PUMA détecte la redondance sémantique dans les chaînes de pensée pour arrêter l'inférence des modèles de raisonnement avant qu'ils ne gaspillent des tokens. Le framework combine un détecteur de redondance léger avec une vérification au niveau de la réponse, réduisant les tokens de 26,2% en moyenne sur 5 benchmarks tout en préservant la précision et la cohérence du raisonnement.
Nouvelle approche de reconnaissance vocale multilingue pour les langues nigérianes via distillation de connaissances. Le modèle SBPN (120M et 600M paramètres) couvre yoruba, hausa, igbo, pidgin nigérian et anglais nigérian. Réduit le WER de 29% en moyenne vs baselines monolingues, surpasse les modèles SOTA sur Common Voice et Fleurs.
SocialMemBench évalue les systèmes de mémoire IA dans les groupes sociaux multi-parties. Le benchmark inclut 430 personas, 7,355 tours de conversation et 1,031 paires QA sur 5 archetypes sociaux. Gemini 2.5 Flash atteint 0.721 sur petits réseaux; les frameworks open-source (Mem0, LangMem, Graphiti, Cognee) plafonnent à 0.12-0.18, révélant un écart significatif.
BacktestBench est le premier benchmark large-scale pour le backtesting quantitatif automatisé, contenant 18 246 paires question-réponse annotées sur 6 millions de données de marché réelles. AutoBacktest, un système multi-agent, traduit les stratégies en langage naturel en backtests reproductibles via un Summarizer, un Retriever SQL et un Coder Python. Évaluation sur 23 LLMs mainstream.
Framework asynchrone pour RAG qui prédit quand et quoi récupérer via trois composants (retrieval predictor, context monitor, query generator). Réduit la latence de 43,5% et le time-to-first-token de 62,4% en exploitant les précurseurs sémantiques dans la génération, tout en maintenant la qualité des réponses.
TailedTS est un benchmark de 24,69 milliards de points de données issu des vues Wikipedia 2024, conçu pour tester les modèles de prévision de séries temporelles sous conditions heavy-tailed et non-gaussiennes. Le dataset révèle que 5% des pages génèrent 70% du trafic, et introduit un cadre de quantification de périodicité montrant que les pages très consultées ont une structure périodique plus faible.
SomaliWeb v1 : corpus Somali de 819 322 documents (~303M tokens) avec tokenizer BPE-16K et benchmark d'identification de langue. Révèle défauts critiques dans HPLT v2 (17,3% doublons exacts, 56,1% mojibake, 10,7% quasi-doublons). Tokenizer 40,2% plus efficace que cl100k_base sur FLORES-200.
Étude arXiv montrant que les conversations multi-tours en langues africaines peu dotées (afrikaans, kiswahili, isiXhosa, isiZulu) contournent les garde-fous de sécurité des LLM commerciaux. Tests sur ChatGPT, Claude, DeepSeek, Gemini et Grok révèlent des taux de jailbreak de 52,7% à 83,6% selon le modèle. La qualité de traduction est le facteur critique.
EPIC est une méthode de construction d'index RAG optimisée pour les agents IA sur appareil. Elle réduit la mémoire d'indexation de 2 404× en se concentrant sur les préférences utilisateur, améliore la précision de suivi des préférences de 20,17 points et diminue la latence de récupération de 33,33×. Empreinte mémoire < 1 MB avec 29,35 ms/requête.
EvoMemBench est un benchmark unifié évaluant la mémoire des agents LLM selon deux axes : portée (in-episode vs cross-episode) et contenu (knowledge vs execution-oriented). Comparaison de 15 méthodes mémoire : les baselines long-context restent compétitives, les méthodes retrieval-based dominent pour les tâches knowledge-intensive, les méthodes procédurales pour l'execution-oriented.
Étude préenregistrée comparant Vector RAG et wiki markdown compilé par LLM sur 13 questions sur 24 papiers. Le wiki excelle à connecter les résultats entre papiers et à citer précisément, mais consomme plus de tokens en requête. Une variante RAG décomposée récupère partiellement l'avantage du wiki à coût inférieur.
DiSP, un framework de sélection de démonstrations pour l'apprentissage en contexte, prédit si une paire requête-contexte réussira plutôt que de chercher le contexte optimal. Sur 5 datasets de classification avec Llama 3-8B et Qwen 2.5-7B, DiSP améliore la précision de 3,4% et accélère l'inférence de 23×.
Étude des représentations internes des Large Reasoning Models (LRMs) via des trajectoires de probes. Les auteurs montrent que l'évolution continue d'un concept pendant le raisonnement prédit mieux le comportement final que des prédictions statiques. Max-pooling atteint 95% AUROC sur 4 datasets (sécurité, mathématiques).
LongMINT est un benchmark évaluant la capacité des agents à gérer la mémoire dans des contextes longs (jusqu'à 1,8M tokens) avec interférences multiples. 15.6k paires QA sur 4 domaines (suivi d'état, dialogue, révisions Wikipedia, commits GitHub). 7 systèmes testés (LLMs long-context, RAG, agents) obtiennent 27,9% de précision moyenne, limités par la récupération et la construction mémoire.
Étude de circuit d'une backdoor dans un modèle 8B : un trigger Latin de 3 mots redirige la sortie anglaise vers le français. Le circuit opère en 3 phases via des têtes d'attention, une propagation orthogonale aux directions de langue naturelle, puis conversion MLP. Un goulot d'étranglement sériel à une position unique contrôle tout le flux.
EnvFactory automatise la création d'environnements exécutables et la synthèse de trajectoires multi-tours pour l'entraînement d'agents RL. Avec 85 environnements vérifiés sur 7 domaines, le framework génère 2 575 trajectoires SFT/RL et améliore les modèles Qwen3 de +15% sur BFCLv3, +8.6% sur MCP-Atlas et +6% sur conversational benchmarks.
Framework de vérification formelle pour pipelines LLM via certificats Lean 4. Trois familles de certificats (bilattice, sensibilité embedding, Hoare-style) + deux opérateurs (Maximal Certifiable Residue, Compositional Stability) pour déploiements critiques (finance régulée, support clinique, agents). Artefact compilé couvre 22 types de certificats, 17/46 déclarations sans axiomes.
MINE (Mechanistically Interpretable Neural Encoding) applique les outils d'interprétabilité mécanique aux réseaux de neurones pour identifier les caractéristiques visuelles qui activent chaque voxel du cortex visuel humain. Validation par génération d'images et édition contrefactuelle : insérer/retirer les features prédites modifie l'activation neuronale comme prévu.
Étude sur l'organisation géométrique des représentations dans les modèles de langage selon leur échelle. Subspace PGA mesure l'alignement de la géométrie intermédiaire avec la matrice d'unembedding. Modèles petits (≤1024) perdent progressivement cette organisation aux couches tardives, tandis que grands modèles (≥2048) la préservent. L'échelle détermine comment la géométrie s'organise pour la prédiction.
HEED propose une méthode d'alignement résiduel pondéré par densité pour distiller des modèles vision-langage (ex. Qwen3-VL-8B) en architectures hybrides Mamba-2/attention. La technique cible les patches haute-densité (texte, détails fins) qui subissent 3.6× plus de dérive résiduelle. Résultats : +8.7 points OCRBench v2, +5.13 points en moyenne, 4.12× throughput, 68% économie mémoire.