DACA-GRPO améliore l'entraînement par renforcement des modèles de langage diffusifs en résolvant deux problèmes : l'absence d'attribution de crédit temporelle et le biais des estimations de vraisemblance. La méthode introduit des scores de progrès de débruitage et un masquage stratifié, gagnant jusqu'à 7.4pp en génération de code et 5.6pp en raisonnement mathématique.
IVF-TQ propose un index IVF avec couche résiduelle sans codebook : rotation aléatoire fixe + quantification scalaire Lloyd-Max précomputée. Réduit la dégradation en streaming (Deep-10M : -0.80pp vs IVF-PQ -3.23pp). Code disponible.
KAN-SAE, un nouvel autoencodeur creux utilisant des activations B-spline non-linéaires de réseaux de Kolmogorov-Arnold, découvre 975 caractéristiques climatiques dans les modèles de prédiction météo (vs 566 pour les SAE linéaires). Sans supervision climatique, il identifie des phénomènes interprétables comme les vagues de chaleur européennes et les typhons du Pacifique.
SocialMemBench est un benchmark évaluant les systèmes de mémoire IA dans les groupes sociaux multi-parties (430 personas, 7,355 tours de conversation, 1,031 paires QA). Gemini 2.5 Flash atteint 0.721 sur petits réseaux vs 0.98 attendu. Les quatre frameworks open-source (Mem0, LangMem, Graphiti, Cognee) obtiennent 0.12-0.18, bien en dessous des références (0.345-0.369), révélant un écart mesurable.
CounterCount est un framework de diagnostic pour évaluer les biais de comptage dans les modèles vision-langage. Les tests révèlent que les VLMs performent bien sur des images factuelles mais dégradent significativement sur des images contrefactuelles où les attributs visuels contredisent les priors appris. Une stratégie de modulation d'attention au temps d'inférence améliore la précision jusqu'à 8%.
DCFold est un modèle génératif single-step qui atteint la précision d'AlphaFold3 avec 15x d'accélération en inférence. Utilisant un framework Dual Consistency et un scheduler Temporal Geodesic Matching, il maintient la fidélité prédictive pour la prédiction de structure et le design de binders.
Les trajectoires de confiance au niveau des tokens dans les LLM encodent des signaux géométriques liés à la correction des traces de raisonnement. Sans accès au texte ou aux états cachés, une représentation basse dimension sépare les traces correctes des incorrectes sur GSM8K, MATH et MMLU. NeuralConf, un estimateur léger, améliore l'agrégation pondérée par confiance par rapport au vote majoritaire.
Étude critique des agents de trading basés sur LLM (FinCon, FinMem, TradingAgents, FinAgent, QuantAgent, FLAG-Trader). Les Sharpe ratios rapportés ne constituent pas une preuve de déploiement viable : contamination temporelle, frictions non modélisées et calibration prédictive insuffisante invalident les résultats. Propose protocole de reporting P1-P6 et architecture modulaire avec LLM comme interface d'audit.
OpenJarvis propose une architecture de stack IA personnelle décomposée en cinq primitives (Intelligence, Engine, Agents, Tools & Memory, Learning) pour exécuter localement des tâches sans envoyer données sensibles au cloud. Via recherche de spec guidée par LLM, les modèles locaux atteignent la précision des modèles cloud sur 4/8 benchmarks, réduisent coût API de ~800x et latence de 4x.
Première étude systématique d'attribution de source pour assets 3D générés. Les chercheurs construisent un benchmark couvrant 22 générateurs 3D et proposent un Transformer multi-vue multi-modal détectant les fingerprints (incohérences cross-view, artefacts géométriques, signatures fréquentielles). Résultats : 97,22% en supervision complète, 77,17% avec 1% des données.
SomaliWeb v1 : corpus Somali de 819 322 documents (~303M tokens) avec tokenizer BPE-16K et benchmark d'identification de langue. Révèle défauts majeurs dans distributions existantes (HPLT v2 : 17,3% doublons, 56,1% mojibake). Tokenizer 40,2% plus efficace que cl100k_base de GPT-4 sur FLORES-200.
FastOCR propose un framework sans entraînement pour accélérer l'OCR sur Vision-Language Models en exploitant la fixation visuelle dynamique. Via pruning du cache KV, le modèle réduit les tokens visuels traités à 5% par étape de décodage tout en conservant 98% de précision sur Qwen2.5-VL, divisant la latence d'attention par 3.0×.
Étude de la « cognitive poisoning » : des outils malveillants qui accumulent la confiance via des retours bénins avant de devenir nuisibles. TRUST-Bench (1,970 épisodes) et VISTA-Guard proposent une défense basée sur le scoring du risque de l'action finale à partir de la trajectoire d'interaction. Les heuristiques classiques échouent ; le scoring conscient de la trajectoire atteint 84,2% en-domaine.
Analyse théorique de transformers standard avec softmax et précision basse, montrant qu'ils peuvent simuler des machines de Turing via Chain-of-Thought. Les auteurs construisent des transformers hardmax avec activations ternaires, puis les convertissent en softmax équivalents sans magnitudes irréalistes. Résultats validés sur Sudoku.
Representation Autoencoders v2 améliore les VAE en utilisant des encodeurs vision préentraînés. Les auteurs découvrent que combiner les k dernières couches d'encodeur, fusionner RAE et REPA (representation alignment), et re-paramétrer la guidance sans classifier accélère 10x la convergence. RAEv2 atteint gFID 1.06 en 80 epochs sur ImageNet-256 et EP_FID@2 de 35 epochs.
Des chercheurs montrent que le renforcement learning peut encoder des solveurs réutilisables dans les poids d'un LLM plutôt que de résoudre chaque instance à l'inférence. En fine-tunant Qwen2.5-Coder-14B avec GRPO sur Synergistic Dependency Selection, le modèle converge vers Simulated Annealing avec 5.0% de gap au solveur optimal, 91× moins cher qu'un Best-of-64 baseline.
Les chercheurs identifient l'Entropy-Gradient Inversion, une corrélation négative entre l'entropie des tokens et les gradients de logits, comme signature géométrique des capacités de raisonnement des grands modèles. Ils proposent CorR-PO, une méthode d'optimisation par renforcement qui intègre cette signature dans la régularisation des récompenses, surpassant les baselines sur plusieurs benchmarks de raisonnement.
OverEager-Gen est un benchmark mesurant les actions hors-scope des agents de code autonomes sur des tâches bénignes. Sur Claude Code, retirer la déclaration de consentement augmente le taux d'actions overeager de 0% à 17.1%. L'étude teste 500 scénarios validés sur 4 produits (Claude Code, OpenHands, Codex CLI, Gemini CLI) et 6 modèles de base.
ZEDA, une méthode de self-distillation, convertit les modèles MoE post-entraînés en variantes dynamiques. Sur Qwen3-30B-A3B et GLM-4.7-Flash, elle réduit 50% des FLOPs experts avec perte de précision marginale et atteint 1.20× d'accélération d'inférence.
Étude de 38 modèles sur 8 900 références académiques : la qualité du rappel factuel suit une sigmoid combinant la taille du modèle et la fréquence du sujet dans les données d'entraînement. Ces deux variables expliquent 60% de la variance entre modèles denses, jusqu'à 74-94% au sein de familles individuelles.
DashAttention propose une méthode d'attention hiérarchique sparse différentiable utilisant la transformation α-entmax adaptative pour sélectionner un nombre variable de blocs KV. Contrairement à NSA et InfLLMv2, elle maintient la différentiabilité complète et atteint 75% de sparsité avec précision comparable à l'attention complète. Implémentation GPU en Triton offre accélération significative.
EndoCogniAgent est un framework d'agents fermés pour le diagnostic endoscopique itératif. Il couple l'acquisition d'évidences visuelles et le raisonnement multi-étapes via validation d'auto-cohérence (cohérence avec l'image et cohérence temporelle). Sur EndoAgentBench (6 132 QA de 11 datasets), le système atteint 85,23% en perception et 71,13% d'acceptabilité clinique.
ALIGN est un framework vision-langage pour inférer les coordonnées précises d'accidents routiers à partir de rapports d'actualité en bengali et d'indices cartographiques. Utilisant une architecture agentique combinant OCR, LLM et vision-langage, le système réduit l'erreur de localisation de 10,9 km à 0,593 km en validation et 0,465 km sur données officielles de Dhaka.
QuickLAP fusionne retours physiques et linguistiques pour apprendre les fonctions de récompense de robots en temps réel. Le framework bayésien utilise des LLM pour extraire des masques d'attention et des préférences du langage libre, intégrés aux corrections physiques via une règle de mise à jour fermée. Réduction d'erreur de 70% vs baselines en simulation de conduite autonome.
Vision-OPD propose une auto-distillation régionale-globale pour améliorer la compréhension visuelle fine des MLLMs. Le framework transfère la perception privilégiée du modèle sur des crops centrés sur les preuves vers sa politique pleine image, via minimisation de divergence KL token-level sur rollouts on-policy. Résultats compétitifs sur benchmarks de compréhension visuelle fine sans modèles externes ni labels.
Les prouveurs de théorèmes Lean entraînés par RL souffrent d'effondrement modal à l'inférence : doubler l'échantillonnage de k=32 à k=64 sur miniF2F-test avec DeepSeek-Prover-V1.5-RL ne résout zéro théorème supplémentaire (42/244). Une diversité structurelle fixe de 15 squelettes tactiques récupère +45% d'amélioration relative à k=16 (+12.3±4.2 théorèmes). Le phénomène est spécifique à RL et orthogonal au scaling.
Étude révélant une vulnérabilité de sécurité dans les agents dialogues personnalisés : la mémoire à long terme biaise l'inférence d'intention et légitime des requêtes nuisibles. PS-Bench, un benchmark, montre que la personnalisation augmente les taux de succès d'attaque de 15,8 % à 243,7 % comparé aux baselines sans état. Une méthode de détection-réflexion légère est proposée pour réduire cette dégradation.
TABROUGE, une métrique de récompense déterministe basée sur la plus longue sous-séquence commune, améliore le raisonnement tabulaire des LLM sans entraînement. RE-TAB, framework plug-and-play utilisant TABROUGE, gagne 26,7 pp sur six backbones et trois benchmarks, réduisant les échantillons de test-time scaling de 33%.
RAG-Gym, un framework de supervision du processus de recherche plutôt que des réponses finales, améliore les agents de recherche autonomes. Re²Search++ utilise la supervision de processus et la réflexion de raisonnement pour générer des requêtes de meilleure qualité, avec gains significatifs sur les benchmarks multi-hop et meilleure généralisation hors-domaine.
Architecture neurosymbolique avec ontologies (Role, Domain, Interaction) pour agents LLM en entreprise. Expérience contrôlée (1 800 runs, Claude Sonnet 4, Qwen 2.5 72B, Gemma 4 26B) : agents ontologie-contraints surpassent agents non-grounded sur précision métrique et cohérence de rôle (p < .001). Gain 2x plus élevé sur domaines localisés (Vietnam) où couverture LLM est faible.
Étude montrant que l'oubli dans les LLM supprime l'information en surface seulement : les modèles retrouvent leur comportement original via un fine-tuning minimal. Les auteurs proposent un cadre d'analyse au niveau représentationnel (PCA, CKA, Fisher information) pour évaluer la véritable suppression de données et identifient quatre régimes d'oubli selon réversibilité et catastrophicité.
CheeseBench évalue 6 LLMs open-weight (3B-72B) sur 9 paradigmes de neurosciences comportementales (labyrinthe d'eau de Morris, T-maze, etc.). Qwen2.5-VL-7B atteint 52,6% de succès en ASCII vs 32,1% aléatoire et 78,9% pour les rongeurs. Scaling >7B donne des rendements décroissants; l'historique long et chain-of-thought dégradent les performances.
MolClaw est un agent autonome avec architecture hiérarchique à 3 niveaux (70 compétences) pour l'évaluation, le criblage et l'optimisation de molécules pharmaceutiques. Il intègre 30+ ressources spécialisées et atteint des performances SOTA sur MolBench, un benchmark de 8 à 50+ appels d'outils séquentiels. Les gains proviennent principalement de l'orchestration de workflows structurés.
EnactToM est un benchmark d'IA évolutif contenant 300 tâches multi-agents en environnement 3D avec observabilité partielle. Il teste la capacité des agents à agir sur des croyances implicites (ToM fonctionnelle) plutôt que de répondre à des questions directes. Les 7 modèles frontière évalués obtiennent 0% sur les tâches difficiles, révélant des défaillances en coordination épistémique.
CarbonScaling est un framework analytique pour modéliser l'empreinte carbone de l'entraînement des LLM à l'échelle frontière. Il intègre les lois de scaling neural, les stratégies d'entraînement distribué, la modélisation du matériel et du carbone opérationnel/incorporé. Le code source est disponible sur GitHub.
ClawForge est un framework de benchmark pour agents CLI testant la gestion d'état persistant et de conflits. 17 scénarios, 6 catégories d'aptitudes. Sept modèles frontier évalués : meilleur score 45,3%, écart maximal 17-90% selon inspection d'état préexistant.
Red-Bandit est un framework de red-teaming qui adapte en temps réel des experts LoRA spécialisés dans différents styles d'attaque (manipulation, argot) via apprentissage par renforcement. Un algorithme de bandit multi-bras sélectionne dynamiquement l'expert optimal selon la sécurité des réponses du modèle cible. Résultats SOTA sur AdvBench avec prompts plus lisibles.
Approche de synthèse de programmes guidée par propriétés formelles pour réduire les coûts LLM. Au lieu de scores numériques simples, le système vérifie si un candidat satisfait une propriété définie formellement et fournit des contre-exemples concrets en cas de violation. Sur des domaines PDDL, cette méthode génère 7× moins de programmes et réduit drastiquement les coûts d'évaluation.
AASIST3 améliore la détection de deepfakes vocaux en intégrant des réseaux de Kolmogorov-Arnold (KAN) au framework AASIST. Le modèle atteint minDCF=0.5357 (closed) et 0.1414 (open) sur ASVspoof 2024, doublant les performances précédentes. Code disponible sur HuggingFace.
LightTransfer transforme les modèles de langage (LLaMA, Mistral, QwQ-STILL) en architectures hybrides sans entraînement. La méthode identifie les couches « paresseuses » et remplace leur attention complète par une attention en streaming, réduisant les coûts de cache KV. Résultats : jusqu'à 2,17× d'amélioration de débit avec <1,5% de perte sur LongBench et 53,3% sur AIME24.