Les benchmarks en IA sont des jeux de tests standardisés qui mesurent et comparent objectivement les performances des modèles sur des tâches définies. Par exemple, MMLU évalue la capacité des modèles de langage à répondre à des questions dans plus de 50 disciplines académiques.
Audit systématique des benchmarks FOLIO et MALLS révélant 39% et 36% d'erreurs dans les formalisations FOL. Les auteurs publient des annotations corrigées et un framework LLM pour guider la relabélisation manuelle, permettant d'atteindre 90% de précision en révisant <24% des instances. Tests sur Gemma 31B, Qwen3-30B et GPT-4o-mini montrent des gains de +9 à +22 points.
Padyam2Gadyam : dataset de 600 poèmes télougous classiques (13e-17e siècles) avec traductions en prose télougou et anglaise modernes. Évaluation de 5 LLM contemporains révèle des performances insuffisantes et des limites des métriques MT existantes.
Les chercheurs proposent Bank of Values (BoV), une méthode remplaçant les vecteurs de valeur contextuels par des vecteurs sans contexte stockés comme paramètres creux dans les derniers tiers des couches. Sur modèles 135M et 780M, BoV améliore la perte de validation et les performances sur 21 benchmarks avec moins de calcul et mémoire.
Benchmark d'évaluation des attitudes environnementales dans 31 LLMs (propriétaires et open-source). Les modèles affichent des positions plus progressistes que la moyenne des répondants allemands, mais sans lien systématique avec l'origine, la taille ou le contexte de release. Risque de manipulation par prompting et dérives sycophantiques détectées.
RelGT-AC étend RelGT pour les tâches d'autocomplétion sur bases de données relationnelles. Le modèle combine un masquage de colonnes, une tête unifiée (classification/régression) et un encodeur TF-IDF pour texte libre. Sur 7 tâches RelBench v2, il surpasse GraphSAGE sur 3 tâches de régression et gagne +10 AUROC sur tâches textuelles.
Étude de la « dette de passation » : le coût de redécouverte quand un agent de codage reprend une tâche interrompue. Sur 75 tâches et 724 exécutions, fournir des notes structurées réduit les événements médians de 20–59 % et les tokens de 42–63 % vs. état du dépôt seul. Les benchmarks d'agents doivent évaluer l'efficacité de reprise, pas seulement la résolution.
IdiomX est un benchmark multilingue à grande échelle pour la compréhension des expressions idiomatiques, contenant 190K+ exemples contextualisés couvrant 12K+ idiomes en anglais, arabe et français. Le dataset inclut des étiquettes d'usage idiomatique/littéral et des métadonnées linguistiques. Quatre tâches évaluent la détection, la récupération et l'interprétation d'idiomes.
Étude sur 6000 paires tâche-condition montrant que le débat multi-agent dégrade la génération (-1.6 à -15.5pp) via confusion induite par critique, mais améliore la détection d'erreurs (+27.4pp F1). Une séparation adversariale avec vérification par code et génération contrôlée atteint +5.3pp sur tâches génératives.
BehaviorBench est un benchmark pour évaluer la modélisation des décisions personnalisées à partir de traces comportementales réelles. Construit sur 2 000 portefeuilles avec 141 445 instances de prédiction de croyances et 1 485 972 instances de prédiction de transactions, il teste si les modèles génératifs peuvent adapter leurs prédictions aux utilisateurs individuels sans simulation.
Étude comparative d'un Transformer encoder-only vs LSTM pour prédire le débit en bassins non jaugés. Sur données NOAA NWM, l'LSTM surpasse le Transformer. L'intégration d'informations aval améliore tous les modèles (+60% NNSE médian). La mémoire récurrente s'avère mieux adaptée à cette tâche d'inférence hydrologique.
Un utilisateur de r/LocalLLaMA soulève que les benchmarks de quantification se concentrent sur la perplexité et la qualité prose, mais ignorent la validité des appels d'outils. Il hypothèse que les erreurs de quantification dégradent les sorties structurées (JSON, schémas) plus tôt que le texte libre, rendant les métriques actuelles inadéquates pour les cas d'usage agentiques.
Microsoft annonce MAI-Thinking-1 (35B, raisonnement) et MAI-Code-1-Flash (5B, code). Le premier surpasse Claude Sonnet 4.6 en évaluation humaine aveugle. Les deux modèles sont entraînés sur données sous licence commerciale sans distillation tiers.
Microsoft déploie MAI-Code-1-Flash, un modèle de 5B paramètres actifs qui atteint 51% sur SWE-Bench Pro. Cette architecture compacte démontre des performances compétitives en résolution de tâches de génie logiciel complexes.
Gemma 4 E4B en format LiteRT avec moteur Google atteint 157.2 tok/s en génération de texte, 2.4× plus rapide que Q4 GGUF (66.3 tok/s) grâce à la prédiction multi-tokens (MTP). Captionnage d'images : gain marginal de 1.1× car le goulot est l'encodeur vision. Testé sur RTX 4060 Ti 16GB.
KeyLM, un modèle de 75M paramètres entraîné sur 18B tokens, surpasse SmolLM-135M-Instruct sur IFEval (17.85 vs 17.15) malgré une taille moitié moindre et 30x moins de données. Architecture standard : GQA, RoPE, SwiGLU, 24 couches, entraîné sur FineWeb-Edu, Wikipedia, Reddit et autres données publiques.
Benchmark de codage comparant Step 3.7, Qwen 3.5 122B-A10B, Qwen 3.6 27B et Qwen 3.6 35B-A3B. Résultats bruts sans détails méthodologiques fournis dans l'extrait.
Benchmark de 20 petits LLMs sur GPU RTX 4050 6GB. L'auteur teste des quantifications Q4/Q6 GGUF avec 6 probes qualitatives (tool-call, JSON strict, décomposition de plan, pas d'hallucination de chemin) plutôt que des suites complètes, mesurant vitesse de préfill et génération à 1k/8k/32k tokens pour identifier les modèles viables en local sur hardware limité.
Benchmark complet de 8 petits LLMs (135M–1B) sur Jetson Orin Nano Super 8GB avec llama.cpp CUDA, testés en 4 modes de puissance (7W–MAXN). Mode 25W optimal : SmolLM2-135M atteint 165 tok/s et 22.6 tok/J ; LFM2.5-1.2B meilleur en classe ~1B (54.1 tok/s). 384 cellules de benchmark, données brutes publiées.
Étude comparative de règles d'apprentissage (backprop, feedback alignment, predictive coding, STDP) via alignement RSA avec fMRI V1 humain. Backprop détruit 90% de l'alignement V1 après 1 epoch (r: 0.102→0.011), tandis que PC et STDP ne perdent que 25-31%. À epoch 40: PC/STDP >> BP/FA. Suggère un trade-off fondamental entre signaux d'erreur globaux (couches hautes) et alignement précoce.
CVE-Bench évalue 5 modèles frontier sur 20 CVEs réelles (Pillow, GitPython, urllib3, etc.) avec 300 runs. Taux de résolution max 50% (60% en advisory). Les agents corrigent syntaxiquement mais laissent la vulnérabilité ouverte. Écarts significatifs cross-family (OpenAI vs Laguna, p<0.05), bruit intra-famille. Analyse des défaillances : drift de recherche, hallucinations, manque de contextualisation.
Niels de Hugging Face annonce paperswithcode.co, une plateforme de suivi SOTA relancée. Nouvelle fonctionnalité : indexation des conférences majeures (NeurIPS, CVPR, ICML). Les 2026 papiers CVPR sont catalogués par tâche, avec liens arXiv, GitHub, pages projet, artefacts HF et évaluations.
Benchmarks llama.cpp sur Intel Arc Pro B70 publiés. Performance mesurée : 63 tokens/sec avec Qwen via SYCL. Test de GPU discret Intel pour inférence locale.
InfoAtlas est un modèle fondation capable d'estimer l'information mutuelle entre variables haute-dimensionnelles en une seule passe forward, sans optimisation itérative. Préentraîné sur données synthétiques, il atteint 100× d'accélération par rapport aux estimateurs neuraux classiques tout en maintenant la précision et généralise à des scénarios réels complexes.
Nouvelle méthode de détection d'anomalies dans les graphes spatio-temporels basée sur les shifts d'énergie spectrale. Détecte les anomalies camouflées (variation spectrale réduite) que les approches existantes manquent. Framework compatible avec message passing, sans modules séquentiels spécialisés.
Nouvel article arXiv proposant des approximations discrètes pour SG(L)D avec et sans momentum, permettant des prédictions précises de la covariance stationnaire et du temps d'autocorrélation intégré. Bornes d'erreur non-asymptotiques pour l'ajustement pratique et la quantification d'incertitude, validées sur modèles mal spécifiés et grands batch sizes.
ChurnNet compare des méthodes classiques (Random Forests, XGBoost, SVM) avec un modèle multi-tâches temps-réel unifié pour prédire l'attrition client. Les résultats montrent que les approches traditionnelles surpassent le modèle IA moderne en performance prédictive, efficacité données et ressources computationnelles, sur plusieurs datasets.
ReMax formalise l'exploration en RL via des retries : une politique est évaluée par le rendement maximal attendu sur M échantillons. L'exploration émerge naturellement sans bonus explicites. RePPO, variante de PPO optimisant ReMax, généralise M à un paramètre continu m, contrôlant finement l'exploration. Résultats sur MinAtar et Craftax.
Étude sur l'adaptation sélective de données pour prédiction sur wearables. Analyse de 3 modalités (fréquence cardiaque, activité, EMA) sur dataset longitudinal. Gains AUROC jusqu'à 0.7 pour participants avec faible baseline, corrélation inverse forte (r=-0.67) entre amélioration et performance initiale. Bénéfice limité pour bonnes baselines.
PROBE, un framework d'optimisation pour agents LLM en conception de médicaments, résout le conflit entre affinité de liaison et druggabilité. Via probing d'édits contrôlés et une site map spécifique à la poche, il guide une boucle multi-agent (affinité, druggabilité, co-optimisation) sur CrossDocked2020 avec résultats SOTA.
La quantification post-entraînement (PTQ) réduit la précision des modèles de raisonnement et augmente la longueur des chaînes de pensée. 52% des erreurs proviennent de réponses correctes trouvées mais non finalisées. Une pénalité logit sans entraînement sur les marqueurs de surréflexion ("wait", "but") réduit la longueur de 12-23% tout en préservant la précision sur 5 modèles (1.5B-32B).
DraDDP est le premier dataset public multimodal pour l'analyse de structures de discours en dialogues multi-parties. Construit à partir de séries TV américaines, il contient 495 segments de dialogue (6 374 énoncés, 9.1 heures de vidéo). Les benchmarks montrent l'utilité des informations multimodales pour identifier les dépendances et types de relations entre énoncés.
DOPA, un framework de recherche de démonstrations, utilise un proxy OOD pour approximer le domaine cible inaccessible et guide la récupération de démonstrations pertinentes. Une contrainte de diversité basée sur la distance de Mahalanobis assure la variété des exemples sélectionnés. Résultats positifs sur plusieurs LLMs et tâches en contexte de distribution shift sévère.
ART (Attention Run-time Termination) est un mécanisme léger qui interrompt l'accès aux blocs KV lors du décodage si leur contribution à l'attention devient négligeable. Testé sur LongBench, il améliore le débit de génération de 20% en grands batches tout en préservant la précision.
CSRP, un framework en trois étapes pour la correction d'erreurs grammaticales chinoises, combine pré-entraînement continu (5.9M échantillons), fine-tuning avec Chain-of-Thought, et optimisation de politique avec récompenses conscientes de l'efficacité. Atteint 50.99 F₀.₅ sur NACGEC et surpasse GPT-4 en correction orthographique (59.61 F1).
SENSE améliore le décodage spéculatif basé sur la récupération en utilisant les états cachés du modèle cible pour l'alignement sémantique. Un module d'évaluation soft-gated valide l'équivalence sémantique plutôt que les formes de surface. Sur LLaMA et Qwen, SENSE atteint 4.09 longueur d'acceptation moyenne et 3.26x d'accélération.
Système de génération d'humour pour SemEval-2026 Task-1 (MWAHAHA) utilisant une stratégie « générer-beaucoup → sélectionner-meilleur ». Génération de candidats diversifiés via prompting multi-étapes et ensemble de modèles, puis sélection via un modèle de préférence entraîné sur 2.5K jugements humains appariés. Classement 1er en anglais et chinois, 2e en espagnol.
Framework de red teaming multi-domaine évaluant 11 LLMs sur 690 scénarios cliniques. Résultats : variance substantielle (scores 0.791–0.984), défaillances critiques masquées par la précision moyenne, amplification d'erreur 10-20% sur tâches d'équité. Approche hybride (automatisée + validation humaine) nécessaire.
Étude des métriques d'accord pour l'évaluation par LLM-as-Judge. Analyse de 24 papiers récents montrant que pour les critères binaires (MET/UNMET), Pearson r, Spearman ρ, Kendall τ_b et phi sont redondants. Cohen's κ seul ajoute de l'information. Les auteurs proposent une checklist de reporting incluant l'échelle de jugement, la gestion des abstentions et la matrice de confusion.
RealityTest évalue si les systèmes IA divulguent leur identité quand interrogés. Benchmark multilingue et multimodal basé sur 3 152 requêtes collectées auprès de ~750 participants dans 49 pays, 5 langues (texte et voix). Résultats : 31% seulement posent la question directement ; une instruction de suppression réduit la divulgation sous 30% même pour les meilleurs modèles.
DeSQ décompose les questions complexes en contraintes atomiques pour générer des requêtes SPARQL. Le framework opère en trois étapes : décomposition, génération de fragments SPARQL avec placeholders, et assemblage final. Surpasse l'état de l'art sur 4/5 benchmarks majeurs avec meilleure robustesse aux variations lexicales.