CODA est une abstraction GPU qui réécrit les blocs Transformer en programmes GEMM-épilogue. Elle fusionne les opérations mémoire-limitées (normalisation, activations, résidus) avec la sortie GEMM avant écriture en mémoire, réduisant les mouvements de données. Couvre presque tout le calcul non-attention en forward/backward pass.
ztok est une bibliothèque de tokenization multithreadée écrite en Zig, 2–5× plus rapide que tiktoken/HF/SentencePiece. Charge formats tiktoken, HF tokenizer.json, SentencePiece, TokenMonster, Mistral Tekken. Bit-identique aux implémentations de référence, 8 bindings de langages, optimisée pour RAG et tokenization dataset.
SpecHop accélère les agents multi-hop utilisant outils externes (recherche web, retrieval) en maintenant plusieurs threads spéculatifs parallèles avec des outils plus rapides mais moins fiables. Le framework vérifie asynchroniquement les prédictions et valide/annule les branches, réduisant la latence jusqu'à 40% sans changer la trajectoire finale du modèle.
PALS est un système d'optimisation de l'inférence LLM intégré à vLLM qui traite les limites de puissance GPU comme un paramètre de contrôle ajustable. En combinant modèles de puissance-performance hors ligne et contrôle par rétroaction, il améliore l'efficacité énergétique jusqu'à 26,3% et réduit les violations QoS de 4x à 7x sur modèles denses et MoE.
AutoRPA distille la logique décisionnelle d'agents LLM (paradigme ReAct) en fonctions RPA robustes via un pipeline traducteur-constructeur et génération augmentée par récupération. Sur tâches GUI répétitives, les fonctions générées réduisent l'usage de tokens de 82–96% tout en maintenant la performance.
AgentAtlas propose une évaluation multidimensionnelle des agents LLM au-delà des simples taux de succès. L'étude introduit une taxonomie de 6 états de contrôle, une taxonomie d'erreurs à 9 catégories, et audite 15 benchmarks existants. Sur 8 modèles (4 fermés, 4 open-weight), retirer les labels explicites réduit la précision de 14-40 pp, révélant une dépendance forte au prompt.
COSMO-Agent, un framework RL augmenté d'outils, entraîne des LLM à orchestrer des processus CAD-CAE itératifs. Le système apprend à générer de la géométrie paramétrique, résoudre des simulations et réviser les designs sous contraintes multiples. Dataset industriel de 25 catégories de composants. Les petits LLM entraînés surpassent les modèles fermés en faisabilité et stabilité.
ConTact décompose explicitement la conception de CDR d'anticorps en trois étapes : empreintes de complémentarité, prédiction des contacts CDR-antigène, et injection de caractéristiques pondérées. Sur CHIMERA-Bench, le modèle améliore la qualité structurale de 7% (RMSD), la conscience épitopique de 10% (F1), avec AAR 0.38 en récupération de séquence.
JECS (Joint Envelope Conformal Selection) est une méthode pour décontaminer les benchmarks d'évaluation LLM en contrôlant le taux de contamination global (GCR) entre plusieurs modèles. Elle agrège les p-valeurs conformales par modèle et applique la procédure Benjamini-Hochberg adaptée pour sélectionner un benchmark fiable sans biais de comparaison croisée.
GOEN (Geometry-Optimised Epistemic Network) combine features multi-échelles, normalisation L2, distance de Mahalanobis et calibration pour détecter les entrées hors-distribution. Découverte clé : CenterLoss dégrade la détection OOD (AUROC 0.9366 vs 0.9483 sans), bien qu'il améliore la précision. GOEN-NoCenterLoss atteint 0.9483 AUROC sur CIFAR-10, surpassant ensembles profonds (0.8827), KNN (0.8967) et ODIN (0.8870).
TransitLM : dataset de 13M+ trajets de transport en commun (4 villes chinoises, 120k stations) pour entraîner des LLM à générer des itinéraires sans infrastructure cartographique. Les modèles apprennent à ancrer les coordonnées GPS aux stations et produisent des routes structurellement valides sans mapping explicite.
Déploiement réel d'un pipeline federated learning pour prédire la carence en fer à partir de données de numération formule sanguine. Utilise DeepCBC (modèle fondation haematologie gelé) + FedMAP (agrégation personnalisée). Testé sur deux sites cliniques (AUMC, NHSBT) avec données non-IID. FedMAP améliore ROC-AUC de 0.947→0.959 (AUMC) et 0.856→0.867 (NHSBT) vs entraînement local.
ACC convertit les trajectoires d'agents (recherche, ingénierie logicielle, requêtes BD) en paires QA long-contexte pour l'entraînement SFT. Élimine le masquage des réponses d'outils et crée une supervision explicite sur les dépendances distantes. Qwen3-30B-A3B atteint +18.1 sur MRCR et +7.6 sur GraphWalks, comparable à Qwen3-235B.
OGCaReBench est un benchmark de retrieval pour évaluer les LLMs sur des questions cliniques hors-guideline, extraites de cas médicaux publiés. GPT-5.2 atteint 56% sans retrieval, 82% avec articles médicaux récupérés. Les modèles spécialisés plafonnent à 42%.
Token-weighted DPO (TwDPO) et AttentionPO proposent une optimisation des préférences qui pondère les tokens selon leur importance. AttentionPO utilise l'attention du modèle lui-même pour estimer les poids, sans modèle de récompense séparé. Résultats : amélioration sur AlpacaEval, MT-Bench, ArenaHard.
Sem-Detect détecte les avis de relecture générés par IA en analysant les caractéristiques textuelles et sémantiques au niveau des affirmations. La méthode compare un avis cible à plusieurs avis générés par IA du même article, exploitant la convergence des modèles IA versus la diversité des reviewers humains. Sur 20 000+ avis ICLR/NeurIPS, Sem-Detect améliore la baseline de 25,5% en TPR@0.1% FPR.
RankJudge est un générateur de benchmark pour évaluer les LLM utilisés comme juges sur des conversations multi-tours ancrées dans des documents de référence. Le système crée des paires de conversations avec une faille injectée dans un tour, permettant un étiquetage sans ambiguïté. Évaluation de 21 juges LLM frontier avec classement via le modèle Bradley-Terry sur ML, biomédecine et finance.
ArabDiscrim est un corpus de 293K posts Facebook arabes (2014-2024) sur le racisme et la discrimination. Il inclut 200 termes curatés avec familles morphologiques (13+ inflexions), 20 axes de discrimination, et signaux d'engagement natifs (réactions, partages, commentaires). Licence recherche restreinte pour conformité éthique.
Nouvelle approche d'évaluation des IA frontière : les « open-world evaluations » complètent les benchmarks en testant des tâches réelles complexes sur long terme. Le projet CRUX teste un agent IA capable de développer et publier une app iOS sur l'App Store avec une seule intervention manuelle, révélant des capacités émergentes.
PlanningBench est un framework pour générer des données de planification scalables et vérifiables. Il abstrait 30+ types de tâches et facteurs de difficulté à partir de scénarios réels, puis synthétise des problèmes avec contrôle adaptatif et vérification automatique. L'entraînement par RL sur ces données améliore les performances sur des benchmarks non vus.
ScenePilot génère des scénarios critiques pour tester les systèmes de conduite autonome via apprentissage par renforcement multi-objectif. Le framework combine une mesure de faisabilité physique (RSS) avec un prédicteur de risque pour cibler les scénarios à la limite : physiquement possibles mais causant des défaillances. Résultats : +6,2 points de collision sur SafeBench tout en préservant la validité physique.
X-Token propose une distillation de connaissance cross-tokenizer via deux formulations de perte complémentaires (P-KL et H-KL) utilisant une matrice de projection W. Sur Llama-3.2-1B, la méthode surpasse GOLD de +3.82 points avec Qwen3-4B et +0.5 avec Phi-4-Mini; deux enseignants (Phi-4-mini + Llama-3B) gagnent +1.3 points.
OSCToM combine RL et modèles de substitution pour générer des conflits observateur-agent dans les tâches de théorie de l'esprit. Sur FANToM (benchmark asymétrique en information), OSCToM-8B atteint 76% de précision vs 0,2% pour ExploreToM. La synthèse de données est 6x plus efficace.
DeepWeb-Bench est un benchmark de recherche profonde évaluant 9 modèles frontière sur des tâches exigeant collecte massive d'evidence, réconciliation cross-source et dérivation multi-étapes longue. Les erreurs proviennent surtout de la dérivation et calibration (>70%), pas de la retrieval (12-14%). Les modèles forts et faibles échouent différemment : dérivation incomplète vs hallucination de précision.
Étude arXiv sur les lois de scaling des données : la couverture progressive d'un spectre latent de contributions prédictives (via automate de suffixes) corrèle fortement avec l'exposant de scaling empirique. Sur 12 corpus réels, log K(N) suit une relation quasi-linéaire avec log N (R²≈0.96), suggérant que l'entraînement avance une frontière effective à travers un spectre d'états prédictifs.
P2D, un framework d'alignement LLM, couple sélection de données et fine-tuning efficace en paramètres. En identifiant les têtes d'attention critiques pour chaque tâche, P2D mine des données pertinentes et élaguer 90% des paramètres. Résultat : +8.3pp de performance et 7.0x d'accélération avec seulement 10% des données et 10% des têtes.
Les auteurs identifient que la fiabilité des tokens du teacher en auto-distillation dépend de leur position dans la trajectoire de raisonnement, pas de l'entropie locale. Ils proposent PW-OPSD, qui pondère les tokens par position croissante. Sur Qwen3-4B, AIME 2024/2025 gagnent +1.0/+1.1 points; validation sur DeepSeek-R1-Distill-Llama-8B et Olmo-3-7B-Think confirme les gains.
EntmaxKV propose un framework de décodage sparse pour l'attention entmax, exploitant les zéros exacts produits par entmax versus les queues denses du softmax. Combine scoring de pages, sélection de candidats et attention entmax sparse. Atteint 3.36× speedup (softmax) et 5.43× (entmax) sur contexte 1M avec fraction réduite du KV cache.
Étude sur 6,620 exécutions montrant que Claude Haiku compresse 10 modifieurs d'intensité anglais en 5 sorties distinctes. Le contexte d'état système domine l'effet lexical (variance expliquée : 0,782 vs 0,079). Près des limites opérationnelles, le modèle adopte trois modes : petits ajustements pour mots faibles, abstention pour mots forts, plafonnement pour « drastically ».
Anthropic loue Colossus 1, le supercalculateur de xAI, pour 1,25 Md$/mois jusqu'en mai 2029 (40+ Md$ total). Le contrat plafonne à 11% de la capacité du cluster, limitant l'accès d'Anthropic à une fraction des ressources disponibles.
Benchmark WebVoyager sur 720 tâches d'agents navigateur : MiniMax M2.5 coûte 2,3× moins cher par tâche réussie que Gemini 2.5 Flash. GLM-5 atteint 57,1% d'accuracy, Kimi K2.5 affiche 0% d'erreurs de parsing. Les modèles open-weight surpassent Gemini non par intelligence mais par fiabilité. Le coût réel dépasse le prix au token une fois les retries comptabilisés.
Tencent lance Hy-MT2, famille de modèles de traduction multilingue en trois tailles (1.8B, 7B, 30B-MoE) supportant 33 langues. Le modèle 1.8B compressé à 440 MB via quantization 1.25-bit surpasse les APIs commerciales Microsoft/Doubao. Les 7B et 30B dépassent DeepSeek-V4-Pro et Kimi K2.6. Benchmark IFMTBench et intégration WMT26 inclus.
Les modèles de diffusion masqués (MDLMs) surpassent les LLMs autorégressifs comme modèles du monde pour l'RL agentic. Fine-tuning sur SDAR-8B et WeDLM-8B montre +4x sur BLEU-1/ROUGE-L/MAUVE. GRPO training atteint +15% de succès sur ScienceWorld, ALFWorld, AppWorld avec Qwen3, Mistral, LFM2.5 en zéro-shot.
MTR-Suite est un framework pour évaluer et synthétiser des benchmarks de retrieval conversationnel. Il comprend MTR-Eval (auditeur basé LLM), MTR-Pipeline (système multi-agent générant des dialogues à 1/400e du coût humain), et MTR-Bench (benchmark général). Code et données publics.
TabPFN-MT étend les Prior-Data Fitted Networks au multitâche en contexte pour données tabulaires. Entraîné sur synthétiques multi-cibles, le modèle capture les dépendances inter-tâches et réduit l'inférence de O(T) à O(1) passages. Sur 344 datasets (<1000 samples), il atteint le rang 4.89 en précision multitâche, compétitif avec les ensembles single-task.
Deux approches de classification supervisée (cross-entropy et contrastive learning) convergent vers Neural Collapse, un optimum théorique. Les auteurs proposent NTCE et NONL, deux pertes normalisées qui atteignent NC en <7.5% des itérations de CE, avec +5.5% d'amélioration en transfer learning et +8.7% sous déséquilibre de classes sur ImageNet-1K.
TreeText-CTS convertit les trajectoires EHR irrégulières en unités de preuve lisibles et traçables basées sur des chemins d'arbres XGBoost. Le système améliore AUPRC de 6,0 à 9,7 points sur PhysioNet 2012, MIMIC-III et PhysioNet 2019 tout en restant compétitif avec les modèles numériques.
DG-Hard, une méthode spectrale post-hoc, récupère les capacités endommagées par le fine-tuning sans réentraînement. Elle applique un seuillage SVD dur (Donoho-Gavish) aux matrices de poids pour isoler le signal aligné sur la tâche du bruit résiduel. Testée sur 14 configurations (modèle, tâche) et 9 benchmarks, elle restaure aussi l'alignement de sécurité dégradé.
FusionCell prédit les performances des cellules standard en fusionnant la géométrie du layout (via DeiT) et la topologie du netlist (via graph transformer). Entraîné sur 19.5k cellules 7nm (ASAP7), le modèle atteint 0.92% MAPE sur délai/puissance et accélère la caractérisation de plusieurs ordres de magnitude vs simulation.
Weasel est une méthode de sélection de trajectoires pour l'entraînement hors ligne d'agents web. Elle optimise un équilibre entre importance et diversité sur les états, sites et patterns d'interaction, avec élagage d'AXTree centré sur la cible. Sur WebArena, WorkArena et MiniWob, elle améliore la généralisation hors-domaine avec des accélérations d'entraînement de 9.7-12.5× sur Qwen2.5-7B, Gemma3-4B et Qwen3-8B.