Étude théorique des taux d'apprentissage optimaux dans les réseaux de neurones linéaires à 2-3 couches. Dérivation de formules fermées exactes pour les gradients et la perte après 1-2 étapes de descente de gradient. Résultat clé : les taux d'apprentissage inégaux minimisent la perte en phase initiale, tandis que les taux égaux deviennent optimaux après. Code disponible.
Théorie asymptotique pour SGLD-Gibbs, combinant dynamique de Langevin stochastique et mises à jour Gibbs pour l'inférence bayésienne dans les modèles à variables latentes. Les auteurs dérivent des limites de diffusion-saut et proposent un guide de tuning d'hyperparamètres garantissant une quantification d'incertitude statistiquement valide.
InfoAtlas est un modèle fondation capable d'estimer l'information mutuelle entre variables haute-dimensionnelles en une seule passe forward, sans optimisation itérative. Préentraîné sur données synthétiques, il atteint 100× d'accélération par rapport aux estimateurs neuraux classiques tout en maintenant la précision et généralise à des scénarios réels complexes.
Étude théorique montrant comment les transformers apprennent à implémenter une recherche en arbre (DFS) via RL. Un transformer à deux têtes d'attention émerge naturellement d'un entraînement par gradient de politique sur des arbres stochastiques, sans démonstrations expertes. Le modèle généralise à des profondeurs non vues et adapte sa stratégie selon les distributions d'objectifs.
Nouvelle méthode de détection d'anomalies dans les graphes spatio-temporels basée sur les shifts d'énergie spectrale. Détecte les anomalies camouflées (variation spectrale réduite) que les approches existantes manquent. Framework compatible avec message passing, sans modules séquentiels spécialisés.
Nouvel article arXiv proposant des approximations discrètes pour SG(L)D avec et sans momentum, permettant des prédictions précises de la covariance stationnaire et du temps d'autocorrélation intégré. Bornes d'erreur non-asymptotiques pour l'ajustement pratique et la quantification d'incertitude, validées sur modèles mal spécifiés et grands batch sizes.
ChurnNet compare des méthodes classiques (Random Forests, XGBoost, SVM) avec un modèle multi-tâches temps-réel unifié pour prédire l'attrition client. Les résultats montrent que les approches traditionnelles surpassent le modèle IA moderne en performance prédictive, efficacité données et ressources computationnelles, sur plusieurs datasets.
ReMax formalise l'exploration en RL via des retries : une politique est évaluée par le rendement maximal attendu sur M échantillons. L'exploration émerge naturellement sans bonus explicites. RePPO, variante de PPO optimisant ReMax, généralise M à un paramètre continu m, contrôlant finement l'exploration. Résultats sur MinAtar et Craftax.
Étude sur l'adaptation sélective de données pour prédiction sur wearables. Analyse de 3 modalités (fréquence cardiaque, activité, EMA) sur dataset longitudinal. Gains AUROC jusqu'à 0.7 pour participants avec faible baseline, corrélation inverse forte (r=-0.67) entre amélioration et performance initiale. Bénéfice limité pour bonnes baselines.
La quantification post-entraînement (PTQ) réduit la précision des modèles de raisonnement et augmente la longueur des chaînes de pensée. 52% des erreurs proviennent de réponses correctes trouvées mais non finalisées. Une pénalité logit sans entraînement sur les marqueurs de surréflexion ("wait", "but") réduit la longueur de 12-23% tout en préservant la précision sur 5 modèles (1.5B-32B).
BitsMoE propose une méthode de quantification pour modèles MoE basée sur l'allocation spectrale de bits. Via décomposition SVD, elle préserve la base partagée et quantifie finement les facteurs spécifiques aux experts. Sur Qwen3-30B à 2 bits, elle améliore la précision de 27,83 points et accélère le décodage de 1,76× vs GPTQ.
Hoeffding Concept Bottleneck Models (HCBM) remplacent l'agrégation linéaire des concepts par une décomposition non-linéaire et sparse basée sur les arbres boostés. Robustes aux fuites inter-concepts, ils améliorent l'explainabilité des prédictions en vision par ordinateur, notamment sur images aériennes.
Demo2Reward optimise les instructions textuelles des modèles de récompense VLM au moment du test, en utilisant 3-10 démonstrations d'experts pour réduire les faux positifs en robotique. Aucun entraînement supplémentaire requis. Validation sur tâches simulées et transfert réel.
Les réseaux de tenseurs non-linéaires automatiquement différentiables (ADNTNs) compressent les poids de réseaux de neurones via des tenseurs cœurs entraînés par différenciation automatique. Testés sur AlexNet et VGG-16, ils atteignent des ratios de compression de 2000× à 77000× par couche avec précision préservée ou améliorée.
GEM est une méthode d'effacement de concepts pour les modèles Rectified Flow Transformers. Elle combine des signaux de trajectoire (Generative Flow Networks) et un guidage par enseignant pour supprimer sélectivement les contenus nuisibles (deepfakes, violations de copyright) tout en préservant la génération bénigne.
BudgetDraft entraîne un drafter sparse pour la décodage spéculatif en contexte long (4K-16K tokens). La méthode expose le modèle à plusieurs budgets KV pendant l'entraînement et aligne chaque vue sparse avec une cible full-cache partagée. Résultats : 6.55x, 4.46x, 2.10x speedup vs décodage autorégressif à 4K, 8K, 16K tokens.
RAFT est une méthode de fine-tuning domaine en deux étapes qui réduit l'oubli catastrophique. Elle raffine les données via réécriture auto-conditionnée et fusion de réponses, puis applique une distillation on-policy où le modèle original fournit des cibles souples sur les trajectoires générées. Sur 5 domaines, RAFT améliore la précision domaine de 23,2% vs SFT standard et récupère 18,2% de dégradation sur MS-Bench.
Nouvelle approche pour détecter la dépression majeure à partir d'EEG sans augmentation de données. La méthode SGC (Score-Guided Classification) utilise un réseau génératif non supervisé pour modéliser les anomalies pathologiques comme prior, fusionné avec les représentations profondes. Un module d'adaptation spatiale gère l'hétérogénéité des canaux multi-centres. Validation sur Mumtaz2016 et MODMA.
Workflow IA itératif pour optimiser les anodes en graphite via apprentissage séquentiel et retours expérimentaux. Plateforme Citrine utilisée pour générer modèles de substitution et affiner contraintes de faisabilité. Résultats : fiabilité de fabrication passée de défaillances fréquentes à 100%, capacité ≥350 mAh/g augmentée de 28,4% à 84,8%, rétention de capacité de 42,1% à 97,3%.
Papier arXiv proposant des approches pour concevoir des systèmes agentic LLM pratiques. Framework avec « pseudo-tools » appelant récursivement les LLM sur contexte restreint. Les workflows fixes hand-engineered sont moins chers et plus précis que les workflows planifiés dynamiquement. Méthodes d'apprentissage pour optimiser pseudo-tools et workflows fixes, surpassant les agents hand-engineered.
PRAXIS est un algorithme qui calcule efficacement les ensembles de Rashomon (ensembles de modèles quasi-optimaux) pour les arbres de décision creux. L'approche réduit drastiquement la mémoire et le temps de calcul tout en récupérant la majorité de l'ensemble complet. Code disponible sur GitHub.
LithoGRPO combine le flow matching et l'apprentissage par renforcement (GRPO) pour optimiser les masques de lithographie en fabrication de semi-conducteurs. Le framework intègre une fonction de récompense physique explicite et propose un algorithme de comptage de tirs 130x plus rapide. Résultats SOTA sur les méthodes d'optimisation et d'apprentissage.
Étude de la généralisation retardée (grokking) lors du pré-entraînement de modèles de langage. Via un cadre basé sur l'exposition et les paires minimales BLiMP, les auteurs observent une généralisation différée sur cinq phénomènes grammaticaux. Les vecteurs de concepts grammaticaux deviennent plus prédictifs après généralisation et occupent un sous-espace de dimension supérieure.
ARCA propose une nouvelle méthode d'attribution de crédit au niveau des tokens pour l'apprentissage par renforcement des LLM. Elle résout la dégénérescence des signaux intrinsèques (surprisal, entropy reduction, policy divergence) sous LoRA en mesurant directement les changements cachés de l'adaptateur via la norme L2 du résidu. Testée sur MATH/Qwen3-1.7B avec GRPO, ARCA évite la concentration pathologique des poids.
InfoNCE, l'objectif standard du contrastive learning, repose sur une hypothèse statistique mal alignée avec les embeddings normalisés modernes. Les auteurs proposent WEINCE, une modification simple utilisant la théorie des valeurs extrêmes et des statistiques batch en ligne pour corriger les logits softmax, sans paramètres supplémentaires. Améliorations consistantes sur 5 benchmarks vision.
Nouvelle méthode de quantization préservant les produits scalaires avec vecteurs non vus. Algorithmes adaptatifs et non-biaisés développés avec garanties théoriques. Implémentations pratiques 2-10× plus rapides que l'état de l'art en Adaptive Stochastic Quantization.
Modèles de diffusion masquée : une politique réseau apprend l'ordre optimal de démasquage des tokens. Approche par réépondération de la perte selon les probabilités du débruiteur. Surpasse les heuristiques sur tâches combinatoires et protéines.
FLaG est un framework léger de détection d'hallucinations dans les LLM qui modélise la fiabilité via des groupes de preuves latentes. Utilisant un mécanisme de routage basé sur l'énergie et une agrégation log-marginale, il capture des patterns hétérogènes d'hallucinations sans modifier le modèle sous-jacent. Résultats SOTA sur plusieurs benchmarks avec transfert robuste entre datasets.
Étude arXiv sur le rôle de la température dans la distillation de LLM. Les auteurs montrent que la divergence KL avant (FKL) surpasse la divergence KL inverse (RKL) à températures élevées, contrairement aux conclusions empiriques antérieures qui omettaient ce paramètre. La température enrichit FKL avec des signaux de tokens non-dominants tandis qu'elle rescale seulement les gradients RKL.
Cadre en ligne sans hypothèse distributive pour contrôler la Conditional Value-at-Risk (CVaR) en environnements non-stationnaires et adversariels. Combine inférence conforme, apprentissage en ligne et représentation variationnelle de Rockafellar-Uryasev. Garanties de sécurité prouvées pour risques de queue non-linéaires. Applications : gestion de portefeuille et atténuation de toxicité LLM.
Méthode perturbative pour l'estimation non-paramétrique de variables instrumentales (NPIV). Inspirée de la théorie des perturbations en physique, elle étend les méthodes kernel ridge avec des corrections d'ordre supérieur. Réduit l'erreur de prédiction jusqu'à 99% dans les cas mal définis haute-dimension (β > 0.7) vs ridge regression standard.
KG-Guard détecte les hallucinations dans les systèmes de réponse à questions sur bases de connaissances (KBQA) en utilisant un graphe augmenté et un encodeur léger. Le modèle atteint F1 de 82.0–87.4 sur WebQSP/ComplexWebQuestions avec 305× moins de paramètres que les baselines, et améliore les performances KBQA de 13–14.5 points F1 en retour itératif.
CHAM-net, un réseau de méta-apprentissage hiérarchique adaptatif, prédit les flux de méthane globaux en capturant les dynamiques spécifiques aux sites via un encodeur-décodeur conditionné. Sur données de simulation et observationnelles, le modèle atteint nRMSE=0.43 (émissions) et R²=0.97, surpassant les baselines.
Étude de l'efficacité et l'efficience du tool-calling dans les agents LLM. Les auteurs montrent que les pipelines d'évaluation sont sensibles à des choix mineurs (seed, prompt système, templates multi-tours) affectant la fiabilité des classements. Ils identifient deux sources de gaspillage computationnel en RL et proposent deux techniques d'accélération sans dégradation de performance.
FoLoRA, un framework d'optimisation conscient de l'oubli, adapte les modèles de fondation via quotient de Rayleigh généralisé. Il équilibre performance sur tâche cible et préservation des capacités préentraînées en pénalisant les directions d'adaptation à faible utilité relative à l'oubli. Testé sur adaptation mathématique, code et suivi d'instructions.
Benchmark unifié Gait2Hip-60 comparant LSTM, Transformer et Mamba pour prédire les forces musculaires et moments articulaires de la hanche à partir de la cinématique de marche. Transformer surpasse les autres modèles (R²=0.819 pour les forces, R²=0.862 pour les moments). Validation externe sur 9 patients atteints de nécrose fémorale montre une généralisation modérée (R²=0.537-0.569).
Étude multi-modèles (Pythia-1.4B, Gemma-2, Qwen2.5-7B, Llama-3.1-8B) sur la représentation linéaire de la malhonnêteté synthétique. Des sondes linéaires détectent le mensonge avec AUC ≥0.99 dès les couches 1-3. Les représentations de malhonnêteté se consolident progressivement en couches profondes, avec implications pour la surveillance basée sur l'activation.
NumLeak mesure la mémorisation de benchmarks publics dans les LLM frontier. Les modèles rappellent les données Fama-French (r=0.97-0.99), chômage US et température NOAA avec haute fidélité. Sur données récentes non vues, le taux de parsing chute à 21-57% mais r reste ~0.99 pour les mois répondus. Une défense prompt-système bloque 99.8% des attaques.
LongDS-Bench évalue la capacité des agents IA à maintenir un contexte analytique sur des horizons longs. Le benchmark contient 68 tâches d'analyse de données multi-tours (2 225 tours) basées sur des notebooks Kaggle réels. Les meilleurs modèles atteignent seulement 48,45% de précision, avec une chute de 47 points entre les tours précoces et tardifs. Les erreurs long-horizon représentent 52-69% des échecs.
Étude formelle de la calibration pour le label ranking probabiliste. Les auteurs définissent une hiérarchie de notions (full rankings, sub-rankings, top-k) et montrent que les modèles populaires sont mal calibrés. Application aux reward models RLHF révèle que calibration et accuracy ne sont pas parfaitement corrélées.
Un nouveau métrique d'évaluation contrefactuelle (CSS) révèle que six modèles de frontier classés similairement sur des métriques traditionnelles se rangent dans l'ordre inverse selon leur capacité à adapter les recommandations cliniques face à des mutations de cas oncologiques. Tous les modèles échouent sur les changements de statut chirurgical, un défaut invisible aux métriques de couverture.
VeriGate étend GRPO en combinant récompenses de vérificateur et supervision au niveau des étapes. La méthode utilise un modèle de récompense de processus (PRM) pour assigner du crédit granulaire aux tokens, évitant l'effondrement du gradient quand toutes les trajectoires reçoivent la même récompense. Sur MATH avec Qwen2.5-Instruct (1.5B/7B), VeriGate améliore la précision de ~20% et ~12% respectivement.
DisjunctiveNet propose une méthode neuro-symbolique pour intégrer des contraintes logiques et linéaires mixtes directement dans les réseaux de neurones via des couches d'optimisation différentiables. Utilisant des relaxations convexes hiérarchiques, le framework garantit la satisfaction exacte des règles tout en maintenant la performance prédictive sur des données réelles.
Nouvelle méthode pour identifier si un dataset a servi à l'entraînement d'un modèle via ses corrélations sémantiques internes (SCDs). Approche white-box qui surpasse les baselines black-box (RMIA, LiRA) avec gains jusqu'à 60% en ROC-AUC sur classification NLI, émotions et textes médicaux.
Première attaque d'extraction de modèle pour les réseaux de neurones graphiques exploitant les interfaces d'explainabilité. La méthode utilise les masques d'explication binaires et l'estimation de sensibilité Monte Carlo pour contourner les contraintes black-box strictes. Code disponible.
Article théorique sur l'apprentissage transductif en ligne multiclasse avec espace de labels potentiellement non borné. Caractérisation de la learnability : deux taux optimaux possibles (borné ou logarithmique). Introduction de la structure LCLL tree et extension aux cas agnostique et stochastique.
GC-MoE est un framework mixture-of-experts graph-conditionné pour la prévision de trafic spatio-temporelle. Il assigne à chaque nœud une combinaison personnalisée d'experts GNN gelés basée sur la topologie du graphe et les données récentes. Entraîné sur PEMS04, PEMS07, METR-LA et PEMS-BAY, le modèle améliore MAE avec seulement ~17K paramètres entraînables sur 1.5M poids gelés.
Étude théorique sur l'expressivité des transformers avec padding. Les auteurs prouvent que les transformers avec padding polynomial et précision constante équivalent à AC⁰ uniforme, tandis que ceux avec précision croissante atteignent TC⁰. La profondeur et la précision numérique sont les facteurs clés ; la largeur n'augmente pas l'expressivité au-delà du logarithmique.
Étude des signatures stylistiques introduites par l'alignement des LLM. Les chercheurs montrent que le post-training crée un style détectable par les détecteurs IA. Ils proposent PASTA, une méthode sans entraînement qui localise et supprime cette signature lors du décodage, réduisant les taux de détection sur 11 modèles alignés.
Étude sur les effets long terme de la sélection de données lors du fine-tuning d'LLM sur plusieurs étapes. Les auteurs montrent que les stratégies optimales à court terme (loss-based, gradient-based, diversity-based) peuvent ralentir l'apprentissage futur et augmenter l'oubli catastrophique. Ils proposent LHAS (Long-Horizon Aware Selection) pour évaluer la sélection comme intervention d'entraînement globale.