Hugging Face intègre la prévision probabiliste de séries temporelles dans sa bibliothèque Transformers. La nouvelle fonctionnalité permet de générer des distributions de probabilité pour les prévisions, au-delà des simples points d'estimation. Support de modèles pré-entraînés et fine-tuning.
Hugging Face publie des démos ML interactives directement sur arXiv, permettant aux lecteurs de tester les modèles et résultats des papers sans quitter la plateforme. Intégration native des Spaces Hugging Face dans les articles scientifiques.
Hugging Face présente la recherche contrastive, une méthode de décodage pour les transformers qui génère du texte au niveau humain. La technique équilibre vraisemblance et diversité lexicale, améliorant la qualité par rapport au beam search et au sampling standard.
Hugging Face publie un guide pour affiner Whisper, le modèle de reconnaissance vocale d'OpenAI, sur des données multilingues avec la librairie Transformers. La méthode couvre le prétraitement audio, l'entraînement et l'évaluation sur plusieurs langues.
Hugging Face lance un outil d'évaluation pour mesurer les biais dans les modèles de langage. La plateforme Evaluate permet de tester systématiquement les biais de genre, de race et autres dans les LLM via des benchmarks standardisés.
Hugging Face introduit les DOI (Digital Object Identifier) pour les datasets et modèles sur sa plateforme. Les DOI permettent une citation académique standardisée et une traçabilité pérenne des ressources IA, facilitant la reproductibilité et l'intégrité scientifique.
Hugging Face démontre l'inférence ultra-rapide de BLOOM via DeepSpeed et Accelerate. Optimisations de quantification et parallélisation réduisent latence et mémoire. Benchmarks montrent gains significatifs sur GPU multi-nœuds.
Hugging Face Optimum intègre les Vision Transformers sur processeurs Graphcore. Le guide détaille l'optimisation des modèles de vision pour l'inférence sur IPU, avec benchmarks de performance et code reproductible.
OpenAI entraîne des modèles à générer des critiques détaillées sur les défauts de résumés. Les évaluateurs humains détectent significativement plus de flaws quand ils voient ces critiques IA. Les modèles plus grands excellent à l'auto-critique, avec une amélioration d'échelle supérieure pour la critique que pour la génération de résumés.
Hugging Face présente des optimisations d'inférence via Optimum et Transformers Pipelines, réduisant latence et consommation mémoire pour les modèles de langage en production.
OpenAI publie une agenda de recherche pour évaluer les impacts économiques des modèles de génération de code. L'étude examine comment ces outils affectent la productivité, l'emploi et les salaires des développeurs, sans conclusions définitives actuellement.
Stable-baselines3, une bibliothèque Python pour l'apprentissage par renforcement, intègre le Hugging Face Hub. Les modèles entraînés peuvent être partagés, versionnés et réutilisés directement via la plateforme.
Hugging Face Infinity permet d'atteindre une latence en millisecondes sur CPU moderne pour l'inférence de modèles. Étude de cas montrant l'optimisation des performances sans GPU.
Hugging Face publie un guide pour fine-tuner XLSR-Wav2Vec2, un modèle multilingue de reconnaissance vocale, sur des langues peu dotées en données. Utilise la librairie Transformers pour adapter le modèle pré-entraîné à des ressources limitées.
OpenAI a entraîné un système résolvant les problèmes mathématiques de primaire avec une précision quasi double de GPT-3 fine-tuné. Le système atteint 55% de réussite sur des tests où des enfants de 9-12 ans obtiennent 60%.
OpenAI démontre qu'un fine-tuning sur un petit dataset curé améliore le comportement des modèles de langage selon des valeurs spécifiques. Approche pragmatique pour aligner les modèles sans nécessiter d'énormes volumes de données.
Hugging Face publie un guide pour entraîner BART et T5 en distribué sur Amazon SageMaker. Utilise les Transformers HF avec optimisations multi-GPU/multi-nœud pour la summarization. Inclut code, benchmarks et bonnes pratiques.
Hugging Face intègre Ray Tune pour l'optimisation automatique des hyperparamètres dans la librairie Transformers. Cette intégration permet aux chercheurs et praticiens d'ajuster efficacement les paramètres d'entraînement (learning rate, batch size, etc.) via des algorithmes de recherche distribués.
OpenAI co-signe un rapport multi-parties prenantes (58 auteurs, 30 organisations) proposant 10 mécanismes pour améliorer la vérifiabilité des affirmations sur les systèmes IA. Ces outils permettent aux développeurs de prouver la sécurité, l'équité ou la préservation de la vie privée, et aux utilisateurs/décideurs d'évaluer les processus de développement.
OpenAI présente une méthode d'évaluation de la robustesse des classifieurs de réseaux de neurones face à des attaques adversariales non vues en entraînement. La métrique UAR (Unforeseen Attack Robustness) mesure la capacité d'un modèle unique à résister à des attaques inattendues et souligne l'importance d'évaluer la performance sur une gamme d'attaques diversifiées.
OpenAI publie des avancées sur l'entraînement stable et scalable des modèles basés sur l'énergie (EBMs). Ces modèles génèrent des échantillons compétitifs avec les GANs à basses températures tout en conservant les garanties de couverture modale des modèles basés sur la vraisemblance.
OpenAI publie un paper argumentant que la sécurité IA long-terme nécessite des chercheurs en sciences sociales pour assurer l'alignement avec les valeurs humaines. L'entreprise prévoit d'embaucher des scientifiques sociaux à temps plein.
OpenAI découvre que l'échelle du bruit de gradient prédit la parallélisabilité de l'entraînement des réseaux de neurones. Les tâches complexes ayant des gradients plus bruyants, des tailles de batch plus grandes deviendront utiles, levant une limite potentielle à la croissance des systèmes IA.
OpenAI développe un modèle basé sur les fonctions d'énergie capable d'apprendre des concepts spatiaux (près, au-dessus, entre, plus proche, plus loin) à partir de seulement cinq démonstrations. Le modèle transfère ces concepts entre domaines : concepts appris en 2D appliqués à des tâches robotiques 3D.
OpenAI propose une technique de sécurité IA où des agents débattent entre eux sur des sujets, un humain jugeant le vainqueur. Approche visant à améliorer l'alignement et l'interprétabilité des modèles via l'apprentissage par débat.
OpenAI publie Evolved Policy Gradients (EPG), une approche de méta-apprentissage qui évolue la fonction de perte des agents d'apprentissage. Les agents EPG généralisent à des tâches nouvelles non vues en entraînement, comme naviguer vers un objet placé d'un côté différent de la pièce.
OpenAI propose une méthode d'apprentissage interprétable où les IA s'enseignent mutuellement via des exemples compréhensibles pour les humains. L'approche sélectionne automatiquement les exemples les plus informatifs pour transmettre un concept, testée avec succès sur des tâches de classification visuelle.
OpenAI publie sept nouveaux problèmes de recherche non résolus identifiés lors de ses travaux internes. L'initiative vise à mobiliser la communauté scientifique autour de défis clés en IA.
OpenAI présente une méthode d'apprentissage de réseaux de neurones creux via régularisation L₀. La technique réduit le nombre de paramètres actifs sans sacrifier les performances, améliorant l'efficacité computationnelle et la généralisation des modèles.
OpenAI développe un algorithme d'apprentissage par renforcement hiérarchique qui apprend des actions haut niveau réutilisables. Appliqué à la navigation, l'agent découvre des primitives (marche, rampement) et résout rapidement des tâches nécessitant des milliers d'étapes.
OpenAI présente des techniques de robotique permettant aux contrôleurs de robots, entraînés entièrement en simulation, de s'adapter aux changements environnementaux non prévus lors du déploiement physique. Passage de systèmes en boucle ouverte à des systèmes en boucle fermée.
OpenAI publie une méthode d'apprentissage par renforcement asymétrique pour la robotique : un acteur léger s'exécute sur le robot tandis qu'un critique lourd s'entraîne hors ligne. Approche testée sur des tâches de manipulation d'objets.
OpenAI combine la randomisation de domaine et les modèles génératifs pour améliorer la préhension robotique. L'approche entraîne des modèles sur des données synthétiques variées, puis les transfère sur des robots réels sans ajustement supplémentaire.
OpenAI démontre que l'auto-jeu (self-play) permet aux IA de découvrir des compétences physiques complexes (tacle, esquive, feinte, tir, réception) sans conception explicite. L'environnement s'adapte automatiquement à la difficulté optimale. Résultats reproduits sur Dota 2.
OpenAI publie LOLA (Learning with Opponent-Learning Awareness), un algorithme qui modélise l'apprentissage d'autres agents et découvre des stratégies collaboratives comme le tit-for-tat dans le dilemme du prisonnier itéré.
OpenAI démontre que l'ajout de bruit adaptatif aux paramètres des algorithmes d'apprentissage par renforcement améliore régulièrement les performances. Cette méthode d'exploration est simple à implémenter et rarement dégradante.
OpenAI a créé des images adversariales robustes qui trompent les classifieurs de réseaux de neurones à différentes échelles et perspectives. Cela contredit une affirmation récente selon laquelle les voitures autonomes seraient difficiles à tromper en raison de leurs multiples angles de capture.
Noam Shazeer, chercheur clé du développement de Gemini chez Google, quitte l'entreprise pour rejoindre OpenAI. Ce départ marque un changement significatif dans la compétition entre les deux géants de l'IA.
Étude arXiv testant la capacité des LLM à interpréter la négation dans le langage figuré. Les chercheurs enrichissent un dataset existant et évaluent plusieurs modèles. Résultat : la combinaison négation + figuré pose un défi particulier, avec forte dépendance au style de prompt.
Intel publie la spécification x86 AI Compute Extensions (ACE), une extension d'instruction pour accélérer les workloads IA sur processeurs x86. Détails techniques et implémentation disponibles dans la documentation officielle.