Microsoft investit 1 milliard de dollars dans OpenAI pour soutenir le développement d'une AGI. Les deux entreprises s'associent pour construire une plateforme matérielle et logicielle sur Azure, avec Microsoft comme fournisseur cloud exclusif d'OpenAI.
OpenAI publie une recherche sur le transfert de robustesse adversariale entre différents types de perturbations. L'étude montre que les modèles entraînés contre un type d'attaque adversariale développent une robustesse partielle contre d'autres types, ouvrant des perspectives pour améliorer la défense des systèmes IA.
OpenAI présente MuseNet, un réseau de neurones profond générant des compositions musicales de 4 minutes avec 10 instruments. Le modèle combine styles variés (country, Mozart, Beatles) en apprenant sur des centaines de milliers de fichiers MIDI, utilisant l'architecture transformer de GPT-2.
OpenAI Five a remporté deux matchs consécutifs contre OG, champions du monde de Dota 2, lors des Finals. C'est la première IA à battre les champions mondiaux d'un jeu esports en direct, contrairement à AlphaStar (DeepMind) qui avait échoué en match public.
OpenAI crée OpenAI LP, une structure « profit plafonné » pour accélérer les investissements en calcul et talent tout en maintenant des garde-fous alignés sur sa mission.
OpenAI et Google présentent les activation atlases, une technique de visualisation des interactions neuronales dans les modèles IA. Cet outil aide à comprendre les processus décisionnels internes pour identifier les faiblesses et investiguer les défaillances dans les systèmes déployés.
OpenAI publie Neural MMO, un environnement de jeu massivement multi-agents pour l'apprentissage par renforcement. La plateforme supporte un grand nombre d'agents variables dans une tâche persistante et ouverte, favorisant l'exploration, la formation de niches divergentes et une meilleure compétence globale.
OpenAI publie une recherche sur les limites computationnelles de la classification robuste face aux adversaires. L'étude démontre des trade-offs fondamentaux : améliorer la robustesse augmente les coûts de calcul, sans garantie de performance. Implications pour la sécurité des modèles IA.
OpenAI publie CoinRun, un environnement d'entraînement mesurant la capacité de généralisation des agents en RL. L'outil offre un équilibre entre simplicité et défi, plus simple que Sonic mais suffisant pour tester les algorithmes de pointe.
OpenAI publie Spinning Up in Deep RL, une ressource éducative gratuite pour apprendre le reinforcement learning profond. Le projet inclut des exemples de code, des exercices, de la documentation et des tutoriels.
OpenAI présente FFJORD, un modèle génératif réversible utilisant des dynamiques continues sans forme fixe pour l'apprentissage de distributions complexes. La méthode réduit la complexité computationnelle et améliore la scalabilité par rapport aux approches précédentes.
OpenAI publie une étude à grande échelle sur l'apprentissage guidé par la curiosité. Les résultats montrent que les modèles entraînés avec des mécanismes de curiosité intrinsèque développent des représentations plus robustes et généralisables, améliorant les performances sur des tâches en aval sans supervision supplémentaire.
OpenAI Five remporte un match best-of-three contre une équipe de joueurs Dota au 99.95e percentile (Blitz, Cap, Fogged, Merlini, MoonMeander) devant 100 000 spectateurs en direct.
OpenAI a entraîné une main robotique humanoïde à manipuler des objets physiques avec une dextérité sans précédent, utilisant l'apprentissage par renforcement et la simulation.
OpenAI présente Glow, un modèle génératif réversible utilisant des convolutions 1×1 inversibles. Le modèle génère des images haute résolution, supporte l'échantillonnage efficace et découvre des features manipulables. Code et outil de visualisation en ligne disponibles.
OpenAI Five, une équipe de cinq réseaux de neurones, a commencé à battre des équipes humaines amateurs au Dota 2.
OpenAI obtient des résultats état-de-l'art sur plusieurs tâches de langage avec un système scalable et agnostique aux tâches, combinant transformers et pré-entraînement non supervisé. L'approche valide l'efficacité du pré-entraînement non supervisé couplé à l'apprentissage supervisé.
OpenAI présente GamePad, un environnement d'apprentissage pour la preuve de théorèmes. L'outil permet aux modèles d'IA d'apprendre à résoudre des problèmes mathématiques complexes via l'interaction avec des systèmes formels.
OpenAI publie la version complète de Gym Retro, plateforme de recherche en apprentissage par renforcement. Le catalogue passe de ~100 jeux (Atari/Sega) à plus de 1 000 jeux. Outil d'ajout de nouveaux jeux inclus.
OpenAI publie une analyse montrant que depuis 2012, la puissance de calcul utilisée dans les plus grands entraînements IA double tous les 3,4 mois (vs 2 ans pour la loi de Moore). Cette métrique a augmenté de plus de 300 000x en 12 ans, confirmant que les améliorations en compute sont essentielles au progrès IA.
OpenAI publie une méthode de réduction de variance pour les algorithmes de gradient de politique utilisant des baselines factorisées dépendantes des actions. La technique améliore l'efficacité d'entraînement en réduisant la variance des estimateurs de gradient, applicable aux modèles de renforcement par apprentissage.
OpenAI présente Reptile, un algorithme de meta-learning scalable qui échantillonne des tâches, applique la descente de gradient stochastique et met à jour les paramètres initiaux. Mathématiquement similaire à MAML du premier ordre, il ne nécessite qu'un accès boîte noire à un optimiseur comme SGD ou Adam.
OpenAI publie un benchmark de robotique multi-objectifs pour l'apprentissage par renforcement. La plateforme propose des environnements complexes et appelle la communauté de recherche à développer des solutions généralisables pour des tâches robotiques variées.
OpenAI publie huit environnements robotiques simulés et une implémentation Hindsight Experience Replay pour la recherche. Ces outils ont permis d'entraîner des modèles fonctionnant sur robots physiques. OpenAI lance aussi un appel à contributions pour la recherche robotique.
OpenAI publie un paper co-écrit avec Future of Humanity Institute, CSER, CNAS et EFF sur les usages malveillants potentiels de l'IA et les mesures de prévention. Résultat d'un an de recherche collaborative.
OpenAI décrit son infrastructure Kubernetes supportant 2 500 nœuds pour l'entraînement de modèles IA à grande échelle. L'article détaille les défis d'orchestration, de networking et de gestion des ressources à cette échelle.
OpenAI publie des kernels GPU optimisés pour les réseaux de neurones à poids block-sparse. Ces kernels surpassent cuBLAS et cuSPARSE de plusieurs ordres de magnitude selon le taux de sparsité. Ils ont permis d'atteindre des résultats SOTA en analyse de sentiment et génération de texte/images.
OpenAI démontre le transfert sim-to-real de contrôle robotique via randomisation de dynamiques. Un robot entraîné en simulation avec variations de paramètres physiques (friction, masse, délais) réussit des tâches complexes sur du matériel réel sans ajustement supplémentaire.
OpenAI publie une recherche sur le calcul non-linéaire dans les réseaux linéaires profonds. L'étude explore comment des architectures linéaires peuvent effectuer des calculs complexes malgré l'absence de fonctions d'activation non-linéaires traditionnelles.
OpenAI publie deux implémentations Baselines : A2C (variante synchrone déterministe d'A3C) et ACKTR (algorithme RL plus efficace en échantillons que TRPO/A2C, coût computationnel similaire à A2C).
OpenAI démontre que l'auto-jeu (self-play) propulse les systèmes ML du niveau sous-humain au surhumain avec suffisamment de calcul. En un mois, le système est passé d'un niveau équivalent aux meilleurs joueurs à la domination des pros, avec amélioration continue. Contrairement au supervised learning limité par les données d'entraînement, l'auto-jeu génère automatiquement de meilleures données.
OpenAI publie RL-Teacher, une implémentation open-source pour entraîner des IA via retours humains occasionnels plutôt que des fonctions de récompense prédéfinies. La technique vise à développer des systèmes IA sûrs et s'applique aux problèmes de reinforcement learning où les récompenses sont difficiles à spécifier.
OpenAI publie PPO (Proximal Policy Optimization), une classe d'algorithmes de reinforcement learning plus simples à implémenter et tuner que les approches existantes, avec performances comparables ou supérieures. PPO est devenu l'algorithme RL par défaut chez OpenAI.
OpenAI publie une méthode d'apprentissage par renforcement appelée Hindsight Experience Replay (HER). Cette technique permet aux agents d'apprendre à partir d'expériences échouées en reformulant les objectifs rétrospectivement, améliorant significativement l'efficacité de l'entraînement sur des tâches complexes.
OpenAI open-source une bibliothèque Python haute performance pour la simulation robotique basée sur le moteur MuJoCo, fruit d'un an de recherche en robotique.
OpenAI et DeepMind développent un algorithme d'apprentissage par préférences humaines pour inférer les objectifs sans écrire explicitement de fonctions de récompense, réduisant les risques de comportements indésirables.
OpenAI publie Baselines, une suite d'implémentations open-source d'algorithmes de reinforcement learning. La première version inclut DQN et trois variantes, avec performance équivalente aux résultats publiés.
OpenAI a développé un système robotique entraîné entièrement en simulation et déployé sur un robot physique, capable d'apprendre une nouvelle tâche après l'avoir observée une seule fois.
OpenAI publie Roboschool, un logiciel open-source de simulation robotique intégré à OpenAI Gym pour l'entraînement d'agents de contrôle moteur.
OpenAI démontre l'équivalence mathématique entre les méthodes de policy gradients et le soft Q-learning en apprentissage par renforcement. Cette découverte théorique unifie deux approches majeures de l'RL et ouvre des perspectives pour combiner leurs avantages respectifs.