OpenAI publie une méthode d'entraînement par contraste pour générer des embeddings texte et code. La technique améliore la représentation sémantique des données pour les tâches de recherche et de similarité.
Gradio, plateforme open-source de création d'interfaces web pour modèles ML, rejoint Hugging Face. L'acquisition renforce l'écosystème de HF pour le déploiement et la démonstration de modèles IA.
OpenAI a affiné GPT-3 pour répondre avec plus de précision aux questions ouvertes en utilisant un navigateur web textuel. Cette approche améliore la fiabilité factuelle des modèles de langage.
Perceiver IO est un modèle entièrement attentionnel et scalable capable de traiter n'importe quelle modalité (texte, image, audio, vidéo). Il utilise une architecture basée sur l'attention pour unifier le traitement multimodal sans convolutions ni récurrence, permettant une généralisation efficace entre domaines.
Hugging Face détaille l'entraînement de CodeParrot, un modèle de code open-source. Processus complet : dataset de 20 Go de code Python, tokenizer personnalisé, architecture GPT-2, fine-tuning sur 100 GPU. Modèle et code source publiés.
Hugging Face lance Optimum, une boîte à outils pour optimiser les modèles Transformers à grande échelle. Elle intègre quantification, distillation et compilation pour réduire latence et consommation mémoire en production.
OpenAI publie TruthfulQA, un benchmark évaluant la capacité des modèles de langage à donner des réponses factuelles plutôt que de reproduire les idées fausses humaines courantes. Le dataset contient des questions piégées conçues pour tester si les modèles imitent les croyances erronées populaires.
OpenAI lance une version améliorée de Codex, son système de traduction du langage naturel en code, en bêta privée via son API.
Hugging Face lance Accelerate, une bibliothèque pour entraîner et inférer des modèles sur plusieurs GPUs/TPUs sans modifier le code. Compatible avec PyTorch, elle simplifie la distribution et l'optimisation des ressources.
BigBird introduit un mécanisme d'attention block-sparse qui réduit la complexité quadratique des transformers à linéaire. Cette approche combine attention locale, globale et aléatoire pour traiter des séquences jusqu'à 4096 tokens, améliorant l'efficacité sans sacrifier la performance.
OpenAI découvre dans CLIP des neurones multimodaux qui réagissent au même concept indépendamment de sa présentation (littérale, symbolique ou conceptuelle). Cette découverte explique la précision de CLIP dans la classification de rendus visuels inhabituels et progresse vers la compréhension des associations et biais appris par ces modèles.
OpenAI a porté ses clusters Kubernetes à 7 500 nœuds pour supporter l'entraînement de grands modèles (GPT-3, CLIP, DALL·E) et la recherche itérative. Infrastructure critique pour la scalabilité des modèles de langage.
Hugging Face intègre ZeRO (Zero Redundancy Optimizer) de DeepSpeed et FairScale pour réduire la mémoire GPU et accélérer l'entraînement des modèles. ZeRO partitionne états d'optimiseur, gradients et paramètres entre GPUs, permettant d'entraîner des modèles plus grands avec moins de ressources.
Hugging Face a optimisé l'inférence des transformers 100x pour ses clients API via des techniques de quantification, batching dynamique et cache KV. Les modèles comme Llama 2 et Mistral bénéficient d'accélérations mesurables en latence et throughput.
Hugging Face documente le portage du système de traduction WMT19 de fairseq vers la bibliothèque transformers. Migration technique d'une architecture de traduction automatique neuronale vers l'écosystème transformers, avec reproduction des résultats du benchmark WMT19.
OpenAI concède une licence de GPT-3 à Microsoft pour intégration dans ses produits et services.
OpenAI applique la modélisation de langage génératif à la preuve automatique de théorèmes. L'approche combine des modèles de langage avec des techniques de recherche pour résoudre des problèmes mathématiques formels, améliorant la capacité des systèmes IA à raisonner sur des énoncés logiques complexes.
OpenAI entraîne des modèles de langage à la synthèse de texte via apprentissage par renforcement à partir de retours humains (RLHF). La méthode améliore la qualité des résumés générés.
OpenAI montre qu'un transformer entraîné sur des séquences de pixels génère des complétions d'images cohérentes, similaire à la génération de texte. Le meilleur modèle génératif atteint des performances compétitives en classification d'images non supervisée.
OpenAI publie une analyse montrant que depuis 2012, la puissance de calcul requise pour entraîner un réseau de neurones à performance égale sur ImageNet diminue d'un facteur 2 tous les 16 mois. En 2024, il faut 44 fois moins de calcul qu'en 2012 pour atteindre le niveau d'AlexNet — bien plus que les 11x prédits par la loi de Moore. Les progrès algorithmiques surpassent l'efficacité matérielle classique.
OpenAI présente Jukebox, un réseau de neurones générant de la musique brute (audio) avec chant rudimentaire dans plusieurs genres et styles d'artistes. Le modèle, les poids et le code sont publiés avec un outil d'exploration.
OpenAI lance Microscope, une collection de visualisations de chaque couche et neurone significatif de huit modèles de vision. L'outil facilite l'analyse des features internes des réseaux de neurones pour progresser en interprétabilité.
Guide technique sur les méthodes de décodage pour la génération de texte avec Transformers : greedy search, beam search, sampling et variantes. Explique les trade-offs entre qualité, diversité et coût computationnel.
Hugging Face publie un guide complet pour entraîner un modèle de langage neuf avec les bibliothèques Transformers et Tokenizers. Le tutoriel couvre la préparation des données, la création d'un tokenizer personnalisé et l'entraînement du modèle sur un corpus custom.
OpenAI entraîne un agent IA via apprentissage par renforcement profond à grande échelle pour maîtriser Dota 2, jeu stratégique complexe. L'agent rivalise avec les meilleurs joueurs professionnels en utilisant des réseaux de neurones et des techniques d'optimisation avancées.
OpenAI démontre que la double descente (performance s'améliore, puis se dégrade, puis s'améliore à nouveau) survient dans les CNNs, ResNets et transformers avec l'augmentation de la taille du modèle, des données ou du temps d'entraînement. Le phénomène est universel mais mal compris.
OpenAI publie Procgen Benchmark, 16 environnements procéduralement générés pour mesurer la capacité d'apprentissage généralisable des agents de reinforcement learning.
OpenAI publie un benchmark pour évaluer l'exploration sûre en apprentissage par renforcement profond. L'étude mesure la capacité des agents à explorer efficacement tout en respectant des contraintes de sécurité, critère clé pour les applications réelles.
OpenAI publie Safety Gym, une suite d'environnements et d'outils pour mesurer les progrès des agents de reinforcement learning respectant les contraintes de sécurité pendant l'entraînement.
OpenAI publie la version 1.5B de GPT-2 avec code et poids du modèle, finalisant son plan de release progressif. L'objectif : tester un processus de publication responsable et fournir des outils de détection des outputs GPT-2.
OpenAI a entraîné deux réseaux de neurones pour résoudre un Rubik's Cube avec une main robotique humanoïde. L'apprentissage par renforcement en simulation utilise le code d'OpenAI Five et une nouvelle technique d'Automatic Domain Randomization (ADR). Le système gère des situations inédites en entraînement, comme être poussé par une girafe en peluche.
OpenAI observe l'émergence de stratégies complexes dans un environnement de cache-cache simulé. Les agents découvrent six stratégies et contre-stratégies distinctes par co-adaptation multi-agent, certaines non anticipées. Ce résultat suggère que l'interaction multi-agent pourrait générer des comportements extrêmement complexes.
OpenAI publie le modèle GPT-2 complet (774M paramètres) après une sortie progressive depuis février (124M, 355M). Accompagnement d'un accord légal open-source pour faciliter les partenariats de partage de modèles et d'un rapport technique sur les normes de publication.
Microsoft investit 1 milliard de dollars dans OpenAI pour soutenir le développement d'une AGI. Les deux entreprises s'associent pour construire une plateforme matérielle et logicielle sur Azure, avec Microsoft comme fournisseur cloud exclusif d'OpenAI.
OpenAI publie une recherche sur le transfert de robustesse adversariale entre différents types de perturbations. L'étude montre que les modèles entraînés contre un type d'attaque adversariale développent une robustesse partielle contre d'autres types, ouvrant des perspectives pour améliorer la défense des systèmes IA.
OpenAI présente MuseNet, un réseau de neurones profond générant des compositions musicales de 4 minutes avec 10 instruments. Le modèle combine styles variés (country, Mozart, Beatles) en apprenant sur des centaines de milliers de fichiers MIDI, utilisant l'architecture transformer de GPT-2.
OpenAI Five a remporté deux matchs consécutifs contre OG, champions du monde de Dota 2, lors des Finals. C'est la première IA à battre les champions mondiaux d'un jeu esports en direct, contrairement à AlphaStar (DeepMind) qui avait échoué en match public.
OpenAI crée OpenAI LP, une structure « profit plafonné » pour accélérer les investissements en calcul et talent tout en maintenant des garde-fous alignés sur sa mission.
OpenAI et Google présentent les activation atlases, une technique de visualisation des interactions neuronales dans les modèles IA. Cet outil aide à comprendre les processus décisionnels internes pour identifier les faiblesses et investiguer les défaillances dans les systèmes déployés.
OpenAI publie Neural MMO, un environnement de jeu massivement multi-agents pour l'apprentissage par renforcement. La plateforme supporte un grand nombre d'agents variables dans une tâche persistante et ouverte, favorisant l'exploration, la formation de niches divergentes et une meilleure compétence globale.