Hugging Face lève 100 millions de dollars pour accélérer le développement du machine learning open-source et collaboratif. Le financement soutient l'expansion de sa plateforme, ses modèles et ses outils d'infrastructure.
OpenAI présente une méthode de génération d'images conditionnées par texte utilisant les latents CLIP. L'approche hiérarchique améliore la qualité et la cohérence entre description textuelle et image générée.
OpenAI déploie de nouvelles versions de GPT-3 et Codex capables d'éditer ou d'insérer du contenu dans un texte existant, au-delà de la simple complétion.
Hugging Face intègre la recherche par faisceau contrainte dans Transformers pour guider la génération de texte selon des contraintes spécifiées. Cette technique améliore le contrôle sur les sorties du modèle en appliquant des règles pendant le décodage.
OpenAI a développé un prouveur de théorèmes neuronal pour Lean capable de résoudre des problèmes olympiades de mathématiques, incluant des épreuves AMC12, AIME et deux problèmes adaptés de l'IMO.
OpenAI lance un nouvel endpoint API pour les embeddings texte et code. Cet outil permet la recherche sémantique, le clustering, la modélisation de sujets et la classification.
OpenAI publie une méthode d'entraînement par contraste pour générer des embeddings texte et code. La technique améliore la représentation sémantique des données pour les tâches de recherche et de similarité.
Gradio, plateforme open-source de création d'interfaces web pour modèles ML, rejoint Hugging Face. L'acquisition renforce l'écosystème de HF pour le déploiement et la démonstration de modèles IA.
OpenAI a affiné GPT-3 pour répondre avec plus de précision aux questions ouvertes en utilisant un navigateur web textuel. Cette approche améliore la fiabilité factuelle des modèles de langage.
Perceiver IO est un modèle entièrement attentionnel et scalable capable de traiter n'importe quelle modalité (texte, image, audio, vidéo). Il utilise une architecture basée sur l'attention pour unifier le traitement multimodal sans convolutions ni récurrence, permettant une généralisation efficace entre domaines.
Hugging Face détaille l'entraînement de CodeParrot, un modèle de code open-source. Processus complet : dataset de 20 Go de code Python, tokenizer personnalisé, architecture GPT-2, fine-tuning sur 100 GPU. Modèle et code source publiés.
Hugging Face lance Optimum, une boîte à outils pour optimiser les modèles Transformers à grande échelle. Elle intègre quantification, distillation et compilation pour réduire latence et consommation mémoire en production.
OpenAI publie TruthfulQA, un benchmark évaluant la capacité des modèles de langage à donner des réponses factuelles plutôt que de reproduire les idées fausses humaines courantes. Le dataset contient des questions piégées conçues pour tester si les modèles imitent les croyances erronées populaires.
OpenAI lance une version améliorée de Codex, son système de traduction du langage naturel en code, en bêta privée via son API.
Hugging Face lance Accelerate, une bibliothèque pour entraîner et inférer des modèles sur plusieurs GPUs/TPUs sans modifier le code. Compatible avec PyTorch, elle simplifie la distribution et l'optimisation des ressources.
BigBird introduit un mécanisme d'attention block-sparse qui réduit la complexité quadratique des transformers à linéaire. Cette approche combine attention locale, globale et aléatoire pour traiter des séquences jusqu'à 4096 tokens, améliorant l'efficacité sans sacrifier la performance.
OpenAI découvre dans CLIP des neurones multimodaux qui réagissent au même concept indépendamment de sa présentation (littérale, symbolique ou conceptuelle). Cette découverte explique la précision de CLIP dans la classification de rendus visuels inhabituels et progresse vers la compréhension des associations et biais appris par ces modèles.
OpenAI a porté ses clusters Kubernetes à 7 500 nœuds pour supporter l'entraînement de grands modèles (GPT-3, CLIP, DALL·E) et la recherche itérative. Infrastructure critique pour la scalabilité des modèles de langage.
Hugging Face intègre ZeRO (Zero Redundancy Optimizer) de DeepSpeed et FairScale pour réduire la mémoire GPU et accélérer l'entraînement des modèles. ZeRO partitionne états d'optimiseur, gradients et paramètres entre GPUs, permettant d'entraîner des modèles plus grands avec moins de ressources.
Hugging Face a optimisé l'inférence des transformers 100x pour ses clients API via des techniques de quantification, batching dynamique et cache KV. Les modèles comme Llama 2 et Mistral bénéficient d'accélérations mesurables en latence et throughput.
Hugging Face documente le portage du système de traduction WMT19 de fairseq vers la bibliothèque transformers. Migration technique d'une architecture de traduction automatique neuronale vers l'écosystème transformers, avec reproduction des résultats du benchmark WMT19.
OpenAI concède une licence de GPT-3 à Microsoft pour intégration dans ses produits et services.
OpenAI applique la modélisation de langage génératif à la preuve automatique de théorèmes. L'approche combine des modèles de langage avec des techniques de recherche pour résoudre des problèmes mathématiques formels, améliorant la capacité des systèmes IA à raisonner sur des énoncés logiques complexes.
OpenAI entraîne des modèles de langage à la synthèse de texte via apprentissage par renforcement à partir de retours humains (RLHF). La méthode améliore la qualité des résumés générés.
OpenAI montre qu'un transformer entraîné sur des séquences de pixels génère des complétions d'images cohérentes, similaire à la génération de texte. Le meilleur modèle génératif atteint des performances compétitives en classification d'images non supervisée.
OpenAI publie une analyse montrant que depuis 2012, la puissance de calcul requise pour entraîner un réseau de neurones à performance égale sur ImageNet diminue d'un facteur 2 tous les 16 mois. En 2024, il faut 44 fois moins de calcul qu'en 2012 pour atteindre le niveau d'AlexNet — bien plus que les 11x prédits par la loi de Moore. Les progrès algorithmiques surpassent l'efficacité matérielle classique.
OpenAI présente Jukebox, un réseau de neurones générant de la musique brute (audio) avec chant rudimentaire dans plusieurs genres et styles d'artistes. Le modèle, les poids et le code sont publiés avec un outil d'exploration.
OpenAI lance Microscope, une collection de visualisations de chaque couche et neurone significatif de huit modèles de vision. L'outil facilite l'analyse des features internes des réseaux de neurones pour progresser en interprétabilité.
Guide technique sur les méthodes de décodage pour la génération de texte avec Transformers : greedy search, beam search, sampling et variantes. Explique les trade-offs entre qualité, diversité et coût computationnel.
Hugging Face publie un guide complet pour entraîner un modèle de langage neuf avec les bibliothèques Transformers et Tokenizers. Le tutoriel couvre la préparation des données, la création d'un tokenizer personnalisé et l'entraînement du modèle sur un corpus custom.
OpenAI entraîne un agent IA via apprentissage par renforcement profond à grande échelle pour maîtriser Dota 2, jeu stratégique complexe. L'agent rivalise avec les meilleurs joueurs professionnels en utilisant des réseaux de neurones et des techniques d'optimisation avancées.
OpenAI démontre que la double descente (performance s'améliore, puis se dégrade, puis s'améliore à nouveau) survient dans les CNNs, ResNets et transformers avec l'augmentation de la taille du modèle, des données ou du temps d'entraînement. Le phénomène est universel mais mal compris.
OpenAI publie Procgen Benchmark, 16 environnements procéduralement générés pour mesurer la capacité d'apprentissage généralisable des agents de reinforcement learning.
OpenAI publie Safety Gym, une suite d'environnements et d'outils pour mesurer les progrès des agents de reinforcement learning respectant les contraintes de sécurité pendant l'entraînement.
OpenAI publie un benchmark pour évaluer l'exploration sûre en apprentissage par renforcement profond. L'étude mesure la capacité des agents à explorer efficacement tout en respectant des contraintes de sécurité, critère clé pour les applications réelles.
OpenAI publie la version 1.5B de GPT-2 avec code et poids du modèle, finalisant son plan de release progressif. L'objectif : tester un processus de publication responsable et fournir des outils de détection des outputs GPT-2.
OpenAI a entraîné deux réseaux de neurones pour résoudre un Rubik's Cube avec une main robotique humanoïde. L'apprentissage par renforcement en simulation utilise le code d'OpenAI Five et une nouvelle technique d'Automatic Domain Randomization (ADR). Le système gère des situations inédites en entraînement, comme être poussé par une girafe en peluche.
OpenAI observe l'émergence de stratégies complexes dans un environnement de cache-cache simulé. Les agents découvrent six stratégies et contre-stratégies distinctes par co-adaptation multi-agent, certaines non anticipées. Ce résultat suggère que l'interaction multi-agent pourrait générer des comportements extrêmement complexes.
OpenAI publie le modèle GPT-2 complet (774M paramètres) après une sortie progressive depuis février (124M, 355M). Accompagnement d'un accord légal open-source pour faciliter les partenariats de partage de modèles et d'un rapport technique sur les normes de publication.
Microsoft investit 1 milliard de dollars dans OpenAI pour soutenir le développement d'une AGI. Les deux entreprises s'associent pour construire une plateforme matérielle et logicielle sur Azure, avec Microsoft comme fournisseur cloud exclusif d'OpenAI.