Hugging Face démontre le fine-tuning par RLHF d'un modèle 20B sur GPU consumer 24GB (RTX 4090). Utilise quantization et optimisations mémoire pour réduire les besoins de 780GB à 24GB. Code et benchmarks disponibles.
Hugging Face intègre ControlNet dans sa bibliothèque Diffusers, permettant un contrôle spatial précis des modèles de génération d'images. ControlNet ajoute des conditions (cartes de profondeur, poses, contours) pour guider la synthèse d'images sans réentraînement.
Hugging Face lance Swift Diffusers, une implémentation native de Stable Diffusion optimisée pour macOS. La bibliothèque exploite Metal Performance Shaders pour accélérer l'inférence sur GPU Apple Silicon, offrant une génération d'images rapide directement sur Mac sans dépendre de serveurs externes.
Hugging Face présente BLIP-2, un modèle de génération d'image-to-text sans entraînement supplémentaire. Le modèle combine un encodeur visuel avec un LLM pour décrire des images en langage naturel sans fine-tuning.
Hugging Face présente PEFT, une bibliothèque pour l'ajustement fin efficace en paramètres. Elle réduit drastiquement les ressources nécessaires pour adapter les grands modèles via LoRA, QLoRA et autres techniques sans retravailler tous les poids.
Hugging Face présente SpeechT5, un modèle unifié pour la synthèse vocale, la reconnaissance et d'autres tâches audio. Le modèle utilise une architecture encoder-decoder et démontre des performances compétitives sur plusieurs benchmarks vocaux.
Hugging Face lance AI vs. AI, une plateforme de compétition multi-agents basée sur le deep reinforcement learning. Le système permet aux modèles de s'affronter dans des environnements compétitifs pour évaluer et améliorer leurs capacités d'apprentissage par renforcement.
OpenAI lance ChatGPT Plus, un plan d'abonnement pilote pour son assistant conversationnel. Le service permet des conversations, réponses aux questions de suivi et correction d'hypothèses incorrectes.
Hugging Face présente une méthode LoRA (Low-Rank Adaptation) pour affiner efficacement Stable Diffusion. Cette approche réduit drastiquement les paramètres entraînables et la mémoire requise, permettant le fine-tuning sur du matériel standard.
Hugging Face annonce l'intégration d'Optimum avec ONNX Runtime pour accélérer l'entraînement des modèles. La solution réduit la latence et améliore le débit via l'optimisation des graphes de calcul et la quantification automatique.
Hugging Face présente Mask2Former et OneFormer, deux modèles pour la segmentation d'images universelle. Mask2Former améliore les performances sur les tâches de segmentation sémantique, d'instance et panoptique. OneFormer unifie ces trois tâches en un seul modèle entraînable.
CLIPSeg combine CLIP et segmentation pour segmenter des images sans entraînement préalable. Le modèle utilise des descriptions textuelles pour identifier et isoler des objets ou régions spécifiques dans les images, sans nécessiter d'annotations.
OpenAI présente Point-E, un système générant des nuages de points 3D à partir de descriptions textuelles complexes. Le modèle utilise un processus en deux étapes : génération d'image intermédiaire puis conversion en géométrie 3D. Point-E produit des résultats 60 fois plus rapides que les méthodes diffusion 3D existantes.
Habana Gaudi2 surpasse Nvidia A100 80GB en vitesse d'entraînement et d'inférence sur plusieurs modèles LLM. Benchmark comparatif montrant gains de performance sur Llama 2, Mistral et autres architectures.
Hugging Face publie un guide complet pour entraîner Stable Diffusion avec DreamBooth via la librairie Diffusers. La méthode permet de personnaliser le modèle sur des images spécifiques avec un fine-tuning efficace en ressources.
OpenAI rend l'API DALL·E disponible en bêta publique. Les développeurs peuvent dès maintenant construire des applications utilisant le modèle de génération d'images.
OpenAI publie une étude sur les lois d'échelle de la suroptimisation des modèles de récompense. Les chercheurs quantifient comment les performances se dégradent quand on optimise excessivement une fonction de récompense, avec implications pour l'entraînement par renforcement et l'alignement des modèles.
Stable Diffusion est maintenant disponible en JAX/Flax. Cette implémentation offre une meilleure performance et scalabilité pour l'inférence et l'entraînement sur TPU et GPU. Le code est open-source sur Hugging Face.
DALL·E est désormais accessible sans liste d'attente pour les nouveaux utilisateurs. OpenAI a amélioré ses systèmes de sécurité et appliqué les leçons tirées du déploiement progressif.
SetFit est une méthode d'apprentissage few-shot efficace qui ne nécessite pas de prompts. Elle utilise des embeddings de phrases et un fine-tuning léger pour adapter rapidement les modèles à de nouvelles tâches avec peu d'exemples.
OpenAI déploie l'outpainting pour DALL·E, permettant d'étendre les images générées au-delà de leurs dimensions initiales. Fonctionnalité disponible pour les utilisateurs de la plateforme.
Hugging Face présente Diffusers, une bibliothèque pour implémenter et utiliser des modèles de diffusion comme Stable Diffusion. L'outil simplifie l'accès aux modèles de génération d'images avec une API modulaire et des pipelines pré-configurés.
Hugging Face publie un guide sur la multiplication matricielle 8-bit pour les transformers à grande échelle, utilisant les bibliothèques transformers, accelerate et bitsandbytes. Technique de quantification réduisant la mémoire et accélérant l'inférence sans perte significative de précision.
Hugging Face présente Skops, une bibliothèque pour sauvegarder, charger et partager des modèles scikit-learn avec versioning et traçabilité. Intégration native avec le Hub Hugging Face pour faciliter la collaboration et la reproductibilité.
Hugging Face lance Private Hub, une plateforme permettant aux entreprises de construire des modèles ML en environnement privé et sécurisé. Offre accès aux modèles open-source, outils de fine-tuning et infrastructure dédiée sans exposition publique.
Nyströmformer approxime l'auto-attention en temps et mémoire linéaires via la méthode de Nyström. Cette technique réduit la complexité quadratique des transformers standards, permettant de traiter des séquences plus longues avec moins de ressources computationnelles.
OpenAI présente une méthode d'entraînement efficace pour les modèles de langage capables de compléter du texte au milieu d'une séquence. La technique réduit les coûts computationnels tout en maintenant les performances sur les tâches standard.
OpenAI publie un framework d'analyse des risques pour les LLM de synthèse de code. Le travail évalue les dangers potentiels des modèles générant du code, propose des méthodes d'évaluation et des mesures d'atténuation pour améliorer la sécurité.
DALL·E entre en bêta avec accès à 1 million utilisateurs de la liste d'attente. Les utilisateurs disposent de crédits gratuits mensuels renouvelables et peuvent acheter des crédits supplémentaires par tranches de 115 générations pour 15 $.
Hugging Face détaille l'infrastructure et les techniques utilisées pour entraîner BLOOM, un modèle de langage multilingue de 176B paramètres. Article technique couvrant l'optimisation distribuée, la gestion mémoire et les défis d'entraînement à grande échelle.
Hugging Face intègre DeepSpeed pour accélérer l'entraînement de grands modèles. La solution optimise la mémoire et la vitesse via le partitionnement de modèle, l'optimisation de gradient et la précision mixte.
Hugging Face lance une plateforme d'évaluation intégrée au Hub permettant de benchmarker les modèles directement. Les utilisateurs peuvent créer des évaluations personnalisées, comparer les performances et partager les résultats sans infrastructure externe.
Hugging Face Optimum permet de convertir les modèles Transformers en format ONNX pour optimiser les performances d'inférence. L'outil automatise la conversion et offre des options de quantification et d'optimisation pour déployer efficacement sur CPU et GPU.
Gradio 3.0 est lancé. La plateforme de création d'interfaces web pour modèles ML introduit une nouvelle architecture, des composants redessinés et des performances améliorées pour déployer rapidement des applications IA.
Hugging Face lève 100 millions de dollars pour accélérer le développement du machine learning open-source et collaboratif. Le financement soutient l'expansion de sa plateforme, ses modèles et ses outils d'infrastructure.
OpenAI présente une méthode de génération d'images conditionnées par texte utilisant les latents CLIP. L'approche hiérarchique améliore la qualité et la cohérence entre description textuelle et image générée.
OpenAI déploie de nouvelles versions de GPT-3 et Codex capables d'éditer ou d'insérer du contenu dans un texte existant, au-delà de la simple complétion.
Hugging Face intègre la recherche par faisceau contrainte dans Transformers pour guider la génération de texte selon des contraintes spécifiées. Cette technique améliore le contrôle sur les sorties du modèle en appliquant des règles pendant le décodage.
OpenAI a développé un prouveur de théorèmes neuronal pour Lean capable de résoudre des problèmes olympiades de mathématiques, incluant des épreuves AMC12, AIME et deux problèmes adaptés de l'IMO.
OpenAI lance un nouvel endpoint API pour les embeddings texte et code. Cet outil permet la recherche sémantique, le clustering, la modélisation de sujets et la classification.