Google lance PaliGemma, un modèle de vision-langage open-source basé sur Gemma 2B. Le modèle combine un encodeur d'images et un décodeur texte pour des tâches de compréhension visuelle multilingues. Poids disponibles sur Hugging Face.
Hugging Face lance Transformers Agents 2.0, une plateforme pour construire des agents IA autonomes. Le système permet aux modèles de prendre des décisions, d'utiliser des outils externes et de gérer des workflows complexes sans intervention humaine.
OpenAI publie une spécification formelle définissant le comportement attendu de ses modèles. Ce document établit les principes de sécurité, d'honnêteté et d'utilité guidant le développement et l'évaluation des modèles OpenAI.
Hugging Face publie StarCoder2-Instruct, un modèle de génération de code auto-aligné avec une transparence totale. Le modèle utilise une approche d'auto-alignement sans données propriétaires, avec tous les détails du processus documentés publiquement.
OpenAI annonce la disponibilité générale de GPT-4, GPT-3.5 Turbo, DALL·E et Whisper. Les anciens modèles de l'API Completions seront retirés début 2024.
Hugging Face lance un leaderboard dédié aux modèles utilisant le chain-of-thought (CoT) ouvert. Cet outil évalue et classe les performances des modèles sur des tâches de raisonnement complexe avec transparence des étapes intermédiaires.
Hugging Face lance un leaderboard open-source pour évaluer les LLM dans le domaine médical. La plateforme benchmark les modèles sur des tâches spécifiques au secteur santé, permettant de comparer performances et transparence des solutions IA médicales.
Meta lance Llama 3, un nouveau modèle de langage open-source. Le modèle est disponible en plusieurs tailles et démontre des performances compétitives sur les benchmarks standards.
Hugging Face active les inférences préservant la vie privée sur ses endpoints via le chiffrement homomorphe. Les modèles tournent sur des données chiffrées sans déchiffrement côté serveur, garantissant la confidentialité end-to-end.
Hugging Face lance LiveCodeBench, un leaderboard d'évaluation pour les LLM de code. Il propose une évaluation holistique et sans contamination de données, avec des benchmarks régulièrement mis à jour pour éviter l'overfitting des modèles sur les données de test.
OpenAI ouvre son premier bureau en Asie au Japon et lance un modèle GPT-4 personnalisé optimisé pour la langue japonaise.
Hugging Face intègre des milliers de modèles LLM open-source dans Google Vertex AI Model Garden. Les utilisateurs accèdent à des modèles Llama, Mistral, Qwen et autres via une interface unifiée avec support du fine-tuning et du déploiement.
Hugging Face lance l'inférence GPU sans serveur pour ses utilisateurs. Le service permet d'exécuter des modèles d'IA sans gérer l'infrastructure, avec facturation à l'usage. Disponible via l'API Inference et les Spaces.
Hugging Face présente une technique de quantification des embeddings en binaire et scalaire pour accélérer et réduire les coûts de la recherche vectorielle. La méthode compresse les représentations denses tout en maintenant la qualité de la récupération d'information.
GaLore réduit la mémoire GPU requise pour l'entraînement de grands modèles via une décomposition de gradient par projection. Permet d'entraîner des modèles 7B-70B sur hardware grand public (RTX 4090) avec gains de vitesse jusqu'à 65% comparé aux méthodes standard.
Hugging Face présente Cosmopedia, une méthode pour générer des données synthétiques à grande échelle destinées au pré-entraînement de LLM. Le dataset contient 30 milliards de tokens générés via Mixtral 8x7B, couvrant mathématiques, sciences et programmation. Les modèles entraînés sur ces données atteignent des performances comparables aux modèles pré-entraînés sur données naturelles.
Hugging Face lance Quanto, un backend de quantification PyTorch intégré à Optimum. Cet outil permet de réduire la taille des modèles et d'accélérer l'inférence via la quantification, compatible avec les modèles transformers populaires.
Hugging Face présente ConTextual, un benchmark pour évaluer la capacité des modèles multimodaux à raisonner conjointement sur texte et images dans des scènes riches en texte. Le benchmark mesure la compréhension fine des modèles face à du texte intégré dans les images.
Hugging Face lance TTS Arena, une plateforme de benchmark pour évaluer les modèles text-to-speech en conditions réelles. Les utilisateurs comparent les sorties audio de différents modèles TTS via des votes, créant un classement dynamique basé sur les préférences humaines.
Google lance Gemma, une nouvelle famille de modèles de langage open-source basée sur l'architecture de Gemini. Disponible en versions 2B et 7B, Gemma est optimisée pour l'efficacité et peut tourner sur du matériel grand public.
Hugging Face lance une API Messages compatible avec OpenAI pour ses modèles open-source. L'interface unifie l'accès à Claude, Llama, Mistral et autres LLMs via un endpoint standardisé, réduisant la friction de migration depuis OpenAI.
Hugging Face lance NPHardEval Leaderboard, un benchmark évaluant les capacités de raisonnement des LLM via des problèmes NP-difficiles et des mises à jour dynamiques. Le leaderboard classe les modèles selon leur performance sur des tâches de complexité croissante.
Hugging Face déploie Text Generation Inference (TGI) sur AWS Inferentia2. Cette intégration optimise l'inférence de modèles de langage sur le matériel spécialisé d'Amazon, réduisant latence et coûts pour les déploiements en production.
Hugging Face optimise StarCoder via Optimum Intel sur processeurs Xeon avec quantification Q8/Q4 et décodage spéculatif. Les techniques réduisent la latence et augmentent le débit d'inférence pour les modèles de génération de code.
Hugging Face lance un leaderboard ouvert pour mesurer les hallucinations dans les LLM. L'initiative propose une méthodologie standardisée d'évaluation et un classement public des modèles selon leur tendance à générer du contenu factuel inexact.
OpenAI lance de nouveaux modèles d'embedding et met à jour son API. Les modèles offrent une meilleure performance et des coûts réduits pour les applications de recherche vectorielle et RAG.
OpenAI lance le GPT Store, une plateforme permettant aux créateurs de partager et monétiser des GPTs personnalisés. Les utilisateurs ChatGPT Plus, Team et Enterprise peuvent accéder à des milliers de GPTs créés par la communauté, avec des revenus partagés entre OpenAI et les créateurs.
OpenAI lance ChatGPT Team, un plan dédié aux équipes offrant un espace de travail sécurisé et collaboratif pour utiliser ChatGPT en entreprise.
Hugging Face et Unsloth optimisent le fine-tuning des LLM pour le rendre 2x plus rapide. La collaboration intègre Unsloth dans TRL (Transformers Reinforcement Learning), réduisant la consommation mémoire et accélérant l'entraînement sans perte de qualité.
Hugging Face présente aMUSEd, un modèle de génération d'images texte-vers-image efficace basé sur l'architecture MUSE. Le modèle utilise un tokenizer d'images et un décodeur pour générer des images de qualité avec une latence réduite comparée aux diffusion models classiques.
Hugging Face implémente le speculative decoding pour accélérer Whisper de 2x. La technique utilise un modèle léger pour générer des tokens candidats, validés par le modèle complet en parallèle, réduisant la latence sans perte de qualité.
2023 a marqué l'émergence des LLMs open-source comme alternative viable aux modèles propriétaires. Llama, Mistral et d'autres ont démocratisé l'accès aux grands modèles de langage, réduisant la dépendance envers OpenAI et Google.
OpenAI lance 10 millions de dollars en subventions pour la recherche technique sur l'alignement et la sécurité des systèmes IA surhumains, couvrant la généralisation faible-à-forte, l'interprétabilité et la supervision à l'échelle.
Mixtral, un modèle Mixture of Experts (MoE) state-of-the-art, est désormais disponible sur Hugging Face. Le modèle offre des performances supérieures avec une efficacité computationnelle améliorée grâce à son architecture d'experts spécialisés.
Hugging Face et NVIDIA lancent Optimum-NVIDIA, une bibliothèque qui accélère l'inférence LLM via une seule ligne de code. Intégration native des optimisations NVIDIA (TensorRT-LLM, cuDNN) pour réduire latence et augmenter throughput sans modification du code utilisateur.
Hugging Face a optimisé l'inférence LoRA pour atteindre 300% de gain de vitesse. Les améliorations ciblent le démarrage à froid et réduisent la latence globale des adaptateurs de rang faible.
Sam Altman revient à la tête d'OpenAI en tant que PDG. Mira Murati devient CTO, Greg Brockman reprend son poste de président. Un nouveau conseil d'administration est constitué avec Bret Taylor comme président du conseil.
Hugging Face et AWS optimisent l'inférence Llama sur Inferentia2, réduisant la latence et augmentant le débit. Les benchmarks montrent des gains significatifs en vitesse de génération de tokens pour les modèles Llama 2 et Llama 3.
Hugging Face détaille N points techniques clés de l'entraînement RLHF avec PPO : architecture du modèle, hyperparamètres critiques, gestion de la mémoire et optimisations pratiques pour reproduire les résultats de modèles comme ChatGPT.
DALL·E 3 est désormais accessible aux utilisateurs ChatGPT Plus et Enterprise. OpenAI a déployé une pile de mesures de sécurité et partage des avancées en recherche de provenance.