14 articles
Hugging Face implémente le speculative decoding pour accélérer Whisper de 2x. La technique utilise un modèle léger pour générer des tokens candidats, validés par le modèle complet en parallèle, réduisant la latence sans perte de qualité.
2023 a marqué l'émergence des LLMs open-source comme alternative viable aux modèles propriétaires. Llama, Mistral et d'autres ont démocratisé l'accès aux grands modèles de langage, réduisant la dépendance envers OpenAI et Google.
OpenAI publie des recommandations pour gouverner les systèmes IA agentiques, couvrant la surveillance, les limites opérationnelles et les mécanismes de contrôle. Le document propose des cadres pour déployer des agents autonomes de manière sécurisée en production.
OpenAI lance 10 millions de dollars en subventions pour la recherche technique sur l'alignement et la sécurité des systèmes IA surhumains, couvrant la généralisation faible-à-forte, l'interprétabilité et la supervision à l'échelle.
Summer Health utilise GPT d'OpenAI pour améliorer la précision des notes de consultation pédiatrique. Le système automatise la documentation médicale lors des visites chez le pédiatre, réduisant les erreurs et le temps administratif.
OpenAI explore comment utiliser les propriétés de généralisation du deep learning pour contrôler des modèles forts avec des superviseurs faibles. Nouvelle direction de recherche pour la superalignment avec résultats initiaux prometteurs.
OpenAI et Axel Springer annoncent un partenariat pour intégrer le journalisme dans les technologies IA. Axel Springer devient le premier groupe éditorial mondial à conclure un accord de ce type avec OpenAI.
Hugging Face explique l'architecture Mixture of Experts (MoE) : un mécanisme où un routeur dirige les entrées vers des experts spécialisés plutôt que d'utiliser tous les paramètres. Réduit la latence et augmente la capacité du modèle sans surcharge computationnelle proportionnelle.
Mixtral, un modèle Mixture of Experts (MoE) state-of-the-art, est désormais disponible sur Hugging Face. Le modèle offre des performances supérieures avec une efficacité computationnelle améliorée grâce à son architecture d'experts spécialisés.
Hugging Face présente SetFitABSA, une méthode few-shot pour l'analyse de sentiment basée sur les aspects. SetFit permet d'entraîner des modèles efficaces avec peu d'exemples, sans ajustement des poids du modèle de base.
Hugging Face et AMD annoncent une intégration native pour accélérer les LLM sur GPU AMD. Les modèles tournent directement sans optimisation manuelle, avec support des architectures RDNA et CDNA.
Hugging Face et NVIDIA lancent Optimum-NVIDIA, une bibliothèque qui accélère l'inférence LLM via une seule ligne de code. Intégration native des optimisations NVIDIA (TensorRT-LLM, cuDNN) pour réduire latence et augmenter throughput sans modification du code utilisateur.
Hugging Face a optimisé l'inférence LoRA pour atteindre 300% de gain de vitesse. Les améliorations ciblent le démarrage à froid et réduisent la latence globale des adaptateurs de rang faible.
Hugging Face analyse en détail le benchmark DROP du Open LLM Leaderboard, qui évalue la compréhension de lecture et l'extraction d'informations. L'article examine les performances des modèles sur cette tâche spécifique et les défis qu'elle pose.