2 articles
OpenAI publie un article fondateur sur les capacités few-shot des modèles de langage. Les LLMs peuvent accomplir des tâches avec peu d'exemples sans fine-tuning, révélant une capacité d'adaptation rapide émergente.
OpenAI publie une analyse montrant que depuis 2012, la puissance de calcul requise pour entraîner un réseau de neurones à performance égale sur ImageNet diminue d'un facteur 2 tous les 16 mois. En 2024, il faut 44 fois moins de calcul qu'en 2012 pour atteindre le niveau d'AlexNet — bien plus que les 11x prédits par la loi de Moore. Les progrès algorithmiques surpassent l'efficacité matérielle classique.