CRUX est un nouveau projet d'évaluation pour mesurer les capacités des modèles IA frontière sur des tâches longues et complexes en environnement ouvert, au-delà des benchmarks traditionnels.
Un nouveau papier étudie la fiabilité des agents IA en quantifiant l'écart entre leurs capacités déclarées et leur performance réelle. L'étude propose des méthodes pour mesurer cette divergence et améliorer la robustesse des systèmes d'agents.
L'IA ne réduira pas automatiquement les coûts des services juridiques. L'article applique le cadre « IA comme technologie normale » au secteur légal, remettant en question l'hypothèse que l'automatisation IA entraînera systématiquement une baisse des prix.
Critique de la pertinence du paradoxe de Moravec, affirmation célèbre selon laquelle les tâches faciles pour les humains sont difficiles pour l'IA et vice-versa. L'article remet en question la validité et l'utilité de ce principe dans le contexte actuel.
Article positionnant l'IA comme technologie ordinaire plutôt que révolutionnaire. Remet en question le discours hype dominant et propose une perspective plus nuancée sur les capacités et limites réelles des systèmes actuels.
Article questionnant si l'IA pourrait ralentir la science en créant un paradoxe production-progrès : augmentation du volume de publications sans amélioration proportionnelle de la qualité ou de la compréhension scientifique réelle.
L'article conteste l'idée que l'AGI représente un seuil de capacité déclenchant des impacts soudains. Il remet en question le modèle de progression par étapes vers une intelligence générale.
Analyse des tendances récentes en IA pour évaluer si le progrès ralentit. Examine les affirmations technologiques actuelles et leur fondement empirique.
Analyse de 78 deepfakes électoraux : la désinformation politique ne provient pas principalement de l'IA. Les problèmes de manipulation électorale précèdent la technologie et ne peuvent être résolus par des solutions technologiques seules.
Un algorithme d'appariement pour les transplantations hépatiques au Royaume-Uni pourrait exclure systématiquement les patients plus jeunes. Des choix techniques apparemment mineurs peuvent avoir des conséquences vitales.
Un nouveau benchmark évalue la capacité de l'IA à automatiser la reproductibilité computationnelle en science. L'étude mesure l'impact des modèles d'IA sur l'amélioration des pratiques de reproduction des résultats scientifiques.
Les entreprises IA abandonnent la rhétorique de l'AGI pour se concentrer sur des produits concrets. L'article identifie cinq défis majeurs dans cette transition : monétisation, intégration utilisateur, coûts d'inférence, différenciation technique et conformité réglementaire.
Critique des estimations de probabilité de risque existentiel IA présentées comme quantifiées. L'article dénonce comment la spéculation est transformée en chiffres apparemment rigoureux pour influencer les politiques publiques, sans fondement empirique solide.
Un article critique sur l'évaluation des agents IA. Remet en question les méthodes actuelles de benchmarking et propose une réflexion sur ce qui constitue un agent IA pertinent.
L'article remet en question les mythes autour du scaling de l'IA, affirmant que la croissance des modèles atteindra ses limites. Le moment de cette saturation reste incertain.
Les scientifiques doivent traiter l'IA comme un outil, non comme un oracle infaillible. L'hype autour de l'IA conduit à des recherches défectueuses qui alimentent davantage de hype, créant un cycle vicieux.
Les classements IA traditionnels deviennent obsolètes face à la complexité coût-performance. L'article propose de remplacer les leaderboards par des courbes de Pareto pour évaluer les agents IA, illustrant comment $2,000 de dépenses révèlent les vrais compromis entre efficacité et ressources.