Do Vision-Language-Models show human-like logical problem-solving capability in point and click puzzle games?

En 3 lignesVLATIM, un nouveau benchmark basé sur The Incredible Machine 2, évalue les capacités de raisonnement logique des Vision-Language Models dans des jeux de puzzle point-and-click. Les résultats montrent un écart significatif : les grands modèles propriétaires excellent en planification mais échouent en localisation visuelle précise, sans atteindre les capacités humaines.

Résumé généré par Claude — vérifié par l'humain