Teach-and-Repeat: Accurately Extracting Operational Knowledge from Mobile Screen Demonstrations to Empower GUI Agents

En 3 lignesTeach VLM extrait la connaissance opérationnelle de démonstrations mobiles en analysant les transitions visuelles et génère des instructions en langage naturel. Le paradigme Teach-and-Repeat utilise cette connaissance pour guider des agents d'exécution GUI. Évaluation sur Android World montre des améliorations de Task Success Rate.

Résumé généré par Claude — vérifié par l'humain