Ishigaki-IDS-Bench: A Benchmark for Generating Information Delivery Specification from BIM Information Requirements

En 3 lignesIshigaki-IDS-Bench est un benchmark pour évaluer la génération de fichiers XML Information Delivery Specification (IDS) à partir de spécifications BIM. Sur 166 exemples expert-validés en anglais/japonais, les 10 meilleurs LLMs atteignent 65,6% F1 macro pour l'accord de contenu, mais seulement 27,7% passent l'audit de contenu IDS. Les modèles peinent à générer du XML conforme aux standards IDS et vocabulaire IFC.

Résumé généré par Claude — vérifié par l'humain