SANE Schema-aware Natural-language Evaluation of Biological Data

En 3 lignesSANE propose un paradigme d'évaluation text-to-SQL spécifique aux domaines biologiques, utilisant des benchmarks générés automatiquement et ancrés aux schémas réels. Les tests montrent que les LLM en few-shot génèrent des requêtes SQL fiables sans fine-tuning, avec des erreurs principalement dues à des entrées ambiguës plutôt qu'à des défauts de génération.

Résumé généré par Claude — vérifié par l'humain