PQR: A Framework to Generate Diverse and Realistic User Queries that Elicit QA Agent Failures

En 3 lignesPQR est un framework qui génère automatiquement des requêtes utilisateur réalistes pour identifier les défaillances des agents QA basés sur LLM. Via une boucle itérative entre raffinement de requêtes et raffinement de prompts, PQR découvre 23-78% plus de réponses non-utiles qu'avant, avec des requêtes plus diversifiées et réalistes.

Résumé généré par Claude — vérifié par l'humain