SentinelBench: A Benchmark for Long-Running Monitoring Agents

En 3 lignesSentinelBench est un benchmark open-source pour évaluer les agents IA sur des tâches de monitoring long terme (minutes à heures). Il contient 100 tâches dans 10 environnements web synthétiques (email, calendriers, finance, réseaux professionnels). Le benchmark mesure le temps de réaction, l'utilisation de ressources et la complétion de tâches, révélant le compromis entre réactivité et coût.

Résumé généré par Claude — vérifié par l'humain