PreAct-Bench: Benchmarking Predictive Monitoring in LLMs

En 3 lignesPreAct-Bench est un benchmark de 1 000 trajectoires d'actions éthiques/non-éthiques pour évaluer la capacité des LLM à prédire les comportements nuisibles avant qu'ils ne se produisent. Les résultats montrent que même les modèles forts peinent à cette tâche de monitoring prédictif, soulignant le besoin de raisonnement orienté vers l'avenir en matière de sécurité.

Résumé généré par Claude — vérifié par l'humain