Au-delà du taux de succès : évaluer les agents de sécurité offensifs et défensifs selon leur coût

Les auteurs évaluent des agents de sécurité basés sur des LLM en tenant compte du coût d'inférence, sur des défis offensifs (Cybench) et défensifs (Splunk BOTS v1). Ils montrent que la performance offensive s'améliore avec davantage de calcul au moment du test, permettant à des modèles open-weight de rivaliser avec des systèmes propriétaires. En revanche, la performance défensive dépend surtout d'un usage discipliné des outils et de la télémétrie, pas seulement du budget de raisonnement.