Agents transparents sur l'échec : un benchmark pour évaluer le reporting post-échec des LLM utilisant des outils

Le benchmark FTA teste 100 tâches à échec déterministe sur six modèles pour mesurer les faux rapports de succès après un échec d'outil. Avec une politique de référence, le taux de fausse réussite atteint 22,8 %, réduit à 9,3 % avec une instruction de transparence, et à 0,8 % avec un contrat d'évidence structuré. Les détails fabriqués chutent également, tandis que le taux de réponses utiles augmente jusqu'à 98,8 % avec cette dernière approche.