La fragilité des agents auto-améliorants : variance, ordre des tâches et sous-spécification

Les auteurs réévaluent deux méthodes d'agents auto-améliorants basés sur une mémoire textuelle, en ajoutant des runs multiples et un mélange aléatoire des tâches. Ils montrent que l'évaluation est très bruitée et que l'amélioration observée dépend fortement de l'ordre des tâches, souvent imposé implicitement dans les travaux précédents. La sous-spécification des tâches et environnements apparaît comme une cause majeure, partiellement corrigée par des rubriques détaillées et un feedback environnemental.