Forme, pas contenu ? Une évaluation préenregistrée avec placebo de l'auto-réparation chez les petits modèles de code

Les chercheurs introduisent PoPE, une méthodologie inspirée de Popper pour évaluer si les LLM de code (0,5-1,5B paramètres) exploitent réellement l'information d'erreur lors d'une tentative de correction, en comparant avec des placebos neutralisant le contenu. Les résultats via prompt et via fine-tuning d'adaptateurs ne montrent pas de supériorité attribuable au contenu de l'erreur par rapport aux placebos. L'étude conclut à une absence de preuve d'effet mécanistique du contenu d'erreur, sans pour autant établir d'équivalence.