SAFETY
LACUNA : un banc d'essai pour évaluer la précision de localisation dans l'unlearning des LLM
Un nouveau benchmark révèle que les méthodes d'unlearning actuelles masquent les données sensibles sans les effacer vraiment des paramètres des modèles.
arXiv cs.AI · cs.LG · cs.CL·Matteo Boglioni, Thibault Rousset, Siva Reddy, Marius Mosbach·2 juillet 2026
Image · Source originale
LACUNA est le premier testbed d'unlearning disposant d'une vérité terrain au niveau des paramètres. Il injecte des données personnelles synthétiques dans des paramètres prédéfinis de modèles OLMo (1B et 7B) via un pretraining masqué continu, permettant d'évaluer si les méthodes d'unlearning ciblent effectivement les bons poids. Les résultats montrent que les méthodes SOTA, malgré de bonnes performances en sortie, restent imprécises et vulnérables aux attaques de résurgence. Une localisation précise suffit pourtant à rendre même un effacement basique robuste.
Chaleur 7
Pertinence 72
Nouveauté 78