SafeSteer : distillation on-policy localisée pour un alignement sécurité efficace

SafeSteer propose une distillation on-policy restreinte aux tokens de sécurité, identifiés comme intrinsèquement rares dans la distribution de sortie des LLM. Un modèle enseignant est construit par activation steering, puis un algorithme sélectionne les tokens concernés pour y confiner la pénalité KL inverse. La méthode atteint de bonnes performances sur sept benchmarks de sécurité avec une dégradation minimale sur cinq benchmarks généraux, en utilisant seulement 100 exemples nocifs — moins de 1 % des données requises par les approches précédentes.