RECHERCHE
STRIDE : attribution des données d'entraînement par récupération sparse
Un nouveau framework reformule l'attribution des données d'entraînement comme un problème de récupération sparse dans l'espace des activations, 13× plus rapide que l'état de l'art.
arXiv cs.AI · cs.LG · cs.CL·Rishit Dagli, Abir Harrasse, Luke Zhang, Florent Draye·3 juin 2026
Image · Source originale
STRIDE (Steering-based Training Data Influence Decomposition) propose une nouvelle approche de la Training Data Attribution (TDA) pour les LLM. Plutôt que d'approximer les changements dans l'espace des paramètres via les gradients, le framework modélise l'effet fonctionnel des données dans l'espace des activations. Il apprend des opérateurs de pilotage légers qui reproduisent les variations comportementales induites par des sous-ensembles de données d'entraînement, puis récupère l'influence individuelle de chaque exemple via décomposition linéaire sparse. La méthode atteint l'état de l'art sur le pré-entraînement LLM tout en étant 13 fois plus rapide que les approches précédentes.
Chaleur 2
Pertinence 72
Nouveauté 78