Auto-apprentissage reconsidéré : la fragilité cachée des QA auto-générés

Lorsqu'un modèle génère ses propres paires question-réponse pour s'entraîner, ce processus n'est pas neutre : il sélectionne les passages saillants de façon biaisée et obéit aux instructions implicites présentes dans le texte source. Les auteurs montrent que des artefacts comme du balisage mal nettoyé peuvent détourner la génération de questions, et que les modèles se conforment à des passages injectés dans 88 % des cas. Deux correctifs simples — ancrer chaque question à un passage cible fixe et filtrer les spans instruction-like — réduisent ce taux à 13 % sans dégrader la qualité sur les textes propres.