RECHERCHE · Pleias
Toxicité des Communs : Curation de données open-source
Une étude examine la toxicité présente dans les ensembles de données open-source utilisés pour le pré-entraînement.
Pleias (Hugging Face)·29 octobre 2024

Image · Source originale
Ce papier analyse les niveaux de toxicité dans les jeux de données de pré-entraînement open-source. Il propose des méthodes de curation pour réduire les contenus nocifs dans le 'Commons'.