Apprentissage de nombres pseudoaléatoires par des Transformers

Ce papier arXiv étudie la capacité des Transformers à apprendre et reproduire des générateurs de nombres pseudoaléatoires (PRNG). Les auteurs analysent dans quelle mesure ces modèles peuvent inférer la structure interne de générateurs déterministes à partir de séquences d'entraînement. Les résultats éclairent les limites et les capacités de mémorisation et de généralisation des architectures Transformer.