DiScoFormer : un transformer unique pour densité et score, toutes distributions confondues

DiScoFormer est une architecture transformer développée par AllenAI qui unifie l'estimation de densité et de score au sein d'un même modèle, applicable à différentes distributions. L'approche vise à simplifier le pipeline d'apprentissage génératif en combinant ces deux objectifs dans un seul transformeur. Cette publication sur Hugging Face marque une contribution notable dans le domaine de la modélisation probabiliste avec des transformers.