Aligner les tâches aux objectifs : stratégies de fine-tuning et prompt-tuning pour les modèles encodeur-décodeur

Cette étude introduit le cadre Match Task to Objective (MTO) pour les modèles de langage encodeur-décodeur, visant à aligner automatiquement les objectifs de pré-entraînement et de fine-tuning avec les exigences d'une tâche donnée. Appliqué à la génération de texte, la question-réponse et la récupération de connaissances de sens commun, MTO atteint des gains de performance supérieurs à 120 % par rapport aux méthodes conventionnelles en contexte few-shot. Le cadre inclut également des recommandations pour l'ingénierie de soft prompts.