Apprentissage en contexte bayésien multi-tâches

Des chercheurs proposent un framework d'apprentissage en contexte multi-tâches pour l'inférence bayésienne prédictive amortie, représentant l'information a priori comme un préfixe de datasets en contexte. Un transformer entraîné sur des séquences de tâches apprend à adapter ses prédictions à diverses familles de priors, y compris hors distribution. La méthode égale les prédicteurs bayésiens oracle tout en étant plusieurs ordres de grandeur plus rapide, avec validation sur un benchmark réel de prévision spatiotemporelle de températures.