Le reinforcement learning avec feedback métacognitif améliore l'expression de l'incertitude dans les LLMs

Des chercheurs proposent le reinforcement learning with metacognitive feedback (RLMF), un paradigme qui affine le classement des réponses lors de l'optimisation par préférences en s'appuyant sur la qualité des auto-évaluations du modèle. Couplé à une sélection de données métacognitive, cette approche cible la calibration fidèle (faithful calibration) : aligner la confiance exprimée avec l'incertitude intrinsèque du modèle. Les expériences montrent des résultats généralisables à l'état de l'art, y compris pour des LLMs frontier.