Les LLMs ont besoin de sommeil : auto-modification et consolidation mémoire

Des chercheurs proposent un cadre appelé « Sleep » pour doter les LLMs d'un apprentissage continu. Le processus comprend deux phases : la consolidation mémoire (distillation ascendante d'un modèle vers un réseau plus grand via RL et imitation) et le « Dreaming » (auto-amélioration par génération de données synthétiques sans supervision humaine). Les expériences valident l'approche sur des tâches de continual learning, d'incorporation de connaissances et de généralisation few-shot.