Apprentissage par renforcement pour les systèmes multi-agents LLM via les traces d'orchestration

Ce papier propose un cadre d'analyse du reinforcement learning appliqué aux systèmes multi-agents basés sur des LLM, en s'appuyant sur des traces d'orchestration modélisées comme des graphes d'interaction temporels. Trois axes techniques sont identifiés : la conception des récompenses (8 familles), l'attribution du crédit (8 unités, du token à l'équipe), et les cinq sous-décisions d'orchestration (spawning, délégation, communication, agrégation, arrêt). Les auteurs constatent l'absence de méthode RL explicite pour la décision d'arrêt et documentent un écart entre pratiques industrielles (Kimi, OpenAI, Anthropic) et évaluations académiques ouvertes.