onPanda : un outil d'annotation efficace pour l'alignement on-policy des LLM et agents

onPanda est un outil interactif d'annotation qui permet de corriger les réponses de LLM au niveau du token : l'annotateur localise le premier token inapproprié, le remplace ou le réécrit, puis le modèle poursuit la génération à partir du préfixe corrigé. Cette boucle localiser-corriger-continuer préserve la distribution du modèle et facilite la création de données SFT et de préférence on-policy. Les auteurs publient également Panda-CVL, un dataset annoté avec cet outil, ainsi qu'un benchmark associé.