Ce n'est pas ce que vous dites, c'est comment : évaluer la réponse des LLM aux expressions de croyance

Les chercheurs introduisent une typologie en 17 catégories, fondée sur quatre dimensions linguistiques, pour évaluer comment différentes formulations de croyances affectent le comportement des LLM. Testée sur 16 modèles (Llama3, Qwen3, Gemma3, de 1B à 30B paramètres), l'étude montre que les modèles plus grands et instruction-tunés suivent moins le contexte que les modèles plus petits ou de base. Certaines formulations persuadent systématiquement plus les modèles que d'autres.