RECHERCHE
IdeaGene-Bench : évaluer le raisonnement sur la filiation des idées scientifiques
Un nouveau benchmark teste si les LLM comprennent comment les idées scientifiques héritent, mutent et évoluent à partir de travaux antérieurs.
arXiv cs.AI · cs.LG · cs.CL·Yifan Zhou, Qihao Yang, Yan Li, Donggang Li·9 juillet 2026
Image · Source originale
IdeaGene-Bench (IG-Bench) propose un cadre inspiré de la génomique pour représenter la filiation des idées scientifiques. Chaque publication est décomposée en objets « Idea Genome » typés, alignés via un système GenomeDiff modélisant héritage, mutation et insertion. Le benchmark couvre 1 961 traces de lignée, 1 085 objets et 920 paires GenomeDiff sur 10 domaines. Les meilleurs LLMs testés n'atteignent que 27,3 % sur les tâches de raisonnement compositionnel, révélant un déficit structurel.
Chaleur 35
Pertinence 72
Nouveauté 78