MedSP1000 : un benchmark interactif pour évaluer les LLM en décision clinique dynamique

MedSP1000 est un benchmark interactif composé de 1 638 cas de patients standardisés et 24 602 rubriques évaluées par des pairs, conçu pour tester les agents cliniques en conditions dynamiques. Contrairement aux benchmarks statiques, il simule des interactions en boucle fermée entre un agent clinique, un agent patient et un contrôleur d'environnement. Les résultats révèlent que les performances sur benchmarks classiques ne se transfèrent pas : GPT-5.5, le meilleur modèle testé, ne complète que 60,4 % des critères experts, et augmenter le calcul à l'inférence n'améliore pas les scores.