82

Background: Introduction of script concordance tests (SCT) in the graduating French national ranking examination, so-called ECNi, is discussed. SCT has never been used to evaluate medical genetics in graduate medical studies. Objective: Develop a medical genetics SCT and administer it to graduate students and residents in medical genetics. Determine the ability of SCT to discriminate the expertise of participants. Method: Creation of a specific SCT for medical genetics and administration of it to graduate students and residents in medical genetics. The ECNi-type test includes 3 clinical case scenarios and 12 isolated questions. Internal consistency was measured with Cronbach’s alpha. Construct validity was evaluated by comparing scores obtained by the different groups and measuring the correlation between the score obtained at the SCT and the students’ overall ranking at the ECNi. Results: A total of 18 experts and 129 students (105 graduate students and 24 residents in medical genetics) participated. Cronbach’s alpha was 0.67. The test was able to discriminate between mastery level in students. There was a correlation between the SCT scores and the ECNi ranking. Conclusion: This study focused on a standardized SCT available to evaluate medical genetics’ learning by graduate students. The SCT score is correlated with the results obtained in clinical case scenarios and with the ECNi ranking, indicating an excellent ability to assess clinical reasoning and discriminate students’ level.

Contexte : Dans les prochaines années, il est prévu d’introduire le test de concordance de script (TCS) dans le cadre des épreuves classantes nationales informatisées (ECNi). Le TCS n’a jamais été évalué pour l’enseignement de la génétique médicale du deuxième cycle. But : Élaborer un TCS pour les étudiants de deuxième cycle et évaluer ses qualités psychométriques. Déterminer les arguments docimologiques étayant la pertinence d’introduire le TCS aux ECNi. Méthode : Création d’un TCS spécifique à la discipline et administration aux étudiants de deuxième cycle et internes de génétique médicale. Administration d’une épreuve type ECNi comportant 3 dossiers progressifs (DP) et 12 questions isolées (QI) aux étudiants de deuxième cycle. Analyse du caractère discriminant du TCS par comparaison des scores obtenus par les différents groupes. Analyse de corrélation entre les scores aux TCS et DP, QI et rang de classement aux ECNi. Résultats : Les réponses de 18 experts et 129 étudiants ont été obtenues. Après optimisation, le TCS contient 15 vignettes cliniques et 34 items. Le coefficient alpha de Cronbach est de 0,67. Le test a pu discriminer le niveau des étudiants et il existe une corrélation entre les scores obtenus au TCS, aux DP, ainsi qu’avec le rang de classement aux ECNi. Conclusion : Cette étude montre la faisabilité d’un TCS standardisé pour évaluer l’enseignement de la génétique médicale, qui pourrait être aisément intégré aux ECNi. Il s’agit d’un exemple supplémentaire de la pertinence de ce type d’épreuve dans l’évaluation du raisonnement clinique des étudiants de médecine.