96

Context and background: The reform of the second cycle of French medical studies implies the implementation of new evaluation modalities, including the Objective Structured Clinical Examination (OSCE), a standardized tool for assessment of clinical performance in a simulated environment. The interpretation of these national OSCE scores will strongly impact the curriculum of future physicians. Objectives: Our study aims to demonstrate how the analysis of the validity of local OSCE score interpretation according to Kane’s framework can provide data to improve national OSCE. Methods: One hundred and seven 6th year students participated in a March 2020 OSCE session. The four inferences of Kane’s framework were applied to this exam to analyse the validity of the interpretation of the scores. In particular, OSCE scores, clerkship evaluations, and ranking in the computerised national ranking exam (ECNi) were collected and analyzed. Results: The validity of the interpretation of the OSCE scores appeared good overall. Some limitations were identified in the scoring and generalization inferences. There were no significant differences in scoring between raters. There were statistical correlations between OSCE scores and clerkship assessments, and between OSCE scores and ECNi ranking. Conclusion: Although the validity of the interpretation of the OSCE scores appeared to be good in the context of this study, our data suggest areas for improvement that will require particular attention for the setting up of high-stakes examinations such as national OSCE in France in the coming years. This study demonstrates how Kane’s framework can be used to highlight such areas for improvement of an assessment system.

Contexte et problématique : La réforme du second cycle des études médicales en France implique la mise en place de nouvelles modalités évaluatives parmi lesquelles des examens cliniques objectifs structurés (ECOS), outil standardisé d’évaluation de la performance clinique en environnement simulé. L’interprétation des scores issus de ces ECOS nationaux aura un impact majeur sur la formation des futurs médecins. Objectifs : Notre étude vise à montrer comment l’analyse de la validité de l’interprétation des scores d’un examen ECOS local selon le modèle de Kane peut fournir des données pour améliorer les ECOS nationaux. Méthodes : Cent sept étudiants en sixième année d’études ont participé en mars 2020 à une session d’ECOS. Les quatre inférences du modèle de Kane ont été appliquées à cet examen pour analyser la validité de l’interprétation des scores. Les scores obtenus aux ECOS, les évaluations de stage et le rang de classement aux épreuves classantes nationales informatisées (ECNi) ont notamment été colligés et analysés. Résultats : La validité de l’interprétation des scores des ECOS semblait globalement bonne. Quelques limites en termes de validité ont été identifiées dans les inférences de notation et de généralisation. Il n’y avait pas de différence significative de notation entre les évaluateurs. Il existait des corrélations statistiques significatives entre les scores aux ECOS et les évaluations en stage, ainsi qu’entre les scores aux ECOS et le rang de classement aux ECNi. Conclusion : Si la validité de l’interprétation des scores des ECOS semblait bonne dans le contexte de l’étude, nos données suggèrent des axes d’amélioration qui devront faire l’objet d’une attention particulière pour la mise en place d’examens à enjeu élevé tels que les ECOS nationaux en France dans les prochaines années. Cette étude illustre l’intérêt du modèle de Kane pour identifier de tels axes d’amélioration d’un dispositif d’évaluation des apprentissages.