36

Context: The Objective Structured Clinical Examination (OSCE) will be used in the final National Ranking Examination (NRE) at the end of year 6 of medical studies in France. Aim: To report the 13-year experience of OSCEs in a French faculty of medicine and to assess the key features of its development and establishment. Methods: The organization and administration of the OSCEs are described. The mean scores and the mean clinical skills scores obtained, their fidelity (alpha coefficient) and the distribution of scores within each cohort (Kurtosis and Skewness coefficients) were analyzed. OSCE and NRE scores were compared for the 2018 and 2019 cohorts. Results: An OSCE (mean 7.4 stations) was administered consecutively between 2008 and 2020 to year groups of approximately 200 students (range: 145–236). The mean duration of the circuit was 68 minutes (range: 48–97). Mean fidelity coefficients ranged from 0.52 [IC5%: 0.41–0.58] to 0.73 [IC5%: 0,67–0,77] for station scores and from 0.65 [IC5%: 0.57–0.70] to 0.82 [IC5%: 0.78–0.85] for clinical skills scores. Mean Kurtosis and Skewness coefficients respectively ranged from 2.36 ± 0.5 to 5.56 ± 1.69 and to −0.10 ± 0.11 to −0.96 ± 0.22. Performance on OSCE was not correlated with NRE (Person and Spearman Coefficients). Conclusion: Implementation of the OSCE within our faculty as a validating second cycle end-of-cycle exam has proven to be sustainable. Despite statistical limits, it allows the classification of students and identification of students with difficulties in clinical practice. The key points are institutional support, designing of stations, relevant training for observers. Clinical skills training must be part of a more global reflection on the role of simulation in undergraduate medical studies in France.

Contexte : La réforme du second cycle des études médicales en France va introduire l’examen clinique objectif structuré (ECOS) au sein des épreuves nationales ouvrant l’accès au 3e cycle. But : Rapporter treize ans d’expérience d’ECOS d’une faculté française et en décrire les points clés de son développement et implantation. Méthodes : Les dispositifs de planification et d’administration des ECOS sont décrits. Les scores moyens obtenus à chaque session, aux habiletés cliniques, leur fidélité (coefficient alpha), la distribution des scores au sein de chaque cohorte (coefficients de Kurtosis, Skewness) sont rapportés. Les performances aux ECOS et aux épreuves classantes nationales (ECN) ont été comparées pour les cohortes 2018 et 2019. Résultats : Un ECOS (7,4 stations en moyenne) a été administré consécutivement de 2008 à 2020 à des promotions de 200 étudiants en moyenne (extrêmes : 145–236). La durée moyenne des circuits était de 68 minutes (extrêmes 48–97). Les indices de fidélité variaient de 0,52 [IC5% : 0,41–0,58] à 0,73 [IC5% : 0,67–0,77] pour les scores aux stations, et de 0,65 [IC5% : 0,57–0,70] à 0,82 [IC5% : 0,78–0,85] par habiletés cliniques. Les coefficients de Kurtosis et de Skewness variaient respectivement de 2,36 ± 0,5 à 5,56 ± 1,69 et de −0,10 ± 0,11 à −0,96 ± 0,22. Les performances aux ECOS n’étaient pas corrélées aux ECN (coefficients de Spearman et de Pearson). Conclusion : L’implantation de l’ECOS au sein de notre faculté comme examen validant de fin de second cycle s’est avérée pérenne. Malgré des limites docimologiques, il permet un classement et l’identification des étudiants en difficulté lors de la pratique clinique. Les points clés sont un soutien institutionnel, la rédaction des stations, la formation des observateurs. L’entraînement aux habiletés cliniques doit s’inscrire dans la réflexion plus globale sur la place de la simulation en formation initiale en France.