Établissement du seuil de réussite pour l’EACMC, partie II

Présentation d’un nouveau plan directeur

La première session de l’examen d’aptitude du Conseil médical du Canada (EACMC), partie II, basée sur le nouveau Plan directeur a eu lieu à la fin octobre 2018. Le nouveau Plan directeur a été élaboré à la suite d’une analyse approfondie des pratiques, de la contribution d’experts en la matière et de la consultation d’intervenants externes, et vise à s’assurer que les compétences essentielles, les connaissances, les aptitudes et les comportements sont évalués de façon appropriée.

À la suite de l’examen, un exercice complet et détaillé d’établissement du seuil de réussite a eu lieu en décembre 2018. « Il est préférable de revoir un standard tous les 3 à 5 ans ou lorsqu’il y a un changement à un examen », explique M^me Liane Patsula, directrice associée de Psychométrie et services docimologiques au Conseil médical du Canada (CMC).

Avec l’introduction du nouveau Plan directeur, nous mesurons maintenant quelque chose de différent. C’est pourquoi il est important de redéfinir le standard minimal de compétence pour l’accès à la pratique indépendante afin de s’assurer que des décisions équitables de réussite et d’échec sont prises en fonction des nouvelles attentes de l’examen. »

M^me Liane Patsula,
Directrice associée de Psychométrie et services docimologiques, CMC

Un exercice méticuleux

L’exercice d’établissement du seuil de réussite de l’EACMC, partie II  (rapport disponible en anglais seulement) est un processus rigoureux auquel participent un groupe de panélistes ainsi que des psychométriciens et du personnel du CMC. « Vingt médecins, un échantillon représentatif des médecins praticiens au Canada en ce qui a trait aux variables démographiques comme le sexe, la région géographique et la spécialité médicale, ont été choisis pour participer à l’exercice », déclare M^me Andrea Gotzmann, chercheuse‑psychométricienne principale au CMC. « L’exercice d’une durée de trois jours comprenait une demi-journée de formation sur le nouveau Plan directeur, la structure de l’examen, les méthodes choisies pour l’établissement du seuil de réussite, etc. » Après l’exercice et la collecte de toutes les données nécessaires, le CMC a pu présenter une note de passage recommandée au Comité central des examens (CCE).

Le CCE du CMC s’est réuni en janvier pour examiner et approuver la note de passage du nouvel examen et pour vérifier les résultats de la cohorte d’octobre 2018. Le CCE a reçu des renseignements détaillés décrivant les processus et les procédures de l’exercice d’établissement du seuil de réussite, ainsi que les répercussions sur les candidats en fonction de la note de passage recommandée par les panélistes. La note de passage de 138 sur une échelle allant de 50 à 250 a été approuvée à l’unanimité par les membres du CCE.

« Étant donné qu’il y a eu un changement important à notre Plan directeur, nous avons introduit une nouvelle échelle pour éviter la confusion entre notre examen basé sur l’ancien Plan directeur et le nouvel examen basé sur le nouveau Plan directeur. Nous n’encourageons pas la comparaison des notes entre les anciens et les nouveaux examens parce qu’ils mesurent différentes compétences », ajoute M^me Patsula. Toutefois, si des comparaisons sont nécessaires, nous encourageons les directeurs de programme à utiliser la moyenne de groupe et l’écart-type pour une session d’examen donnée (voir Comment votre note de l’EACMC, partie II, peut être utilisée pour évaluer le rendement relatif).

Un nouvel examen, une nouvelle direction

À la suite de l’exercice d’établissement du seuil de réussite, le CMC a également organisé des entrevues avec des panélistes pour obtenir leur opinion sur le nouveau Plan directeur et sur ce que le nouvel examen signifie pour les candidats, les organismes de réglementation et le public qui compte sur les évaluations du CMC. « Je pense que le nouveau Plan directeur est équitable pour les candidats, car il reflète davantage la réalité qu’ils vivront dans leurs cabinets, plutôt que de se concentrer sur les spécialités », déclare la D^re Céline Bouchard, professeure de clinique agrégée en obstétrique/gynécologie à l’Université Laval.

La D^re Achla Virmani, médecin de famille au département de médecine générale de l’Université McGill, ajoute : « Il était temps de faire la transition. Ayant participé à de nombreux examens du CMC par le passé, le présent Plan directeur est plus ciblé et met davantage l’accent sur l’évaluation des principales exigences auxquelles les diplômés doivent satisfaire. »

Lorsqu’on leur a posé des questions sur la rigueur du processus d’établissement du seuil de réussite, les panélistes avaient beaucoup à dire à ce sujet. « Je trouve très rassurant, en tant que médecin praticien, de savoir que la qualité et le standard sont très élevés en ce qui concerne l’établissement d’un processus d’examen valide », déclare le colonel J.G. Kile, Directeur de la politique médicale et des services cliniques pour les Forces armées canadiennes.

Quant à la D^re Wendey Proctor, médecin de famille à l’Hôpital Memorial West Lincoln, elle mentionne que « le processus est très rigoureux et fait un très bon travail pour s’assurer que l’intégrité de la profession est maintenue au Canada. Les Canadiens devraient se sentir très en sécurité avec les soins de santé qu’ils reçoivent selon les standards établis ici. »

Avec tous les changements apportés à l’EACMC, partie II, et l’exercice rigoureux d’établissement du seuil de réussite qui a eu lieu, le CMC assure l’excellence continue de l’évaluation des médecins et atteint les objectifs de son projet de Plan directeur.