Établir le standard

Comment le CMC établit-il la note de passage d’un examen?

Lorsqu’un examen détermine l’avenir d’un professionnel, beaucoup de choses dépendent de la note nécessaire pour réussir l’examen. Celle-ci établit le standard pour les médecins au Canada. Comment détermine-t-on une note de passage? Qui prend cette décision?

« Il n’y a pas de bon ni de mauvais standard, il s’agit d’un jugement éclairé », selon M. André De Champlain, directeur de Psychométrie et services docimologiques du Conseil médical du Canada (CMC). Le CMC s’assure qu’on établit le standard au moyen d’un processus rigoureux qui utilise les pratiques exemplaires et les méthodes acceptées à l’échelle mondiale. « Une des choses que nous faisons régulièrement, c’est évaluer le niveau qui détermine la compétence et fournir aux ordres un standard que nous pouvons respecter. »

Les comités établissent le seuil de réussite

Le processus débute par le recrutement de comités de médecins de l’ensemble du Canada qui feront partie d’un exercice d’établissement du seuil de réussite. « Le CMC ne définit pas le seuil de réussite; le seuil de réussite est recommandé par des groupes », insiste M. De Champlain. De tels exercices sont effectués tous les trois à cinq ans, afin de tenir compte du rythme rapide avec lequel la médecine et l’enseignement médical évoluent », dit‑il. Des changements majeurs apportés aux examens peuvent aussi donner lieu à l’établissement du seuil de réussite.

Pour s’assurer que les groupes sont aussi représentatifs que possible, ils « sont équilibrés en fonction des régions, des années de pratique, des spécialités, du sexe, de la langue et du lieu de formation des médecins, soit au Canada ou à l’étranger », affirme M^me Andrea Gotzmann, chercheuse‑psychométricienne principale du CMC.

Pour tous les types d’examens, les experts sont divisés en deux groupes, qui effectuent l’exercice en même temps. Leurs notes de passage recommandées sont habituellement très proches, mais rarement exactement les mêmes. « Cela nous indique à quel point la note de passage s’appliquerait à d’autres groupes si nous répétions l’exercice avec un autre groupe de médecins », affirme M^me Gotzmann.

Méthodes de limite et des signets

Tous les experts commencent par une demi-journée de formation. Mais la méthode qui permet de déterminer la note de passage diffère selon l’examen. « La différence dans la méthode est attribuable aux différentes modalités des examens », explique M^me Gotzmann. Pour les examens axés sur la performance (l’examen clinique objectif structuré [ECOS] de la Collaboration nationale en matière d’évaluation et l’examen d’aptitude du Conseil médical du Canada [EACMC], partie II), le CMC utilise la méthode des « groupes de limite ». Pour les examens écrits (l’EACMC, partie I), il utilise la méthode des « signets ».

Dans la méthode de limite, les experts examinent, au moyen de vidéos des ECOS, les comportements et les attitudes des candidats qui caractérisent de bonnes et de mauvaises performances durant la formation et la présentation de chaque station. L’accent est mis sur les candidats qui « réussissent de justesse » et qui « se qualifient de justesse » et sur le comportement attendu de la part de tels candidats. Les experts évaluent de façon indépendante 50 feuilles de notation parmi toutes les stations des candidats réels; le personnel du CMC calcule une note de passage et discute de ses résultats avec le reste du groupe. Puis, tous répètent l’exercice, adaptant leurs résultats en fonction de la rétroaction et de l’analyse.

En ce qui concerne la méthode des signets, l’accent est mis sur le fait de décider à quels éléments un « médecin de compétence minimale » serait en mesure de répondre, dit M^me Cecilia Alves, chercheuse-psychométricienne du CMC. Après avoir fait un examen de pratique, chaque participant passe en revue un examen où les questions sont classées par ordre de difficulté. Il laisse un « signet » entre les questions auxquelles un candidat de compétence minimale répondrait probablement correctement (avec deux chances sur trois de répondre correctement) et entre celles auxquelles ils répondraient probablement de façon incorrecte. Tout comme pour la méthode des signets, les groupes discutent de leurs résultats, puis font un second tour.

Approbation

Pour les deux méthodes, les deux groupes recommandent des notes de passage. La moyenne des notes de passage entre les comités indépendants est examinée et approuvée par le comité de gouvernance de l’examen. « On fournit au comité de gouvernance tout ce que les comités ont fait », dit M. De Champlain, ainsi que des données sur le nombre de candidats qui réussiraient ou échoueraient si la note de passage était approuvée. Le comité analyse la recommandation, tâche qu’il prend au sérieux, puisque l’établissement du seuil de réussite est sa responsabilité. « Il approuve toujours un seuil de réussite qui a été établi au moyen d’un processus rigoureux. Il est extrêmement rare que le comité choisisse de ne pas adopter le seuil de réussite recommandé. »

À son avis, l’établissement d’un standard peut donner, aux patients comme aux candidats, confiance envers le processus. « Même si l’intention des examens du CMC est de protéger la sécurité du public, les candidats peuvent se réjouir du fait que nous utilisons un processus de qualité extrêmement élevé pour obtenir cette note et que nous faisons participer leurs professeurs, leurs pairs et leurs collègues. »

__________

Pour obtenir des renseignements détaillés sur les méthodes d’établissement du seuil de réussite, veuillez consulter les rapports techniques sur les exercices de l’EECMC, de l’EACMC, partie I, de l’EACMC, partie II et l’examen de la CNE.

D’autres articles comme celui-ci :

Un président quatre saisons