L’examen lié à la PDT sera informatisé

Depuis plusieurs années, le Conseil médical du Canada (CMC) s’efforce de moderniser ses évaluations et ses opérations dans le but d’améliorer l’expérience du candidat, la qualité des examens et l’efficacité de l’administration des examens. L’un des plus récents de ces efforts est la transition de l’examen lié à la prise de décisions thérapeutiques (PDT) d’un test sur papier à un test informatisé qui sera opérationnel en octobre 2020.

L’examen lié à la PDT est une étape du processus de sélection pour l’admission aux programmes d’évaluation de la capacité à exercer (ECE). Il évalue les compétences des diplômés internationaux en médecine au niveau exigé d’un médecin de famille exerçant de façon autonome et sécuritaire au Canada. Le contenu comprend des scénarios axés sur les patients qui représentent des présentations cliniques communes ou importantes et des problèmes que les médecins de famille exerçant au Canada devraient être en mesure de gérer de façon compétente, et ce, au sein de diverses dimensions des soins médicaux, comme la prévention des maladies, les maladies aiguës et les maladies chroniques.

Une transition importante

À l’heure actuelle, le CMC élabore le contenu de l’examen sur papier, imprime les cahiers d’examen et les expédie aux programmes provinciaux d’ECE qui administrent ensuite l’examen eux-mêmes. Les livrets sont renvoyés au CMC pour être notés par des correcteurs médecins.

En octobre 2020, l’examen lié à la PDT sera offert électroniquement dans les centres d’examen de Prometric partout au Canada. À l’instar de l’autre évaluation informatisée du CMC, l’examen d’aptitude du Conseil médical du Canada (EACMC), partie I, l’examen lié à la PDT sera offert au moyen d’une plateforme de prestation d’examens appelée Surpass. Offrir l’examen de cette façon aidera à créer une expérience d’examen familière et uniforme, car les candidats à l’examen lié à la PDT auront déjà passé l’EACMC, partie I.

Un autre avantage important de cette initiative d’informatisation est le fait qu’elle crée de nouvelles possibilités de recherche et de développement. « Cela facilitera la réalisation de travaux de recherche pour éclairer l’élaboration et le fonctionnement des tests et, en fin de compte, améliorera l’efficacité du traitement ainsi que la qualité globale de cet outil d’évaluation », explique M^me Fang Tian, chercheuse-psychométricienne principale au Département de psychométrie et services docimologiques du CMC.

La recherche pour améliorer l’évaluation

Selon M. Qi Guo, chercheur-psychométricien et chercheur principal pour l’examen lié à la PDT, le département se concentrera sur trois principaux domaines de travail. Le premier est la notation automatisée, qui a déjà été élaborée pour l’EACMC, partie I, et qui s’est révélée exacte et efficace. La notation automatisée utilise le traitement du langage naturel pour attribuer une étiquette de corrigé à chaque réponse des candidats. Le deuxième domaine de recherche est la création automatisée de questions d’examen, qui utilise des algorithmes du traitement du langage naturel pour générer automatiquement du nouveau contenu d’examen pour les itérations futures de l’examen lié à la PDT, en fonction d’une structure de contenu établie par des experts en la matière. La création automatisée de questions d’examen aide à garder le contenu à jour pour les cohortes successives de candidats et à maintenir le répertoire de contenu des examens.

« J’aimerais préciser que cette automatisation ne permet pas de se débarrasser entièrement de l’être humain », fait remarquer M. Guo. « Il faut encore des personnes qualifiées pour noter et valider les éléments générés automatiquement. » Aussi impressionnante que soit cette technologie, les humains seront toujours impliqués à chaque étape du processus. L’automatisation permet simplement d’accélérer et de rationaliser les opérations.

Enfin, contrairement à l’examen sur papier, l’informatisation nous permettra de voir, par exemple, le temps qu’il faut aux candidats pour répondre à une question donnée. « Si une question prend à de nombreux candidats un temps exceptionnellement court, » explique M. Guo, « cela pourrait suggérer un problème. » Par ailleurs, si l’on constate qu’une question exige un temps de réponse exceptionnellement long, cela pourrait signifier que la question n’est pas claire et doit être réécrite. Après l’analyse, on peut signaler certaines questions dont le contenu doit être examiné. Bref, ce domaine de recherche vise à améliorer la sécurité des examens et la qualité de leur contenu.

Le fait d’éliminer le papier exige un grand effort, mais cette transition importante vers une administration informatisée de l’examen lié à la PDT se traduira par un niveau plus élevé d’efficacité, d’exactitude, de sécurité des examens et, en fin de compte, à une évaluation améliorée.