Assurer la validité et la fiabilité des résultats d’examens

Les psychométriciens s’assurent que chaque examen du Conseil médical du Canada (CMC) « mesure vraiment ce qu’il doit mesurer »

Compiler toutes les données d’un examen et les décortiquer n’est pas un travail qui plairait à tout le monde, mais c’est une passion pour Maxim Morin – l’un des psychométriciens du département de psychométrie et services docimologiques du CMC. L’analyse de ces données nous permet d’évaluer la fiabilité et la validité des résultats d’examens.

Selon le dictionnaire, un psychométricien est une personne spécialisée dans les tests psychologiques. « Mais cette définition n’est pas tout à fait exacte », précise M. Morin. « Il s’agit de la mesure des attributs psychologiques, mais il y a deux volets – celui du domaine de l’éducation et celui du domaine de la psychologie. » Ayant une expertise reconnue en psychométrie pédagogique, le CMC emploie six psychométriciens.

Une vocation trouvée par hasard 

M. Morin était en voie d’obtenir un diplôme pour devenir professeur de physique lorsqu’il a accepté un emploi d’été dans le cadre duquel il a fait une revue de la littérature dans le domaine de l’évaluation pédagogique, et il est resté accroché.

M. Morin a ensuite terminé sa maîtrise et travaille actuellement à l’obtention d’un doctorat en évaluation pédagogique. « J’ai toujours aimé les mathématiques, en particulier la statistique appliquée, comme c’est très courant chez les psychométriciens », explique-t-il. « J’aime quelque chose d’un peu plus concret. » La programmation informatique est un autre intérêt qui est utile à M. Morin dans le cadre de son travail. Il travaille pour le CMC à distance de chez lui à Blainville, au Québec, depuis les trois dernières années.

Assurer la qualité et rassurer les personnes qui passent les examens 

La psychométrie aide le CMC à s’assurer qu’un examen « mesure vraiment ce qu’il doit mesurer », déclare M. Morin.

Lorsque nous songeons à un examen, par exemple l’examen d’aptitude du Conseil médical du Canada, partie I, nous affirmons qu’il vise à évaluer les compétences, les connaissances et les comportements des candidats qui commenceront une résidence. La psychométrie fournit des données pour étayer cette affirmation et assure aux candidats que les examens sont justes et que leurs résultats sont fiables et valides. »

M. Maxim Morin,
Psychométricien, Psychométrie et services docimologiques, CMC

Le CMC se préoccupe également de l’équité. « Disons que l’alarme incendie a été déclenchée dans le centre d’examen », explique M. Morin. « Le chronométrage de l’examen sera interrompu. Nous devons vérifier que la pause n’a pas eu d’incidence sur la note du candidat. »

Le CMC examine également la qualité globale de l’examen. Comme il existe de nombreuses versions d’une épreuve ayant des questions différentes, les psychométriciens comparent la difficulté des questions au sein de chaque examen afin de prendre les mesures nécessaires pour que les candidats voient des versions d’une épreuve qui soient comparables.

L’avenir

L’intérêt de M. Morin pour la programmation informatique a été particulièrement utile dans le cadre des efforts visant à automatiser bon nombre de processus exigeant beaucoup de main-d’œuvre en ce qui concerne les examens. L’assemblage des questions de 20 versions d’une épreuve est une étape qu’il aimerait automatiser « selon les mêmes principes et les mêmes outils utilisés par les compagnies aériennes afin que leurs avions puissent suivre la meilleure trajectoire ». M. Morin participe également au projet d’automatisation d’une grande partie de la correction des examens à l’aide de l’apprentissage automatique et du traitement du langage naturel (consultez La notation des examens à la fine pointe de la technologie).

L’objectif est d’améliorer continuellement les examens et de fournir rapidement les résultats aux candidats. « La psychométrie et le l’élaboration d’examens vont de pair », affirme M. Morin. « Je suis ici depuis presque trois ans, et je n’ai constaté aucun problème, mais beaucoup d’améliorations. »