Le Conseil médical du Canada

Développement d’initiatives

Développement d’initiatives

Les chercheurs du CMC développent régulièrement des méthodes de travail, des outils et des applications afin de rendre les procédures d’examens plus efficaces.

Création automatisée de questions d’examen

Le CMC travaille depuis un certain temps en collaboration avec les Drs Mark Gierl et Hollis Lai, de Alberta University, pour élaborer une méthode qui s’appuie sur les cartes cognitives afin de générer de façon plus efficiente le contenu des examens. C’est ce qu’on appelle la création automatisée de questions d’examen (CAQE).

Pourquoi la CAQE?

« Bon nombre d’évaluations des connaissances médicales, du premier cycle à la certification et à l’obtention du permis d’exercice, contiennent des questions à choix de réponse. Même si ces questions permettent efficacement de mesurer les connaissances et les compétences des candidats relativement à divers domaines de contenu, les créer prend beaucoup de temps et est dispendieux. Les changements liés à l’évaluation des étudiants découlant des nouveaux types d’évaluations sur ordinateur ont créé une demande pour de grands nombres de questions à choix de réponse. Nos approches actuelles d’élaboration de questions ne peuvent tout simplement pas répondre à cette demande. »

Source: Gierl, Mark J., Hollis Lai, Simon R. Turner. « Using automatic item generation to create multiple-choice test items ». Medical Education Journal. 2012; 46: 757–765.

En quoi consiste la CAQE?

La CAQE est un processus comptant trois étapes :

  1. Des experts en contenu (médecins) créent une carte cognitive qui définit les éléments de contenu nécessaires des questions d’examen.
  2. Ces experts élaborent ensuite des modèles de questions à l’aide des cartes cognitives. Les modèles de questions définissent la structure du contenu des questions d’examen.
  3. Enfin, on utilise une technologie informatique pour réunir de façon systématique les éléments de contenu pour générer de nouvelles questions d’examen.
Quel sera l’impact de la CAQE sur les comités d’épreuves?

Bientôt, il faudra créer beaucoup de nouveau contenu d’examen dans la base de données du CMC. La CAQE aidera les comités d’épreuves à générer plus de questions, plus rapidement. Les questions générées à l’aide du processus de CAQE seront approuvées par les comités d’épreuves.

Par conséquent, nous prévoyons que la CAQE modifiera la façon dont les comités d’épreuves font leur travail, puisqu’ils mettront davantage l’accent sur l’assurance de la qualité et un peu moins sur les activités traditionnelles d’élaboration de questions.

Le CMC envisage aussi de créer un comité d’épreuve de CAQE qui se spécialisera en cartographie cognitive, une compétence unique. Durant la phase du projet de recherche, des médecins ont accepté de s’initier à la cartographie cognitive et de la mettre à l’essai pour générer des questions d’examen.

Où en est la CAQE actuellement au CMC?

L’utilisation de la CAQE fait actuellement l’objet d’une évaluation au sein du CMC. On prévoit que tout sera transféré au personnel opérationnel du CMC en 2015. La CAQE pourrait devenir un complément utile au travail des comités d’épreuves en augmentant la production de nouvelles questions.

Les participants à la recherche ont dû assimiler beaucoup de nouvelles connaissances au début. Maintenant que les médecins qui se sont portés volontaires pour participer sont formés et ont une expérience en cartographie cognitive, ils considèrent pouvoir générer des centaines de questions à l’aide d’une seule carte cognitive.

Renseignements supplémentaires

Si vous voulez comprendre la recherche sous-jacente à la CAQE dans notre contexte, consultez le bref article suivant : « Assessment: Using automatic item generation to create multiple choice test items » (en anglais seulement).

Lire la suite
En voir moins

Agrégateur de notes

Le CMC a travaillé à l’élaboration d’un programme informatique pour automatiser le processus de notation des questions à réponse écrite liées à la prise de décisions cliniques (PDC). L’agrégateur de notes est une application informatique élaborée par le CMC pour rendre le processus de notation plus efficient. En regroupant les réponses aux questions à réponse écrite, l’application permet à nos évaluateurs de noter beaucoup de réponses à la fois et de voir facilement les aberrations. De plus, le fait de réunir les réponses de façon plus efficiente permet de noter les questions à l’aide de processus automatisés.

Pourquoi utiliser l’agrégateur de notes?

L’agrégateur de notes permet de simplifier énormément le processus de notation des questions d’examen à réponse écrite. Bon nombre de questions liées à la PDC exigent de courtes réponses écrites. Par exemple, prenons une cohorte de 500 candidats. À une question donnée, 400 d’entre eux répondent « infarctus du myocarde ». Dans le passé, les évaluateurs voyaient 400 fois la même réponse écrite. Avec l’agrégateur de notes, ils la voient maintenant une seule fois et peuvent noter 400 réponses d’un coup.

Quelles sont les limites?

L’agrégateur de notes ne permet pas de noter de façon plus efficiente les questions auxquelles il faut fournir une longue réponse écrite que notre méthode traditionnelle. Dans ces situations, les réponses seront notées une à la fois, puisqu’on ne peut pas facilement les réunir. Malgré tout, l’agrégateur de notes simplifie vraiment le processus de notation et réduit le temps qu’il faut pour noter ce type de questions à réponse écrite courte. En fait, le CMC prévoit que l’agrégateur de notes permettra de réduire de moitié le temps qu’il faut pour noter les questions liées à la PDC.

Où en sommes-nous avec l’agrégateur de notes?

On a presque terminé les activités de recherche, de développement et de mise à l’essai initiale de l’agrégateur de notes. Il a été utilisé avec succès pour la notation de questions à réponse écrite courte dans le cadre de l’EACMC, partie I de l’automne 2014.

Lire la suite
En voir moins