La notation des examens à la fine pointe de la technologie

Le « traitement du langage naturel » permet une notation rapide et précise

La technologie de pointe utilisée pour traduire des documents et clavarder avec des clients pourrait bientôt aider le Conseil médical du Canada (CMC) à corriger les réponses écrites des examens plus rapidement et de façon tout aussi précise que la notation humaine traditionnelle. Mais les candidats peuvent être assurés qu’ils ne seront pas seulement évalués « par une machine ». Des médecins continueront à s’assurer que les examens sont notés de façon juste et exacte et conformément à un protocole strict.

Le défi

Même si le processus de notation des réponses à choix multiples est facile à automatiser, les « questions à développement » ou « questions ouvertes » des examens sont habituellement notées selon un processus long et laborieux, a dit M. André De Champlain, directeur de psychométrie et services docimologiques du CMC.

Par exemple, les réponses à la composante de prise de décisions cliniques de l’examen d’aptitude du Conseil médical du Canada (EACMC), partie I, étaient généralement évaluées par environ 50 résidents travaillant pendant une période pouvant aller jusqu’à trois jours. « Cela prend du temps et peut coûter cher », a dit M. De Champlain.

Mais les coûts ne sont pas la seule préoccupation. Quand un si grand nombre de personnes participent au processus, il peut y avoir des variations dans la façon dont elles notent les réponses, malgré des grilles de corrections prédéterminées. Et, avec le changement qui consiste à offrir l’EACMC, partie I, plusieurs fois par année, au Canada et partout dans le monde, cette approche traditionnelle deviendra inadéquate.

La solution

Le CMC a déjà pris des mesures pour automatiser la notation des réponses écrites aux examens. Il a élaboré une application – appelée l’« agrégateur » – pour regrouper les réponses identiques parmi les centaines de feuilles de réponses, de sorte que les évaluateurs puissent simplement noter cette réponse une fois. « Cela a contribué à réduire le temps consacré à la tâche d’environ 35 %, a mentionné M. De Champlain. Mais, en fin de compte, nous voulons réduire la variabilité de l’équation autant que possible. »

La solution repose dans l’apprentissage automatique et le traitement du langage naturel, les technologies informatiques qui reconnaissent la langue écrite et parlée, selon M. De Champlain. Ces technologies sont maintenant largement utilisées pour la reconnaissance vocale, la traduction automatique par ordinateur et les « agents conversationnels » sur les sites Web. Mais on les étudie dans de nombreux pays pour des applications qui font l’objet de mises à l’essai. Cela comprend les domaines de la psychométrie – mesures psychologiques au moyen d’évaluations – et de la linguistique computationnelle – comment les ordinateurs traitent le langage. « Cette recherche se poursuit depuis un certain temps », a souligné M. De Champlain, donc le CMC est convaincu qu’il trouvera une approche fiable. Un expert en linguistique computationnelle de l’Université de Montréal est aussi consulté dans le cadre des efforts du CMC pour automatiser la notation des questions ouvertes.

À ce jour, le CMC a mis au point et à l’essai la nouvelle technologie. Il a décrit les résultats à ce jour comme étant « incroyablement positifs ».

Nous avons dans les faits noté plusieurs ensembles de questions à réponse écrite de la composante de prise de décisions cliniques parallèlement à la notation humaine. Les notes attribuées par les humains et la technologie correspondaient dans plus de 90 % des cas. »

M. André De Champlain,
Directeur de Psychométrie et services docimologiques, CMC

Une « validation de principe » sera présentée au comité central des examens en 2019 à des fins d’examen et d’approbation. Puis, la notation automatisée sera probablement réalisée parallèlement à la notation par les humains pendant environ un an, avant que le changement ne soit officialisé. On continuera de faire le suivi de la performance de la notation automatisée même après sa mise en œuvre, en vérifiant des notes d’examen au hasard et dans les cas où quelques points pourraient faire la différence entre une note de passage et un échec, selon M. De Champlain.

« Cette solution est fondée sur des données probantes. Nous ne déploierons pas d’instrument sans en avoir examiné tous les avantages et les inconvénients », a assuré M. De Champlain. « Je dirais aux candidats que nous optimisons également la façon dont nous faisons les choses, afin de pouvoir fournir l’examen de façon plus fréquente et flexible, à leur convenance. »