Limites à l’évaluation par un questionnaire à choix multiples (QCM)
Les questionnaires à choix multiples (QCM) paraissent permettre une évaluation objective :
Ils offrent une standardisation. Les élèves ont les mêmes questions, les mêmes consignes et les mêmes conditions de passation. La démarche a pour objectif de garantir l’objectivité de l’évaluation.
L’utilisation de questionnaires à choix multiples (QCM) permet de supprimer les aléas dans la correction. Les réponses attendues sont définies en amont, il ne peut pas y avoir de différence entre deux correcteurs ni entre deux corrections espacées dans le temps et réalisées par un même correcteur.
Les QCM soulèvent d’autres problématiques :
Dans l’étape de conception de QCM, aucun de ses choix n’est neutre.
La formulation de la question, les options de réponse et les réponses fausses faites pour induire en erreur peuvent poser des difficultés de validité. Si deux enseignants font passer le même questionnaire à leur classe, il est important que chaque question puisse être comprise pareillement par chaque classe, les deux enseignants doivent avoir utilisé un vocabulaire et un contenu communs.
Si la fidélité de correction est assurée, la validité des QCM n’en est pas assurée pour autant (Hadji, 1992). Pour concevoir des QCM satisfaisants de ce point de vue, il faudrait vérifier leur validité d’un point de vue didactique a priori (Grapin & Sayac, 2017). Cela demanderait de réaliser des prétests suivis d’analyses des réponses pour s’assurer de leur qualité psychométrique. Dans un contexte d’école, c’est impossible.
Les QCM sont plus ou moins adaptés en fonction de ce que l’on souhaite évaluer :
Les QCM ne peuvent concerner que des questions pour lesquelles il n’y a pas d’ambiguïté dans la réponse. Ils ne sont donc pas pertinents pour tous les objets d’évaluation. On ne peut utiliser un QCM si l’on attend que des élèves argumentent un point de vue (Leclerq, 1986).
Les QCM ne permettent pas d’évaluer la façon dont un élève aurait formulé une réponse, puisqu’il choisit seulement parmi des options déjà proposées. Toutefois, cela permet de se concentrer sur la vérification de connaissances en évitant que certains élèves soient justement pénalisés par leur expression écrite (Leclerq, 1986).
Les QCM peuvent aussi induire des comportements qui biaisent les résultats des élèves :
Un élève peut répondre correctement en sélectionnant une option de réponse au hasard (ce qui n’est pas le cas avec des questions ouvertes) (Leclerq, 1986). Les QCM à points négatifs visent à corriger ce risque.
Le fait que des options de réponses soient proposées peut mettre les élèves sur la piste et amener à un taux de réussite plus important que si les questions avaient été ouvertes. Autrement dit, il peut y avoir un risque de surestimer les connaissances ou compétences des élèves (Heck & Stout, 1998).
Le fait que des options de réponses soient proposées peut aussi transformer la nature de l’activité. En mathématiques, par exemple, on peut tenter de résoudre le problème (ou le calcul) qui est posé et sélectionner la réponse qui correspond au résultat que l’on obtient. On peut aussi tester les réponses proposées et sélectionner celle qui permet de valider la question.
Des études ont comparé les résultats d’élèves (ou le plus souvent, d’étudiants) à deux tests équivalents (l’un utilisant des QCM et l’autre utilisant des questions ouvertes, mais pour évaluer les mêmes choses). Elles n’arrivent pas à des conclusions identiques. Dans certains cas, les élèves « surperforment » avec les QCM, dans d’autres, les performances sont similaires.
La plupart des auteurs de ces études invitent à varier les modalités d’évaluation, considérant que les QCM ne peuvent pas constituer l’unique façon d’évaluer l’acquisition de connaissances ou la maitrise de compétences.
Certaines études attirent l’attention sur le risque pour les élèves de mémoriser de fausses réponses après y avoir été exposés dans des QCM. Cet effet pose question si l’on aborde l’évaluation dans la perspective de soutenir l’apprentissage des élèves (Leclerq, 1986). Dans ce cas, une correction collective et un retour d’information pris en compte par chaque élève sont importants.