Validité et fiabilité d’une évaluation sommative
La question de la validité des inférences d’un test
Si nous considérons la question de la validité d’un test, nous nous fourvoyons. En effet, il n’existe pas de test valide. La validité est une propriété des inférences réalisées au départ des résultats d’un test.
Un test, selon la manière dont il est administré, soutiendra certaines inférences, mais pas d’autres. De plus, un test peut permettre de déduire des inférences valides pour certains élèves et invalides pour d’autres.
Dans la même logique, nous ne pouvons pas distinguer une évaluation formative d’une évaluation sommative. De nouveau, la nature formative ou sommative est une propriété des inférences, et non des évaluations elles-mêmes.
Il existe deux menaces principales à la validité :
La sous-représentation du construit : certaines évaluations ne nous fournissent pas d’informations suffisantes pour tirer les conclusions que nous voulons tirer, et elles n’abordent qu’une partie de la matière.
La variance non pertinente du construit : certaines évaluations mesurent des dimensions qui ne sont pas liées à ce que nous voulons savoir. Dès lors, les scores obtenus par les élèves varient pour des raisons qui ne sont pas pertinentes pour ce que nous voulons savoir.
Les enseignants peuvent avoir du mal à se mettre d’accord sur la pertinence d’une méthode d’évaluation particulière. Ils ne sont pas d’accord sur les concepts, c’est-à-dire sur ce qui doit être évalué.
La question de la fiabilité des inférences d’un test
La fiabilité d’une évaluation s’intéresse à la composante aléatoire de la variance non pertinente pour la construction, c’est le cas lorsque :
Les performances d’un élève varient d’une fois à l’autre
Le même travail est noté différemment par différents correcteurs (ou même par le même correcteur à différentes occasions)
La sélection particulière des questions incluses dans l’évaluation influence le score d’un élève.
Dans ces trois situations, il y a une variation aléatoire des scores qui n’est pas pertinente pour le construit en question.
Le temps consacré aux évaluations doit être significativement allongé si nous voulons avoir un impact significatif sur la fiabilité, ce qui prend du temps sur l’enseignement. Une fiabilité relativement faible peut être optimale, à condition de connaître la fiabilité d’une évaluation et, par conséquent, le poids à lui accorder.
Le coût d’opportunité d’une évaluation
Si nous considérons les questions liées à la validité et à la fiabilité d’une évaluation, toute évaluation implique des compromis.
Dès lors, le concept le plus important lié au passage d’une évaluation sommative est le coût d’opportunité. Le temps que nous passons à évaluer nos élèves est du temps que nous n’avons pas pour d’autres actions éducatives.
L’essentiel, en matière d’évaluation, est de savoir clairement pourquoi nous évaluons. Quelles conclusions voulons-nous en tirer ? Dans quelle mesure les preuves que nous obtenons soutiennent-elles les conclusions que nous souhaitons poser ?