Le jugement comparatif comme réponse aux faiblesses du jugement absolu
Dans le contexte de l’évaluation, le jugement absolu se distingue du jugement comparatif (ou relatif).
Il est conçu pour atteindre un haut niveau d’objectivité :
Il évalue chaque individu de manière indépendante, en fonction de sa propre performance par rapport aux critères d’évaluation.
Il repose sur des critères d’évaluation :
Ceux-ci sont clairs et précis et établis à l’avance
Ils définissent les attentes et les exigences en lien avec des objectifs d’apprentissage
Il se réfère à des seuils de réussite définis pour déterminer si un individu a atteint ou dépassé les objectifs d’apprentissage.
Il y a trois erreurs typiques dues à la subjectivité des évaluateurs dans le cadre du jugement absolu, qui portent sur des réponses présentant une certaine complexité :
Malgré lui, un enseignant qui évalue peut se référer une norme personnelle différente.
La norme personnelle peut l’amener à noter plus sévèrement ou plus généreusement que certains de ses collègues.
Les évaluateurs ont besoin d’une formation considérable pour acquérir la norme appropriée et d’un nouvel étalonnage assez régulier pour le maintenir. Les normes des évaluateurs tendent à dériver avec le temps.
Deux enseignants peuvent attribuer la même note moyenne, mais avec un écart-type très différent.
Certains peuvent faire une distinction très marquée entre les productions, en étant plus généreux avec les meilleurs et plus sévère avec les plus faibles. D’autres peuvent faire l’inverse.
Un enseignant peut attribuer une valeur pondérale différente à certains aspects de la qualité globale. Il peut se retrouver avec un classement des élèves différent de ce que font certains de ses collègues.
Comme alternative au jugement absolu, le jugement comparatif consiste à évaluer une production en la comparant à d’autres productions. L’objectif est de déterminer la position relative de chaque production par rapport aux autres. Le seuil de réussite est déterminé ensuite au départ du classement.
Les deux premières erreurs liées au jugement absolu peuvent être évitées avec un jugement comparatif. Un évaluateur dont la norme globale est plus élevée, ou dont l’évaluation est plus fine, choisira toujours la meilleure parce qu’il utilise la même norme et la même discrimination pour les deux. En effet, les caractéristiques de l’évaluateur sont annulées par la conception de la collecte des données.
Seul le troisième type d’erreur lié au jugement absolu subsistera avec le jugement comparatif. Il reste possible que différents évaluateurs conçoivent différemment la qualité globale. Comme il n’y a pas lieu de s’inquiéter des deux premiers types d’erreurs, la formation des évaluateurs, de même que l’analyse sur le degré d’adéquation des évaluateurs peuvent être entièrement axées sur cette question. Si un évaluateur compare de façon complètement divergente des autres, il sera rapidement détecté par une analyse statistique.
La formation au jugement comparatif consiste généralement à comprendre les critères de rendement holistique. Elle doit permettre aux évaluateurs de mieux comprendre la qualité d’un échantillonnage étalonné de productions.