Comprendre la notion de jugement comparatif dans le cadre de l’évaluation
Le jugement comparatif et le jugement absolu sont deux manières distinctes d’évaluer :
Le jugement comparatif consiste à évaluer une réponse ou une production en la mettant en relation avec une autre production en fonction d’un critère prédéterminé. Il s’agit de déterminer quelle production est meilleure que l’autre.
Le jugement absolu consiste à évaluer une production en fonction de critères prédéterminés de manière à établir s’il y répond ou non. Dès lors, le jugement comparatif offre un moyen d’évaluer des productions écrites qui :
N’implique pas de poser des jugements absolus difficiles et subjectifs.
Réduit la dépendance à l’égard de critères d’évaluation descriptifs.
Au lieu de noter une production écrite à la fois, le jugement comparatif exige que l’enseignant observe une paire de productions écrites. Il juge ensuite laquelle est la meilleure des deux. Sa contribution se limite à poser un choix de ce type. C’est un logiciel qui lui soumet les copies à comparer, et traite globalement le classement à l’échelle de l’ensemble des copies. Un algorithme permet d’aboutir à un classement des copies de manière optimale et peut combiner les contributions de plusieurs évaluateurs.
Les déductions liées au jugement comparatif sont basées sur des critères spécifiques à la tâche et concernent la performance d’un élève par rapport à un autre élève. Cette démarche s’oppose à une comparaison avec une norme théorique comme c’est le cas avec le jugement absolu. Dans le jugement comparatif, la valeur d’une production est mesurée par rapport à d’autres productions équivalentes, une comparaison à la fois.
Le jugement comparatif que porte un évaluateur dans ce cas est un jugement holistique. Il porte sur la qualité globale de la production face à la question posée. L’enseignant n’est pas guidé par des critères descriptifs précis. Cette pose de jugement comparatif peut être complétée assez rapidement.
Un autre élément intéressant est que lorsque plusieurs évaluateurs sont amenés à collaborer lors du même processus de jugement comparatif. Cette dimension en augmente la validité. Chaque jugement rendu étant indépendant, davantage de données peuvent être collectées à tout moment, s’il est nécessaire d’augmenter la fiabilité statistique.
La méthode peut, dans des limites raisonnables, atteindre n’importe quel niveau de fiabilité requis en demandant simplement à un plus grand nombre d’évaluateurs de rendre davantage de jugements.
Si tout le processus est traité de manière informatique et statistique en continu, les comparaisons entre deux épreuves peuvent être ciblées. Il ne devient plus nécessaire que de faire un nombre réduit de comparaisons pour atteindre un niveau de fiabilité aussi élevé que lorsque le processus est purement aléatoire. En effet rapidement, l’enjeu se trouve dans la comparaison d’épreuves qui sont voisines dans le classement en cours de constitution. De cette manière, la stratégie du jugement comparatif adaptatif est ainsi susceptible d’offrir une fiabilité bien supérieure à celle du jugement absolu pour un coût comparable.
À la fin de la procédure de jugement comparatif, les différentes productions sont toutes classées, de la meilleure à la moins bonne.No More Marking est un exemple de mise en œuvre d’une telle approche.