Fiabilité d’une évaluation
La notion de fiabilité
La fiabilité d’une évaluation est une estimation du degré auquel l’évaluation fournit des résultats consistants. Ainsi, une évaluation doit donner des résultats similaires, quels que soient le jour et les circonstances de sa passation. Une évaluation est fiable si elle produit des résultats similaires lorsqu’elle est administrée à plusieurs reprises dans des conditions similaires ou à des groupes de personnes comparables.
Une évaluation fiable est cohérente, stable et peu influencée par des facteurs externes :
Elle est cohérente :
Les résultats restent similaires sur une période donnée. Si une personne passe la même évaluation à plusieurs reprises, elle devrait obtenir des résultats similaires chaque fois, à condition qu’il n’y ait pas de changements significatifs dans ses compétences ou ses connaissances entre les passations.
Elle est stable :
Les résultats restent similaires dans différents contextes ou avec différents évaluateurs. Si plusieurs personnes évaluent le même travail ou la même performance, elles devraient arriver à des conclusions similaires si l’évaluation est fiable.
Les facteurs externes peuvent influencer la variance des résultats.
Liens entre variance et fiabilité
La fiabilité d’une évaluation est directement liée à la proportion de variance des scores observés qui doit être essentiellement attribuable à la variance réelle des scores. C’est la variance due aux différences réelles de compétence ou de connaissance des individus.
L’absence de fiabilité est liée à la proportion de variance due à l’erreur de mesure. C’est la variance due à des facteurs non pertinents qui sont aléatoires ou systémiques.
Cette variance non pertinente peut être systémique. Par exemple, nous pouvons imaginer un test d’arithmétique avec des énoncés écrits en français qui imposent de bonnes compétences en compréhension à la lecture. Lorsque le test est soumis à des lecteurs faibles et forts, il existe un élément de variance non pertinent pour les scores. Cette variance est systémique dans la mesure où elle est susceptible d’affecter tous les mauvais lecteurs de manière similaire. Cela pose un problème de fiabilité pour le test d’arithmétique.
Certaines sources de variance non pertinente peuvent être aléatoires :
Les élèves ont de bons et de mauvais jours, de sorte que les résultats d’un test à une occasion particulière peuvent ne pas être représentatifs de ceux que l’élève obtiendra à d’autres occasions.
Un correcteur peut accorder à un élève le bénéfice du doute sur une question particulière, alors qu’un autre ne le fera pas.
Les questions particulières incluses dans un test peuvent convenir mieux à certains élèves qu’à d’autres.
La fiabilité d’une évaluation est un élément fondamental pour assurer la validité des résultats obtenus.
La fiabilité fait partie de la validité. Si le résultat d’une évaluation n’est pas fiable, cette évaluation ne peut pas être valide. La fiabilité est une condition préalable à la validité.