La loterie des notes

Édité le 21 mars.

Bruno Suchaut a réalisé une étude pour l’Institut de recherche sur l’éducation (IREDU) qui a fait un peu de bruit (médiatique).

D’une part certains médias ont mis en avant une étude intitulée « La loterie des notes au bac » qui concluait que l’aléatoire des notes attribuées à une même copie (celles testées étaient des copies de SES) peuvent varier de 5 à 16 selon le correcteur.

D’autre part certains professeurs se sont sentis agressés, d’autant que le baccalauréat ES subit depuis quelques temps de nombreuses attaques.

Au survol de cette étude, que vous pouvez lire dans son intégralité ici,  il m’apparaît que, finalement, dans le domaine de recherche, elle ne fait que confirmer ce que tous ceux qui s’intéressent à tout petit peu au fonctionnement du système éducatif savent déjà : qu’un barème très précis soit mis en place ou non, les notes attribuées à une même copie peuvent varier énormément d’un correcteur à l’autre (et même – mais l’étude n’en parle pas, me semble-t-il – si l’on remet la copie plusieurs fois dans le paquet, selon si elle est placée après une bonne ou une mauvaise copie, elle peut, pour un même correcteur, obtenir des notes très différentes).

Malheureusement, les journalistes ne semblent pas en avoir conscience. Mais, par ailleurs, se permettre de conclure, comme le fait Bruno Suchaut, à partir de l’étude de quelques copies d’une matière unique, qu’il faut mettre en cause le baccalauréat ne peut nous (nous, c’est moi) empêcher de penser que, si l’étude est intéressante, elle n’en reste pas moins, probablement, un artefact (une construction) dont l’objet est de justifier a posteriori une idée reçue a priori.

Vous trouverez par ailleurs sur le site Econoclaste quelques réflexions sur les erreurs méthodologiques commises par B. Suchaut.

Si vous avez apprécié cet article, s'il vous plait, prenez le temps de laisser un commentaire ou de souscrire au flux afin de recevoir les futurs articles directement dans votre lecteur de flux.

Commentaires

Vous dites que je n’ai pu m’empêcher de voir une attaque contre la matière ? Pas du tout. Je ne vois pas d’où vous déduisez cela. Vous préjugez d’un réflexe corporatiste ou disciplinaire qui n’est pas. Au contraire, j’ai suggéré que dire que le bac était une loterie à partir d’une étude sur les SES était une erreur, notamment parce que la notation pouvait (je dis bien « pouvait », car j’aime bien avoir des preuves sérieuses) y être plus aléatoire que dans d’autres matières. Simple hypothèse, pas démonstration, mais qui suffit à montrer que défendre les SES n’est pas mon objectif.
Par ailleurs, je suis professeur d’économie et gestion et donc, à ce titre, fort peu préoccupé par les SES, en réalité.
Et même en tant que prof en général, le problème n’est pas celui d’une agression envers la corporation et son examen fétiche.
Ce qui me trouble, c’est qu’on fasse passer pour de la recherche empirique, ce qui n’en est pas, à grand renfort de buzz médiatique.
Le bac est un diplôme qui coûte beaucoup d’argent pour pas grand chose, mais ce n’est pas une raison d’employer des moyens aussi contestables pour le contester.
Quand vous dites que cette étude confirme des choses, franchement, je suis un peu atterré, venant d’un prof de maths, normalement détenteur d’une rigueur que j’envie parfois. Prenez un peu le temps de relire l’ensemble et vous verrez qu’il est un peu osé de parler de confirmation de quoi que ce soit, compte tenu du peu de sérieux de l’expérimentation. On le voit en lisant l’article, le peu de description du protocole expérimental frappe dès la seconde page. Le courrier reçu des enseignants dénonçant le détournement des données n’a fait que confirmer cette impression.

Je vais relire l’ensemble avec plus d’attention (comme je le dis, je n’ai fait que la survoler), ceci dit, il me semble que, si l’étude avait porté sur des copies d’une autre matière (par exemple sur des copies de maths), Eclonoclaste aurait été moins prompt la juger si sévèrement (ou : il me semble que la jugement sévère d’Econoclaste me semblait lié, peut-être à tord, au fait que l’étude portait sur des copies de SES). Ceci dit l’étude, qui, sur le fond, me semble sérieuse, me semble suspecte sur sa façon de généraliser mais ne mérite pas (autant) la vindicte.
Je ne mets pas en cause votre jugement, qui est probablement meilleur que le mien, je mets en avant mon sentiment ; une opprobre excessive de cette étude me paraît suspecte, la façon de généraliser de l’étude me semblant elle même sujette à caution.
Bien à vous (en toute humilité).

Avoir des sentiments sur la façon dont se fait l’évaluation, c’est le droit de chacun. Nous avons tous des préjugés, plus ou moins documentés.
Mais la différence entre le quidam et le chercheur, c’est que le chercheur doit avancer des éléments autres que la perception immédiate d’un phénomène. Ce n’est pas ce qui est fait ici.
Quant à savoir si on se serait occupé de ce texte s’il avait concerné une autre discipline, clairement oui. C’est d’abord plus le bac qui est en cause que les SES. Et l’IREDU est dans notre liste de lien depuis très longtemps, car ils y font de l’économie de l’éducation. On s’intéresse à l’économie, pas aux SES en particulier.
Maintenant, si vous avez lu mes commentaires concernant l’étude, vous devez tout de même avoir une première idée de ce qui est discutable chez Suchaut. Mais bon, après, pensez-en ce que vous voulez, mais merci de ne pas insinuer que les critiques seraient liées à l’objet de sa recherche plus qu’à son contenu. Encore une fois, je n’enseigne pas les SES. Donc, je ne me sens absolument pas concerné.

OK, je modifie le texte de l’article de façon à prendre en compte vos remarques.
Bien à vous.

Désolé, les commentaires sont clos pour le moment.