Introduction

2De 2018 à 2023, des évaluations nationales de français et de mathématiques en sixième, première année de collège (grade 6, élèves de 11-12 ans), ont lieu au mois de septembre, avec l’objectif officiel « de permettre aux équipes pédagogiques de disposer d’un panorama de certaines compétences et connaissances de chaque élève et de favoriser l’élaboration de dispositifs pédagogiques adaptés au plus près des besoins de chacun. [Cette évaluation] permet également d’accompagner le pilotage pédagogique dans les établissements » (DEPP, 2022a, p. 4). Le test est passé par tous les élèves de sixième des collèges publics et privés sous contrat avec l’État (le salaire des enseignants est pris en charge par l’État en échange d’un certain nombre d’engagements, dont le respect des programmes nationaux).

3La présente étude interroge la partie du test de français portant sur la compréhension d’un texte littéraire écrit, proposé aux élèves de sixième en septembre 2022. Nous nous appuyons sur l’ensemble des documents produits par la DEPP (sous la forme de publications en ligne sur le site du ministère de l’Éducation nationale). Notre questionnement porte sur les objectifs pouvant réellement être atteints par cette partie du test national, au regard des objectifs affichés, et sur l’intérêt pour les différents acteurs directement impliqués dans le test, à différents niveaux qu’il convient d’identifier. À partir de deux cadres théoriques de l’évaluation scolaire, nous proposons d’analyser les dix items de l’épreuve de compréhension d’un texte littéraire en fonction de leur pertinence, de leur efficacité et de leur utilité.

1. Notre cadre d’analyse du test

1.1. Place(s) de ces tests nationaux dans le paysage français

4Les tests nationaux standardisés se retrouvent dans de nombreux pays occidentaux. S’ils peuvent constituer des outils pour orienter les élèves en fin de cycle, comme au Luxembourg, ils visent la plupart du temps à soutenir le pilotage des systèmes scolaires ou des établissements, comme en Belgique, au Royaume-Uni ou en France. Apparus dans le paysage français à partir de 1989, au début du CE2 (grade 3, 8-9 ans) et de la sixième (grade 6, première année du collège), ces tests nationaux standardisés concernant l’ensemble des élèves ont été présentés comme des outils mis à disposition des enseignants pour repérer finement les difficultés de leurs élèves et y apporter rapidement une réponse. Des chercheurs ont mis en lumière les partis pris épistémologiques sur la compréhension en lecture et le choix des textes servant de support aux questions des évaluations de sixième (Vinson et al., 1991). Vingt ans plus tard, alors que le test était passé de sixième en CM2 (grade 5, 10-11 ans), nous avions montré que les tests de 2010 survalorisaient des modèles de compréhension techniques (poser des questions de repérage) au détriment des compétences d’interprétation, soulignant les limites de ce test (Mercier-Brunel, 2014). Dans les années 2000, à propos de PISA, Daniel Bain (2003) avait déjà souligné sur le plan didactique la contribution limitée de ces tests standardisés en matière d’apports diagnostics aux enseignants, bien que cette dimension soit revendiquée avec des items catégorisant les types d’erreurs des élèves. Au cours du temps, le discours ministériel a progressivement évolué vers une dimension plus certificative des tests en les déplaçant, à partir de 2007, au milieu ou à la fin de la dernière année du cycle d’enseignement. Ils étaient présentés comme des outils de mesure des acquis des élèves à des fins d’information et de pilotage davantage que comme des moyens pour lutter contre la difficulté scolaire (Menouar et Bart, 2014). La question de la communication locale des résultats de ces tests (auprès des parents notamment) a conduit à un sentiment de défiance des enseignants quant aux intentions de l’Institution, mal identifiées entre l’évaluation des acquis des élèves et évaluation de la compétence des enseignants (Normand et Derouet, 2011). Ce sentiment d’être jugés, voire mis en difficulté avait déjà conduit certains enseignants à investir la stratégie du « teaching to the test » (CNESCO, 2014), augmentant artificiellement les résultats par l’entrainement. Depuis la rentrée 2017, les évaluations nationales ont été replacées au début de la sixième. Mais le doute sur les intentions de l’État perdure, avec le sentiment d’un ministère voulant davantage prouver l’efficacité des mesures qu’il a mises en place que soutenir les actions pédagogiques des enseignants.

5Cette oscillation entre la période de passation du test et son affichage comme diagnostic interroge sur son but réel et la maitrise même du concept d’évaluation des apprentissages par les différents acteurs nationaux : ne s’agit-il pas de servir plusieurs objectifs difficilement compatibles ? En 2011, le Haut conseil de l’éducation (HCE) soulignait qu’il n’y avait pas de bonne méthode pour associer l’évaluation dont les enseignants avaient besoin pour faire progresser leurs élèves, à une évaluation à des fins de pilotage du système éducatif (HCE, 2011).

6En fait, l’intérêt pédagogique de ces tests pour les enseignants semble peu compatible avec une évaluation de l’apprentissage selon la réflexion scientifique (De Ketele, 2010 ; Mottier Lopez et Figari, 2012). Deux points doivent sans doute être éclaircis pour des tests de compréhension d’un texte littéraire.

7Premièrement, sur le plan didactique, certaines représentations de la compréhension en lecture de textes littéraires, qui sous-tendent le test, la réduisent à la capacité de répondre à des questions de repérage d’informations. Or, cela correspond aux pratiques ordinaires d’enseignants du primaire (Mercier-Brunel et Bichi, 2016) qui ignorent la complexité (Goigoux, 2018) et la multimodalité (Similowski et al., 2018) de l’apprentissage de la compréhension des textes écrits. Le repérage d’informations explicites via des questions techniques (quoi ? qui ? où ? comment ? pourquoi ?), s’il peut constituer un préalable pour connecter des informations (Bianco, 2016), ne peut suffire à évaluer des compétences de compréhension d’un texte (Mercier-Brunel, 2017).

8Deuxièmement, puisque ce test affiche en 2022 l’objectif de « favoriser l’élaboration de dispositifs pédagogiques adaptés au plus près des besoins de chacun » (DEPP, 2022a), en quoi les items sont-ils en mesure de fournir aux enseignants des éléments suffisamment précis sur la nature des stratégies de compréhension des élèves et des pistes de régulation ?

9En fait, le test est-il en mesure de dépasser le chiffrage des élèves suivant des catégories hiérarchisées de niveaux ? (dont l’enjeu, alors que le gouvernement français souhaite désormais mettre en place des groupes de niveaux dans les collèges, devient central). Cette évaluation peut-elle servir deux types d’acteurs : les chargés du pilotage et les enseignants ? Le cherche-t-elle réellement ?

1.2. Quelle culture de l’évaluation ?

10Les travaux scientifiques sur l’évaluation de l’apprentissage et la didactique entretiennent des relations complexes (Bart, 2023). Si la didactique a vocation à intégrer la question de l’évaluation, nous assumons avec d’autres chercheurs (Mottier Lopez et Girardet, 2022) que les sciences de l’éducation ont également un discours à porter sur la qualité de l’évaluation proposée qui, sans ignorer les spécificités du savoir en jeu, est susceptible d’intégrer de multiples autres éléments.

11Ainsi, depuis près de vingt ans, la recherche francophone en sciences de l’éducation sur l’évaluation de l’apprentissage est influencée par des travaux anglo-saxons sur l’assessment for learning, que l’on peut traduire avec Dany Laveault (2012) par évaluation-soutien de l’apprentissage (EsA). Loin de la tendance d’un grand nombre de pays, dont la France, à évaluer systématiquement par des épreuves sur table (CNESCO, 2014), l’EsA vise moins une évaluation plus fréquente qu’une « évaluation en continu » (Laveault, 2012). Ernesto Panadero et ses collègues (2018) indiquent que désormais, pour la recherche, l’évaluation formative doit être comprise comme une évaluation de soutien à l’autorégulation de son apprentissage par l’élève. Un élève va alors pouvoir persévérer face à ses erreurs (Zimmerman et Cleary, 2006) plutôt que développer des stratégies de désinvestissement, voire d’évitement (Boeckaert et Corno, 2005), s’il bénéficie de ce soutien. En fait, il semble difficile désormais pour la recherche d’envisager qu’une évaluation soit formative pour les élèves si elle ne permet pas à l’enseignant de favoriser l’autorégulation de l’apprentissage de ces derniers (Mercier-Brunel, 2019 ; Cartier et Berger, 2023).

12Or, cela se marie mal avec la construction de tests standardisés sous forme de QCM, plus propices à un objectif certificatif via une démarche sommative (vérifier par une somme de questions si une compétence ou une connaissance est acquise) qu’à un objectif de régulation via une démarche descriptive, voire herméneutique (identifier les stratégies des élèves pour les accompagner vers une autorégulation progressive de leurs démarches – De Ketele, 2010). Pourtant, la catégorisation et l’interprétation des erreurs dans un test peuvent être anticipées pour envisager des interventions ajustées, ce qui constitue l’un des fondamentaux de la didactique des sciences (Astolfi, 1997) comme du français (Reuter, 2013). Il est possible de proposer des « distracteurs » correspondant à des stratégies répandues inefficaces mais ayant une certaine cohérence pour répondre à la question concernée. Nous définirons les distracteurs avec Françoise Boch et Julie Sorba (2020, § 4), comme des « réponses plausibles mais incontestablement fausses […] destinées à identifier si la personne testée est capable de faire la différence entre la bonne et la mauvaise réponse ». C’est en substance la position de la DEPP qui propose, dans le document d’accompagnement du test, une explication des erreurs ayant pu être commises (si l’élève a choisi un distracteur plutôt que la réponse attendue), à l’instar d’une « analyse didactique a priori » (Koudogbo et al., 2022) permettant d’anticiper des stratégies erronées ou des savoir-faire non maitrisés par les élèves en les associant à des distracteurs pertinents. Cette approche est d’autant plus importante que des travaux récents (Cartier et al., 2019) ont montré que l’évaluation formative de la compréhension de textes a des impacts sur de nombreux apprentissages des élèves.

13En résumé, il nous parait fondamental d’analyser la culture de l’évaluation qui sous-tend ce test, afin de déterminer s’il est en mesure de dépasser un paradigme normatif pour s’inscrire dans une approche compréhensive de l’évaluation (Mercier-Brunel, 2022). Les items peuvent-ils constituer à partir des erreurs d’un élève, comme c’est annoncé par la DEPP, des leviers pour permettre à l’enseignant d’aider l’élève à progresser, c’est-à-dire à développer un processus d’autorégulation de son apprentissage en compréhension de texte ?

1.3. Comment évaluer le test ?

14Il est nécessaire de poser le cadre théorique d’une analyse de la logique évaluative de ce test, qui puisse à la fois appréhender le test dans son ensemble (son contexte, sa logique, ses acteurs) et en étudier les items un par un. Nous sommes conscients que se restreindre aux items de la partie de compréhension du texte littéraire écrit pose certaines difficultés, puisque nous isolons une partie d’un processus plus global d’évaluation. Il faut donc également que notre méthode ne repose pas sur l’exhaustivité, car reprocher de ne pas évaluer tel ou tel domaine de la compréhension n’aurait guère de sens si ces domaines sont évalués dans une autre partie du test. Toutefois, comme la profondeur s’effectue au détriment de l’étendue, nous avons fait le choix d’une analyse détaillée des dix items portant sur la compréhension du texte littéraire écrit en laissant les autres parties : compréhension orale, fluence en lecture, compréhension d’un écrit documentaire articulant texte et images, questions d’ordres orthographique, grammatical et lexical.

15Précisons d’emblée que nous n’étudions pas non plus la méthode statistique du traitement des données, car le remarquable travail de la DEPP en matière de validité et de cohérence interne du modèle de réponse à l’item est indéniablement solide. La question que nous posons ici fait intervenir des questions plus stratégiques, où les choix politiques et pédagogiques sont discutés. Nous avons alors retenu deux modèles d’évaluation issus des sciences de l’éducation, reconnus par la communauté scientifique par la place importante qu’y occupent leurs auteurs.

16Le premier provient d’un modèle développé par Gérard Figari et Dominique Remaud (Figari et Remaud, 2014), inspiré d’un modèle de Daniel L. Stufflebeam. Le dispositif évaluatif s’appréhende à partir de trois pôles : 1) le contexte de l’évaluation, 2) la stratégie choisie pour mener l’évaluation et 3) les productions qui en résultent.

17Le contexte est à la fois le contexte social et scolaire, les acteurs impliqués, mais également historique et institutionnel (voir la section 1.1.). Il permet d’interroger les acteurs selon leurs différents niveaux (commanditaire, bénéficiaires, évaluateurs et évalués) avec leurs enjeux concourants ou divergents. La stratégie est celle qui préside à la structure actuelle du test, aux choix opérés pour répondre à la commande, à la vision de l’évaluation et aux modèles didactiques sur lesquels se sont appuyés les concepteurs pour formuler les questions et des réponses proposées (dont les distracteurs). Les productions sont constituées des résultats des élèves, donc essentiellement de leurs réponses aux items, avec tous les traitements envisageables.

18Figari extrait de ce modèle trois critères (voir notamment Figari et Tourmen, 2006). Premièrement la pertinence, définie à partir de l’adéquation entre la stratégie choisie par les concepteurs et les besoins et demandes du contexte. Il est question également de l’acceptabilité par les acteurs de terrain. Deuxièmement, l’efficacité s’observe par la mise en relation entre les résultats attendus et les résultats obtenus. Il s’agit de savoir si le dispositif d’évaluation atteint effectivement les objectifs qui lui ont été assignés en matière d’informations permettant de répondre aux questions auxquelles l’évaluation est censée répondre. Troisièmement, l’utilité porte sur des données produites afin que le contexte puisse s’en saisir. Elle ne s’observe pas quand l’évaluation pose un constat ne permettant pas d’envisager la moindre perspective d’action. L’utilité peut être différente suivant les acteurs.

19Le second modèle, emprunté à Jean-Marie De Ketele et François-Marie Gerard (De Ketele et Gerard, 2005), permet une analyse plus fine des questions d’évaluation à partir de trois critères : 1) la pertinence, définie d’une façon compatible bien que sensiblement différente de celle du modèle de Figari, comme la cohérence d’un test avec ce qu’il prétend évaluer. Ainsi, les compétences que le test dit évaluer peuvent-elles bien s’évaluer avec ces items au regard de cette situation (objets évalués et public) ? Cette question se pose notamment quand la tâche évaluative est trop éloignée de son contexte de référence ; 2) la validité est le degré d’adéquation entre ce que l’on prétend évaluer et ce que l’on évalue réellement compte tenu des conditions du test (par exemple lorsque la compréhension d’une consigne est plus compliquée que ce qu’elle demande de réaliser). On trouve également des problèmes de validité quand on prétend évaluer une compétence avec une question dont la réponse peut être fournie sans mobiliser cette compétence (notamment intuitivement ou en copiant sur un camarade) ; 3) la fiabilité correspond au degré de confiance que l’on peut avoir dans le résultat observé : une grande dispersion des réponses peut traduire des réponses fournies au hasard plutôt qu’une stratégie précise, l’interprétation des erreurs est impossible et le résultat de l’évaluation n’est pas fiable. La fiabilité nécessite de mettre en relation les réponses d’un élève pour en vérifier la cohérence interne.

20Dans le cas des tests de réponses à l’item, le modèle de De Ketele (1989) file la métaphore de l’enquête policière, « nous n’avons pas de preuve, car le coupable n’a pas été pris sur le fait et n’a pas avoué non plus. Nous n’avons qu’un faisceau de présomptions plus ou moins fortes » (De Ketele et Gerard, 2005, p. 22). Il s’agit d’étudier si le faisceau est assez dense d’après les items et si ceux-ci correspondent bien à une solide analyse à priori des erreurs (Koudogbo et al., 2022), observable notamment dans le choix des distracteurs.

21À partir de ce cadre, nous nous proposons d’analyser le test de français passé par les élèves de sixième en 2022, pour les dix items relevant de la compréhension d’un texte littéraire écrit, et d’éclaircir en quoi son inscription dans un contexte national et les partis pris en matière d’évaluation en font un dispositif pertinent, efficace et utile, en fonction des acteurs impliqués dans le processus (Institution, enseignants et élèves). Par ailleurs, les items sont-ils en mesure de garantir une évaluation pertinente, valide et fiable ?

2. Analyse du corpus

22Le corpus sur lequel nous nous appuyons est constitué des principaux documents produits par la DEPP en 2022 à destination des acteurs de l’évaluation nationale de français en sixième :

• présentation du test, des exercices et des compétences évaluées, destinée aux enseignants et qui leur est accessible quelques semaines avant les épreuves ;
• document « premiers résultats » expliquant la méthode de construction et d’analyse des items et présentant les premiers résultats (moyennes de scores par catégorie de résultats – élèves faibles à élèves performants – en fonction de variables comme le genre, type d’établissement, année du test entre 2017 et 2022, retard scolaire, etc.) ;
• document « Résultats nationaux et analyses détaillées », reprenant les explications pour chaque item du document précédent et fournissant la répartition des réponses des élèves suivant le type de leur établissement, leur genre et leur éventuel retard scolaire ;
• exemplaire du courrier de restitution adressé par la DEPP aux principaux des collèges français faisant état des résultats par partie du test et par classe ;
• exemplaire du tableau de restitution fourni par l’application et synthétisant les résultats de chaque élève en français et en mathématiques pour un collège donné ;
• exemplaire du document remis à chaque élève dans lequel figurent les réponses fournies par l’élève et les réponses qui étaient attendues.

23Le test s’appuie sur le texte Les fées, écrit par Charles Perrault et publié en 1695. Il s’agit d’un texte court constitué de onze paragraphes, découpé pour l’épreuve en cinq diapositives de deux ou trois paragraphes, que les élèves devaient faire défiler dans les deux sens (et qu’ils pouvaient avoir sous les yeux en même temps que les questions). Le schéma narratif est simple (situation initiale, peu de péripéties et situation finale), avec peu de descriptions, peu de qualificatifs et une succession d’actions. Le nombre de personnages est limité (la mère, les deux sœurs, la fée et le prince) et ils sont réduits à une seule fonction (la mère et l’ainée sont mauvaises, la cadette bonne, la fée incarne la justice et le prince la victoire), avec des caractères manichéens. Notons enfin que le titre Les fées est trompeur, puisque l’histoire n’en compte qu’une.

25Afin d’appréhender le test dans son contexte, nous proposons une analyse suivant les trois critères d’évaluation de Figari évoqués plus haut pour porter un regard sur la partie du test que nous étudions : la pertinence, l’efficacité et l’utilité. Au sein de ces trois critères, notre regard peut alors mobiliser les notions de pertinence, validité et fiabilité des items (compétences visées, questions et distracteurs) pour une analyse plus fine.

2.1. La question de la pertinence

28À l’échelle du pays ou d’une académie, des objectifs de communication et de pilotage administratif influencent le test, donc le paradigme dans lequel s’inscrit l’évaluation réalisée, conduisant à des démarches de nature essentiellement sommative suivant un paradigme normatif (opérer un panorama national des compétences maitrisées en catégorisant les performances par niveau en fonction des scores obtenus : à besoin, fragile, satisfaisante). Cette approche catégorielle permet des comparaisons à grande échelle, entre établissements et classes et en observant les évolutions au fil des années. Il est intéressant de noter que l’établissement reçoit deux documents : 1) un état des lieux des scores moyens permettant de comparer l’établissement aux autres et chacune de ses classes de sixième entre elles, et 2) un tableur détaillant les réponses de chaque élève et les agglomérant pour chaque catégorie d’items (compréhension d’un texte écrit par exemple) en insuffisant, fragile, satisfaisant (palier 1 à 3) et très satisfaisant. Si la démarche sommative (on ne s’intéresse qu’au score) et la dimension normative (classement par catégories) sont assumées, la DEPP tente de proposer une granularité plus fine pour le pilotage au niveau de l’établissement pour que ce dernier agisse prioritairement sur les catégories les plus faibles de son public, sans que celui-ci ne soit réellement profilé sur un plan didactique (notamment par une caractérisation et une explication des erreurs les plus fréquemment observées). La classification des établissements proposée dans l’analyse des résultats relève davantage d’une approche sociologique de l’école que d’une approche pédagogique (histogrammes permettant de comparer les résultats de l’établissement avec ceux du pays, de l’académie et des établissements jugés comparables, résultats des élèves regroupés notamment en fonction du genre et du retard scolaire). Le test est donc pertinent pour le commanditaire (l’État peut observer les effets de sa politique éducative) et pour les acteurs du pilotage administratif (les rectorats peuvent repenser la répartition des moyens entre établissements).

30La pertinence du test est donc du côté des instances politiques et administratives, et si le test évalue « certaines compétences et connaissances de chaque élève », il outille finalement peu les enseignants en matière d’informations dont ils ont besoin. La formulation des compétences annoncées ne correspond d’ailleurs pas toujours aux processus réellement évalués.

31En revanche, le solide travail statistique réalisé par la DEPP de conception et d’analyse des items, l’ordre aléatoire des réponses proposées aux élèves, la maitrise des conditions de passation grâce à l’outil informatique, le traitement automatisé des réponses, permettent d’obtenir des résultats pertinents au regard des besoins des instances politiques et administratives (même si le sujet du test de 2022 est le même que celui des sessions 2020 et 2021, faussant un peu sa validité mais renforçant sa dimension comparative).

2.2. La question de l’efficacité

32Cette efficacité s’observe au niveau de certains items, avec des distracteurs tout à fait pertinents au sens de De Ketele pour identifier des stratégies à réguler : ainsi, dans l’item 2 (« La fille cadette a reçu un don. De sa bouche sortent… »), les distracteurs permettent d’identifier deÒs difficultés d’ordre linguistique, d’ordre logique ou des imprécisions de la lecture sans impact sur la compréhension de l’histoire (même si d’autres hypothèses peuvent être avancées concernant un élève qui choisirait un des distracteurs).

33Les items 9 et 10 interrogent l’élève sur les motivations de la mère lorsqu’elle envoie sa fille ainée à la fontaine pour obtenir le même don que la cadette ou lorsqu’elle se montre exceptionnellement gentille avec cette dernière après que celle-ci a obtenu le don de cracher des diamants et des perles. Nathalie Blanc (2010) a amplement montré l’importance pour l’élève lecteur d’identifier les motivations des personnages afin de comprendre une histoire, ces items paraissent donc indispensables. Si les distracteurs sont justifiés, il est dommage qu’ils ne soient pas mis en relation entre eux et avec les autres items : on trouve pour les deux items un distracteur qui montre que le texte est compris mais que l’élève n’a pas perçu la chronologie des événements ou la psychologie de la mère. Mais quelle conclusion tirer si un élève n’est tombé dans le piège que d’un des deux distracteurs ? Et s’il a les deux bonnes réponses, est-il un décodeur précis de la chronologie des faits ou lecteur rodé ayant saisi la psychologie des personnages ? Ainsi, le critère de validité n’apparait pas ici rempli, les réponses ne permettant pas d’identifier une stratégie précise des élèves.

34D’autres items, avec des distracteurs moins intéressants, ne permettent que de distinguer un élève ayant opéré une lecture efficace (ayant choisi la réponse attendue) d’un élève plus en difficulté, et proposent des explications peu convaincantes. Par exemple à l’item 4, portant sur la raison pour laquelle la mère rejette sa fille cadette, on ne voit pas la différence entre les distracteurs « …a peur d’elle » et « …n’est pas courageuse ». De même, l’explication du dernier distracteur « …la trouve trop laide » (mésinterprétation en début de conte de « la plus belle qu’on eût su voir ») ne convainc pas, sauf à supposer que l’élève n’a pas perçu que la cadette est qualifiée de « belle » à quatre reprises dans le reste du conte. Par ailleurs, l’item 3 « La plus jeune des sœurs se marie avec un … » ne distingue pas réellement l’intérêt des distracteurs « paysan » et « mage », justifiés tous les deux par leur appartenance au registre du conte ou du merveilleux, mais absents du texte ; n’aurait-il pas été plus efficace de proposer un distracteur indiquant un autre problème de compréhension ? Là encore, le problème de la validité de l’item se pose.

35Un autre exemple s’observe dans l’item 6, qui consiste à attribuer six adjectifs qualificatifs à l’une des deux sœurs. La compétence évaluée, « Intégrer des informations explicites non immédiatement repérables », peut également être réinterrogée : parmi les adjectifs proposés, certains sont explicitement et de façon repérable attribués à l’une des deux sœurs dans le texte (dès les premières lignes du conte), d’autres sont repérables mais de manière moins explicite (« douceur » et « honnêteté » pour les adjectifs « douce » et « honnête »), un autre enfin (« naïve ») doit être inféré. Il est particulièrement hasardeux d’envisager que cet item évalue la compétence annoncée au regard des différentes stratégies requises en fonction des adjectifs (repérage de mots, passage du substantif à l’adjectif, inférence) et des différentes sources possibles d’erreur. Par ailleurs, la présentation en un tableau à double entrée et choix unique ajoute une difficulté à la fois sur la validité de l’item (la forme pouvant générer une contreperformance indépendante de la compréhension des champs sémantiques), et sur sa fiabilité (l’association des termes uniquement en fonction de leur valeur axiologique positive ou négative traduit-elle forcément la compréhension du texte ?). Le principal intérêt de l’item est finalement de pouvoir identifier les lecteurs avec un capital lexical solide et une certaine compétence dans la lecture d’un tableau complexe.

36Sur le plan de l’efficacité du test, on trouve des distracteurs qui permettraient d’inférer la mobilisation de certaines stratégies problématiques (preuve d’une réflexion à priori intéressante dans le choix de ces distracteurs), d’autres moins intéressants, mais tous nécessiteraient une mise en relation avec les autres réponses de l’élève à des fins de fiabilité du test, pour pouvoir identifier certaines natures de difficultés. Si la réflexion sur les distracteurs semble globalement être un point fort de ce test, il est dommage que l’absence d’une réflexion didactique centrée sur l’élève ne permette pas une réelle efficacité vis-à-vis de l’objectif « favoriser l’élaboration de dispositifs pédagogiques adaptés au plus près des besoins de chacun » (DEPP, 2022a).

2.3. La question de l’utilité

37Sur ce sujet, il est nécessaire de s’interroger sur la façon dont l’enseignant et l’élève vont pouvoir s’emparer de la performance de ce dernier et des feedbacks qui lui sont proposés (au sens de Mercier-Brunel, 2019). La DEPP permet aux établissements de remettre à chaque élève un document comportant la liste des questions du test avec les réponses attendues et les réponses qu’il a fournies. La remise de ce document renvoie à la norme de la correction : fournir aux élèves la bonne réponse leur permettrait de progresser. Dans les faits, nous avons déjà mis en lumière que les simples corrections ne sont pas utiles aux élèves sans un soutien à l’autorégulation de leur apprentissage (Mercier-Brunel, 2017). On ne voit pas en quoi, par exemple, indiquer à l’élève qu’il n’a pas choisi le bon résumé en lui précisant simplement celui qu’il fallait choisir, va l’aider à développer des compétences en compréhension de texte (d’autant que l’intérêt de ce type d’exercice est didactiquement discutable – voir Bart et Daunay, 2016).

38Si le test ne présente donc pas d’utilité directe pour l’élève (puisque comme indiqué précédemment, l’élève ne reçoit, quelques mois après le test, qu’un document dans lequel figure sa réponse aux items et les réponses qui étaient attendues), il pourrait en avoir pour l’enseignant. Or, les critères retenus pour évaluer la compréhension ne sont pas tous pertinents, donc sont moyennement efficaces pour identifier les stratégies que mobilisent les élèves en difficulté et fournir des leviers pour aider les élèves à progresser.

39Un exemple flagrant de la faiblesse du test en matière d’utilité pour l’enseignant comme pour l’élève se retrouve dans l’absence de rapprochement entre les items, liée à la fiabilité du test, car c’est souvent par la persistance de certaines erreurs que l’on repère qu’un élève a investi une stratégie non pertinente. Les items correspondent à une certaine vision du développement des compétences des élèves qui ignore les nombreuses stratégies du lecteur (Langlade et Rouxel, 2004). Il serait intéressant d’aborder la possibilité qu’un élève comprenne le sens global du texte (item 1), mais commette pourtant des erreurs à des questions sur des éléments ponctuels. Le test ne permet pas de dessiner des profils de lecteurs pouvant être accompagnés (avoir une lecture superficielle ou au contraire s’attacher aux éléments sans les mettre en perspective). Enfin, la possibilité de répondre au hasard n’étant pas négligeable pour un élève en difficulté, il semblerait essentiel également que, pour un même élève, le test permette d’évaluer la dispersion des réponses (De Ketele et Gérard, 2005).

40Une autre constatation porte sur la nature des informations que les élèves doivent repérer (explicites, principales ou secondaires, immédiatement repérable ou non), au regard du conte étudié, Les fées. Par exemple alors que l’item 3 doit évaluer la compétence « Retrouver une information explicite aisément repérable », l’analyse de la tâche par la DEPP indique que « Même si le terme de “prince” n’est pas explicitement utilisé dans le texte, cette question est fortement ancrée dans l’univers culturel des enfants » (l’expression employée dans le texte est « le fils du roi »). S’il parait raisonnable qu’à l’entrée en sixième la correspondance soit jugée non problématique (fils du roi = prince), la compétence affichée correspond pourtant imparfaitement à l’item, qui articule une connaissance lexicale au repérage d’une information de fait non explicite. L’opération est plus complexe que si le mot « prince » avait figuré dans le texte (pouvant être repéré photographiquement y compris par un élève qui n’en connait pas le sens). Ne pas repérer une information mentionnée et ne pas repérer une information faisant l’objet d’une périphrase peuvent constituer des indicateurs différents et pertinents pour évaluer les élèves (mais peut-être aurait-il fallu choisir une périphrase moins simple). Par ailleurs, cette erreur revêt-elle une réelle importance dans la compréhension du texte (penser que la cadette épouse le roi et non le prince) ? En quoi cet item dit-il quelque chose d’intéressant sur les compétences de compréhension de l’élève, et que dit-il ?

41Une question tout aussi cruciale porte sur le fait de trouver une information essentielle (donc sans laquelle il est impossible de comprendre correctement le texte). C’est un enjeu fondamental pour l’enseignant : l’élève est-il capable de discriminer les informations essentielles à construction du récit ? Or, dans le test, sont qualifiées d’essentielles deux informations dont l’importance pour la compréhension du texte est bien différente : item 5, la raison pour laquelle la mère envoie sa fille préférée suivre l’exemple de la cadette (afin de bénéficier du même don de la fée, motivation d’un personnage sans laquelle l’histoire ne peut être comprise), et item 8 la raison de la mort de l’ainée à la fin de l’histoire (« elle est abandonnée de tous ») alors que ce qui importe est surtout sa mort présentée comme morale (deux des distracteurs proposés n’impliquent d’ailleurs pas que l’élève n’ait pas compris la trame de l’histoire). Ainsi, la qualité de la réflexion didactique pose la question de la qualification des informations dont le test évalue le repérage : repérable, explicite et essentielle. L’utilité du test pour les enseignants se joue pourtant à ce niveau : parmi l’ensemble des élèves de leur classe de sixième, qui sait trouver des informations facilement repérables, identifier des informations explicites et discriminer des informations essentielles ?

42En observant les compétences annoncées dans le test, on relève une utilité limitée y compris lorsque les items sont pertinents (correspondant bien à des éléments constitutifs de la compréhension en lecture de texte). En effet, l’analyse à priori des items en matière de stratégies mobilisées par les élèves pour y répondre (donc la validité de l’évaluation) ne permet pas aux enseignants d’obtenir des informations réellement utiles pour aider l’élève, et moins encore pour soutenir un processus d’autorégulation de son apprentissage de la compréhension en lecture.

3. Discussion

43En guise de synthèse, nous portons un regard mitigé sur la partie du test national de français en sixième soumis en 2022 relative à la compréhension d’un texte littéraire. Notre propos admet une première limite : il existe deux autres exercices qui se rapportent à la compréhension, un texte oral de deux minutes et un documentaire écrit et illustré. Toutefois, les compétences annoncées dans le premier (car le contenu et les questions ne sont pas fournis par la DEPP) et une analyse attentive du second (quatre items portent sur les illustrations, trois sur la structure du document, un sur une explication lexicale et un sur une information absente) n’invalident pas notre positionnement.

44Ainsi, le test proposé montre une réelle pertinence à des fins stratégiques de gouvernance (obtenir un panorama synthétique des compétences des élèves en fonction des années et des évolutions sociales et scolaires). La méthodologie différentielle robuste de la DEPP (DEPP, 2022b et 2022c) permet à l’État de disposer de tendances utiles à des fins de communication et utiles pour prendre certaines mesures administratives (fléchage des moyens, accompagnement soutenu de certaines équipes, etc.). Ainsi, à ce niveau, l’efficacité reste modérée et l’utilité dépend des résultats du test au regard du message politique que l’on souhaite diffuser.

45En ce qui concerne les équipes pédagogiques, le constat est nettement plus réservé. La pertinence est présente dans l’annonce des objectifs mais peu dans les faits puisque structurellement le dispositif ne propose pas d’outil pour mettre en lien les différentes réponses d’un même élève et ainsi dégager un profil en matière de stratégie de compréhension d’un texte écrit. L’efficacité est partielle, avec une réflexion intéressante pour certains distracteurs, mais globalement un manque de maitrise sur le plan didactique des différentes stratégies à l’œuvre dans la compréhension d’un texte littéraire écrit. L’utilité est limitée par une conception non stabilisée de certaines notions fondamentales comme « explicite » et « essentielle » en lien avec les processus qu’un élève est susceptible de mobiliser, donc impossible d’en extraire des leviers pour accompagner les élèves en difficultés.

46Précisons que selon nous l’élève, en tant que sujet lecteur, ne semble pas être pris en considération, malgré le discours du ministère qui accompagne le test, censé s’adresser directement à lui pour lui expliquer en quoi ces évaluations standardisées vont permettre à son enseignant de mieux l’accompagner dans ses apprentissages (avec des vidéos mises en ligne par le ministre de l’Éducation nationale et adressées aux élèves). Pourtant, si l’utilité du test pour les instances de gouvernance nationales est renforcée par l’outil informatique standardisé de collecte des réponses, rien n’est fait pour que ce test s’insère dans la microculture de classe (Mottier Lopez, 2012), lui donnant du sens aux yeux de l’élève comme aux yeux de l’enseignant. On relève qu’environ 72 % des enseignants de français et 61 % des enseignants de mathématiques ayant répondu au questionnaire de la DEPP indiquent avoir consulté les documents en lien avec le test, mais que seulement 1 281 professeurs de français et 1 266 professeurs de mathématiques ont répondu ; la France comptant respectivement 31 349 professeurs de français et 24 214 professeurs de mathématiques dans les collèges (données DEPP), on peut légitimement s’interroger sur l’adhésion des enseignants et leur implication dans l’utilisation des résultats du test à l’échelle nationale, donc sur le bénéfice que l’élève en retire. On retrouve une certaine vision du système français qui fait de l’enseignant le principal responsable des actions pédagogiques devant être menées à l’issue des résultats du test (Mercier-Brunel, 2022), sans envisager que la structure des items et la précision des feedbacks proposés pourraient impliquer l’élève plus directement (Mercier-Brunel, 2019), et soutenir un processus d’autorégulation dans sa compréhension d’un texte littéraire.

47Une deuxième remarque porte sur la quasi-absence affichée des chercheurs en didactiques de la lecture et en sciences de l’éducation dans la conception du test. Car si le document publié par la DEPP mentionne l’intervention de chercheurs sur la partie méthodologique du traitement des données, sur le contenu des items « les outils de cette évaluation ont été conçus avec des groupes experts composés de conseillers pédagogiques, de maitres formateurs, de professeurs des écoles et de professeurs certifiés ou agrégés, mis en place par la DEPP en collaboration avec l’IGESR [inspection générale de l’éducation, du sport et de la recherche » (DEPP, 2022a, p. 4). On peut ainsi légitimement s’interroger sur la solidité des compétences didactiques sur lesquelles s’appuient les concepteurs (notamment au niveau des liens entre les compétences annoncées et les items, la formulation des questions et de certains distracteurs, la proposition d’interprétation et la forme rudimentaire des outils d’exploitation) et sur les choix qui ont pu être opérés dans la formulation des questions afin de favoriser l’exploitation statistique des données recueillies. Un test d’envergure nationale devrait pourtant faire l’objet d’une réflexion concertée et organisée entre chercheurs, cadres, enseignants et statisticiens, seule garante de sa pertinence, de son efficacité et de son utilité pour les acteurs de terrain. Sans doute faudrait-il également clarifier la priorité de ce test, entre le recueil de données à des fins de pilotage et l’outillage des enseignants à des fins de régulation, deux objectifs difficiles à maintenir simultanément. Enfin, alors que la mise en place de groupes de niveaux est envisagée à partir de la sixième en France, il serait essentiel de préciser si ces évaluations doivent jouer un rôle dans la constitution de ces groupes (comme c’est le cas dans certains pays occidentaux), et le cas échéant en tenir compte dans leur construction.