Introduction

1Parmi les études internationales qui nous renseignent sur l’état général des compétences de lecture des élèves, l’enquête PIRLS (Progress in International Reading Literacy Study) est peut-être la moins connue. Ce programme international pour le suivi des acquis en lecture évalue les compétences en lecture des élèves au grade 4 (CM1) au moyen de questionnaires ciblant notamment la capacité d’intégrer des idées et des informations, mais aussi d’évaluer et de critiquer le contenu et les éléments textuels de récits et de documents. Bien qu’ils conditionnent la réussite scolaire, ces modes de lecture hautement littéraciés (Delarue-Breton et Bautier, 2019) apparaissent insuffisamment maitrisés tant en France (Conceicao et al., 2023) qu’en Belgique francophone (Schillings et al., 2023). Les résultats faibles obtenus par les élèves lors des cycles de 2016 et 2021 mettent en exergue des lacunes qui questionnent à la fois le moment et la manière dont les démarches de lecture experte sont enseignées dans les systèmes éducatifs francophones.

2Les études internationales telles PIRLS fournissent aux pays participants des indicateurs de performances sous la forme de scores globaux souvent accusés de renseigner assez peu sur les forces et faiblesses des élèves et, de ce fait, de ne pas soutenir la conception d’interventions pédagogiques différenciées. Dans une visée de rapprochement entre la recherche et le terrain et de réduction de la dissonance entre l’évaluation des apprentissages réalisée au niveau du système éducatif et au niveau de la classe (Yerly, 2017), une étude a été effectuée à partir des réponses produites par les élèves belges francophones à plusieurs questions ouvertes portant sur des textes de l’épreuve rendus publics à l’issue des cycles de 2016 et 2021. Lors de chaque cycle d’évaluation, des analyses de ce type sont effectuées afin de créer des typologies de réponses erronées et sont diffusées sur un site sous la forme de capsules vidéo. L’intention des chercheurs est d’accroitre la portée diagnostique de ces évaluations. En effet, ces typologies donnent à voir aux enseignants et à leurs formateurs non seulement l’écart avec l’attendu, mais aussi l’activité de réponse aux questions et les obstacles cognitifs rencontrés par les élèves pour mettre en œuvre les démarches de compréhension visées par certaines questions de l’épreuve.

3Cette contribution explicite la manière dont les résultats de l’enquête PIRLS sont approfondis pour être restitués aux acteurs de terrain. En cela, elle endosse une visée psychodidactique de l’évaluation (Vantourout et Goasdoué, 2014) qui envisage la validité des épreuves du point de vue de la qualité du diagnostic fourni. Selon cette visée, l’analyse de la validité implique une analyse à deux niveaux : celui des contenus (processus cognitifs) ciblés par l’épreuve et celui de l’activité de réponse des élèves.

4Après avoir défini le cadre conceptuel notionnel de l’étude PIRLS et ses implications sur la manière de définir l’objet de mesure au regard de différents modèles théoriques de la lecture, nous montrerons en quoi notre étude s’inscrit dans une approche psychodidactique de l’évaluation des apprentissages (Vantourout et Goasdoué, 2014). En éclairant l’activité de réponse des élèves lors d’une tâche d’évaluation à large échelle telle que PIRLS, notre étude tente de déplacer le curseur de cette enquête internationale du pilotage vers la régulation des apprentissages.

1. Cadrage théorique

5L’enquête internationale PIRLS à laquelle la Fédération Wallonie-Bruxelles (FW-B) prend part tous les cinq ans depuis 2001 est menée par l’Association internationale pour l’évaluation du rendement scolaire, mieux connue sous le sigle IEA. Cette enquête à large échelle porte sur l’évaluation de la compréhension de l’écrit, autrement dit la reading literacy. Définie dans le cadre conceptuel de l’enquête comme « la capacité de comprendre et d’utiliser les formes du langage écrit requises par la société ou valorisées par l’individu » (Mullis et Martin, 2015, p. 12, 2019, p. 6), la compréhension de l’écrit y est envisagée comme un processus actif et interactionnel (Anderson et Pearson, 1984 ; Chall, 1983 ; Ruddell et Unrau, 2004 ; Walter, 1999) qui conduit les lecteurs à créer du sens au départ d’une diversité de textes et d’objectifs de lecture, en faisant appel à des compétences linguistiques, à des stratégies cognitives et métacognitives et à leurs acquis antérieurs (Baker et Beall, 2009 ; Kintsch, 2012 ; Pressley et Gaskins, 2006 ; Rapp et van den Broek, 2005). Pour Catherine Delarue-Breton et Élisabeth Bautier (2019), tant les supports écrits que les modes de questionnement de l’enquête PIRLS mettent en évidence les lieux précis de différenciation pour les élèves. Ils convoquent les modes exigeants de la littératie scolaire qui requièrent une capacité de critiquer, d’interpréter et d’apprécier des textes de natures diverses.

1.1. Les soubassements théoriques de l’étude PIRLS

6Les questionnaires de compréhension qui composent l’étude PIRLS ciblent la maitrise de quatre processus cognitifs en jeu dans la lecture. Ces quatre processus (synthétisés dans la deuxième colonne de la figure 1, infra) sont communs aux deux objectifs de lecture couverts par l’étude : lire pour l’expérience littéraire et lire pour acquérir et utiliser de l’information.

7Les deux premiers processus cognitifs ciblent, d’une part, la capacité de comprendre les informations énoncées de façon explicite et d’autre part, la capacité de faire des inférences simples, principalement ciblées sur les processus d’intégration (le traitement des référents et des connecteurs) définis par Jocelyne Giasson (1990). Souvent regroupés dans les analyses en une même variable, on peut considérer que ces deux processus cognitifs permettent la mise en mémoire par le lecteur de l’information extraite et l’élaboration d’un réseau cohérent de propositions, ce que Walter Kintsch (1988) nomme la base de texte.

10Si l’on peut s’accorder sur le fait que ces quatre processus caractérisent une lecture de la moins distanciée à la plus distanciée au sens de Jean-Louis Dufays (2002) et de Manon Hébert (2003) et qu’ils permettent d’évaluer différents niveaux d’intégration appliqués par le lecteur expert au texte au cours de cycles successifs, le choix du terme « interpréter » peut toutefois prêter à discussion dès lors que l’on adopte le cadre de la lecture littéraire (Dufays et al., 2005). Par ailleurs, il apparait d’autant plus nécessaire de rappeler les contours du domaine de la compréhension et de l’interprétation que la validité de contenu de certaines études à large échelle telles que PISA a fait l’objet de critiques ciblées sur la manière d’évaluer la lecture littéraire, pointant les limites de l’évaluation de l’interprétation par questionnaires (Daunay, 2017).

1.1.1. Le processus Interpréter et intégrer des idées et des informations

11Comme l’indique la figure 1, la mise en lien des processus évalués par PIRLS avec les concepts de compréhension et d’interprétation tels que définis par les didacticiens du français (De Croix, 2020 ; Dufays et al., 2015 ; Falardeau, 2003 ; Falardeau et Sauvaire, 2015) fait apparaitre un glissement conceptuel. Si le verbe intégrer renvoie bien à l’élaboration d’une représentation d’ensemble actualisée par le lecteur au moyen de ses connaissances et de ses expériences personnelles, le terme interpréter dans PIRLS ne vise pas l’élaboration de significations comme l’envisage le modèle de la lecture littéraire.

12En effet, tant la définition fournie par les concepteurs de l’épreuve que l’analyse des items et des textes évaluant ce procédé renvoient principalement à des démarches de compréhension du sens global mobilisant les expériences et connaissances du lecteur. Or, l’interprétation dans la lecture littéraire cible « l’élection d’un possible parmi tous les possibles signifiants que déploie un texte » (Falardeau, 2003, p. 684) et « implique l’investissement d’un sujet engageant dans sa lecture toutes les composantes de sa subjectivité qui contribuent à la construction d’une lecture singulière » (Langlade et Fourtanier, 2007, cités dans Falardeau et Sauvaire, 2015, p. 74). En incluant la spéculation et l’exploration des significations du texte, elle se distingue de la compréhension qui relève du « domaine du consensus explicatif » (Falardeau, 2003, p. 684).

13On observe donc que selon les cadres théoriques envisagés, le terme interpréter désigne des processus différents. Pour éviter toute confusion, dans la suite du texte, lorsqu’il sera employé dans l’acception du cadre conceptuel sur lequel repose l’étude PIRLS, il sera placé entre guillemets.

14Précisons que si l’interprétation n’est pas envisagée en tant que telle dans les modèles cognitifs de Kintsch (1988) et Maryse Bianco (2015), pour autant, la lecture distancée est bien évaluée dans l’étude PIRLS. Le procédé Évaluer et critiquer le contenu et les éléments textuels vise à la fois une forme d’interprétation, lorsqu’il conduit les élèves à identifier l’intention de l’auteur, et le jugement critique, lorsqu’il leur demande d’évaluer le texte et d’argumenter cet avis en considérant des éléments de forme.

15Par ailleurs, comme toute étude de ce type, l’enquête PIRLS assure la fiabilité des résultats en recourant à un large éventail de tâches de lecture de textes et de complétion de questionnaires dont les contraintes de standardisation garantes de la fidélité de leurs mesures s’accommodent mal de l’usage de textes proliférants propices au travail d’interprétation. Ces questionnaires se composent pour moitié de questions fermées et de questions ouvertes dont les réponses sont évaluées par des codeurs formés à l’utilisation des critères de correction.

16Pour finir, précisons que le statut des réponses fournies par les élèves aux questions ouvertes varie selon que le procédé visé cible la compréhension ou le jugement critique. Lorsqu’il s’agit de compréhension, les réponses s’apparentent à des paraphrases consistant en la reformulation globalisante du texte (Daunay, 1997). Ce discours métatextuel particulier, qui porte sur le contenu du texte, reflète la construction d’un rapport de compréhension avec le texte (Falardeau, 2003). S’agissant du jugement critique, les réponses sont considérées comme des commentaires. Ce discours métatextuel porte sur l’analyse de la forme et des composantes linguistiques. Selon Bertrand Daunay (1997), il y aurait un continuum entre paraphrase et commentaire rendant compte d’une lecture de plus en plus littéraire du texte.

1.2. L’approche psychodidactique de la validité de l’évaluation

17L’identification et la catégorisation des procédures caractérisant le savoir en jeu dans les tâches d’évaluation de l’étude PIRLS développées au point précédent constituent un premier élément garant de la validité psychodidactique de cet outil d’évaluation à large échelle. La définition des niveaux de compétences qui balisent la progression dans la maitrise des processus de compréhension qu’elle évalue constitue un second garant de sa valeur diagnostique.

1.2.1. Des niveaux de compétences spécifiques aux processus évalués

19Cette conception développementale du processus d’apprentissage qui considère les résultats des évaluations comme l’indicateur d’un niveau de développement d’une compétence ou d’acquisition d’un concept s’accorde avec l’approche psychodidactique des évaluations, préconisée par Marc Vantourout et Rémi Goasdoué (2014). Présentons brièvement cette approche.

1.2.2. L’analyse de la tâche et de l’activité du lecteur

20L’approche psychodidactique des évaluations considère la détermination de profils de réponses comme une alternative (un complément selon nous) aux approches quantitatives des évaluations. L’analyse qualitative apparait dès lors comme un moyen d’enrichir l’analyse de la validité des évaluations et d’accroitre leur portée diagnostique. Les tenants de cette approche psychodidactique recommandent de mener des analyses à un double niveau (Vantourout et Goasdoué, 2014). D’une part, ils soulignent l’importance de mener une analyse de la tâche ciblée notamment sur l’examen de la nature des questions contenues dans l’évaluation. Dans le cadre de PIRLS, cette analyse du procédé cognitif visé par chaque question est effectuée au moment de la conception du test. L’analyse de la réponse attendue consiste notamment à vérifier qu’il n’est pas possible de réussir la tâche sans mobiliser les connaissances/processus ciblés par la question. D’autre part, Vantourout et Goasdoué (2014) préconisent de mener une analyse de l’activité cognitive induite par l’évaluation. Cette analyse qualitative se centre sur l’examen des processus cognitifs mis en œuvre par l’élève pour fournir la réponse. En plaçant le projecteur sur l’organisation de l’activité cognitive de l’élève plus que sur son résultat, cette analyse s’apparente à une « descente vers le cognitif » au sens où le définit Gérard Vergnaud (2001).

21Forme particulière de l’analyse de l’activité, l’analyse d’erreurs peut être conçue selon Jacques Leplat (2011, p. 147) « soit comme un résultat, soit comme un trait de cette activité. Dans le premier cas, il s’agit de comparer le produit de l’activité à sa norme, c’est-à-dire d’évaluer sa conformité au but visé ». Les pourcentages de réussite moyens aux enquêtes internationales fournis par les rapports internationaux et nationaux relèvent de cette première conception.

Dans le second cas, l’erreur porte sur les moyens mis en œuvre pour atteindre le but visé, et par conséquent sur la procédure mise en jeu. Il s’agit alors de savoir si ces moyens sont compatibles avec le but visé. (Leplat, 2011, p. 147)

22Cette notion de « descente vers le cognitif » se retrouve également chez Jean-Pierre Astolfi (2014) pour qui les erreurs constituent des indicateurs des obstacles cognitifs rencontrés par les élèves pour mobiliser les processus cognitifs induits (prescrits) par les questions d’un test.

24Par ailleurs, si l’analyse d’erreurs renseigne sur le type de représentation mentale de la situation élaborée par une personne et permet de retrouver les opérations intellectuelles dont elles sont la trace (Chartier et al., 2014), il convient de préciser que le raisonnement et plus spécifiquement les démarches cognitives de compréhension mobilisées ayant conduit à l’erreur n’ont pas été verbalisées par les élèves. Elles sont inférées à partir de l’analyse des réponses fournies par les élèves aux questionnaires de compréhension.

25C’est dans cette visée que nous avons cherché à approfondir l’analyse diagnostique des performances en lecture des élèves belges francophones lors des cycles PIRLS 2016 et 2021. L’observation fine des réponses produites par un sous-échantillon d’élèves vise à élaborer une typologie d’erreurs susceptible de renvoyer une image plus opératoire du niveau de compétences des élèves.

2. Cadre méthodologique

2.1. L’échantillon

Tableau 2 : Répartition des réponses selon les questions analysées

	PIRLS 2016	PIRLS 2021
	Q4	Q16
Réponses correctes	77	230
Réponses erronées	391	165
Omissions	71	75
Total	539	470
	1009

2.2. Les supports d’évaluation et l’analyse de la tâche d’évaluation

27Afin de comprendre en quoi les réponses produites par les élèves constituent des erreurs, il est important de se référer au cadre conceptuel de l’épreuve. Analyser la tâche d’évaluation consiste à décrire l’activité cognitive requise pour produire la réponse attendue aux deux questions ciblées en regard du processus cognitif évalué par l’épreuve. Cette étude cible les questions 4 et 16 qui mobilisent le procédé Interpréter et intégrer des idées et des informations dans chacun des deux textes envisagés.

2.2.1. Macy et la poule rousse de Prue Anderson

28Ce récit illustré de six pages met en scène une fillette, Macy, chargée de rentrer chaque soir les poules dans leur poulailler. Cette tâche lui pose un problème car l’une des poules refuse systématiquement d’obtempérer. Le personnage de Macy tente alors plusieurs techniques pour la faire obéir, mais sans succès. Un jour, la vue d’une chouette lui donne une idée qui portera ses fruits.

29Le questionnaire lié à ce récit totalise 16 questions (8 QCM et 8 questions ouvertes, voir le tableau 3). L’analyse d’erreurs cible deux questions ouvertes relatives au procédé « Interpréter » mais seule la question 4 sera présentée ici.

Tableau 3 : Répartition des items dans le récit Macy et la poule rousse

	QCM	Questions ouvertes	Total
Retrouver et prélever des informations explicites	3	2	5
Faire des inférences simples	3		3
Interpréter et intégrer des idées et des informations	1	4	5
Évaluer le contenu et les éléments textuels	1	2	3
Total	8	8	16

Question 4

30La réponse attendue à la question 4 « Pourquoi la poule rousse joue-t-elle des tours à Macy ? » n’est pas explicitement présente dans le texte. Elle implique que l’élève intègre des informations disséminées au fil du récit. Pour répondre correctement, l’élève doit donc intégrer deux passages éloignés pour déduire que si la poule rousse est la cheffe de toutes les autres poules, elle se considère aussi comme la cheffe de Macy et se permet donc de ne pas lui obéir et de lui jouer des tours.

2.2.2. Le pot vide de Elaine L. Lindy

32Ce récit illustré de cinq pages met en scène un jeune garçon, Jun, invité à participer à un concours organisé par l’Empereur de Chine, désireux de désigner la personne qui lui succèdera. Pour ce concours, l’Empereur distribue aux enfants du royaume des graines à faire pousser. Bien que honteux de constater que sa semence ne pousse pas, Jun ose affronter l’Empereur en lui apportant son pot vide. Sans le savoir, il démontre ainsi son honnêteté puisque les graines distribuées par l’Empereur avaient été préalablement bouillies et ne pouvaient pas pousser.

33Le questionnaire lié à ce récit comporte 17 questions (11 QCM et 6 questions ouvertes, voir le tableau 4). De même, l’analyse d’erreurs cible deux questions ouvertes relatives au procédé « Interpréter ». La question 16 est présentée en détail dans cet article.

Tableau 4 : Répartition des items dans le récit Le pot vide

	QCM	Questions ouvertes	Total
Retrouver et prélever des informations explicites	2	1	3
Faire des inférences simples	5	1	6
Interpréter et intégrer des idées et des informations	4	3	7
Évaluer le contenu et les éléments textuels.	0	0	0
Total	11	6	17

Question 16

34La réponse attendue à la question 16 « Pourquoi l’Empereur a-t-il souri à Jun ? » cible le caractère implicite de la fin de l’histoire, à savoir que Jun a gagné le concours car il est le seul enfant à avoir été honnête en ne modifiant pas les graines reçues. Pour comprendre que le personnage principal deviendra donc Empereur, l’élève doit relier les informations disséminées au fil du récit.

35À cette question, 49 % des élèves ont produit une réponse correcte (230/470), 35 % ont produit une réponse erronée (165) et 16 % n’ont pas répondu (75). Notre analyse d’erreurs se base sur 165 réponses erronées (sur 470 réponses).

2.3. Méthodologie d’analyse

36Le corpus de données est constitué des réponses produites par 1 009 élèves et préalablement codées par des codeurs formés au guide de codage de l’épreuve détaillant les réponses correctes, partiellement correctes et incorrectes. Pour chacune des questions analysées, les pourcentages de réussite, d’erreur et d’omission ont été calculés (voir le tableau 2).

37À partir de cette base de données, nous avons procédé à la lecture de l’ensemble des réponses erronées pour dégager des récurrences et regrouper des réponses présentant des traits communs dans les démarches cognitives mobilisées. Ce regroupement a été réalisé par deux chercheurs en parallèle dont les résultats ont ensuite été confrontés. Un travail d’étiquetage des catégories de réponses identifiées a été réalisé conjointement par les deux chercheurs pour élaborer une typologie d’erreurs. Les types d’erreurs dégagés reposent sur l’identification de la nature des erreurs produites (Sautot, 2016) et qualifient le cheminement vers l’attendu dans la mobilisation de processus cognitifs experts. Cette structuration de la variété des réponses produites par les élèves rend l’ensemble des réponses intelligibles (Sautot, 2016). Ces erreurs peuvent être assimilées à des obstacles, car elles montrent une connaissance des élèves mise en action dans un contexte ou une situation pour laquelle elle n’est pas pertinente (Brousseau, 2003). Par exemple, un élève qui utilise le processus de lecture « prélever une information explicite » dans une situation qui requiert d’utiliser le processus « intégrer des informations ».

38Cette démarche d’analyse qualitative apparait comme un moyen de dépasser et de nuancer les résultats quantitatifs généralement renvoyés par la presse aux acteurs de terrain, mais aussi d’enrichir l’analyse de la validité des évaluations et d’accroitre leur portée diagnostique. En effet, les profils de réponses développés, en contexte de lecture littéraire, s’inscrivent dans une optique de diagnostic positif soucieuse de mettre en évidence des traces d’apprentissages utiles pour guider l’activité des enseignants. Il s’agit d’observer, d’analyser, de mettre en évidence les compétences, le déjà-là des élèves, ce qu’ils ont déjà compris et construit comme démarches de compréhension à des fins de régulation proactive (Allal et Mottier Lopez, 2005 ; Mottiez Lopez et Tessaro, 2016). Il s’agit également de fournir aux formateurs des cadres pour analyser les obstacles à l’apprentissage des processus de lecture experts et soutenir la conception d’interventions pédagogiques différenciées.

39Les résultats ciblent des réponses aux questions ouvertes traitant du procédé Interpréter et intégrer. Dans un premier temps, deux catégories ont été créées pour caractériser d’une part les réponses manifestant une incompréhension de la question (64 réponses) et les réponses ne pouvant être traitées en raison de leur caractère illisible ou dépourvues de sens pour les évaluateurs (58 réponses). Ces deux catégories sont exclues de cette étude. Ensuite, une typologie comportant trois types d’erreurs reflétant des obstacles à la mobilisation du procédé Interpréter et intégrer par les élèves a été développée. Ces trois types d’erreurs seront présentés et illustrés par des exemples de réponses relatives aux deux items décrits dans la section précédente.

40Le tableau 5 met en lien les questions analysées avec les trois types d’erreurs identifiés dans chacun des deux textes de l’épreuve. La différence entre le total de réponses erronées et le total de réponses analysées correspond aux réponses non traitables (voir ci-avant).

3. Les résultats : une typologie d’erreurs pour comprendre les démarches cognitives des élèves

41Pour aller au-delà d’une analyse des réponses erronées uniquement sous l’angle de l’écart à la norme, nous avons tenté d’appréhender les démarches cognitives ayant guidé les élèves invités à « interpréter et intégrer ».

3.1. Type 1 – Prélever des informations textuelles (partiellement) erronées

42Ce premier type d’erreurs se caractérise par la mobilisation d’un procédé cognitif moins complexe que celui visé par la question. Les élèves qui commettent ce type d’erreurs semblent, pour répondre, prélever dans le texte des informations liées à une idée-clé qui se réfère à la question. Certains semblent avoir mobilisé une stratégie bien connue qui consiste à repérer dans le texte des termes inclus dans la question et à prélever une information textuelle proche.

43Dans le texte Macy et la poule rousse, la question 4 « Pourquoi la poule rousse joue-t-elle des tours à Macy ? » porte sur la raison (implicite) pour laquelle la poule joue des tours à Macy. Les réponses ci-dessous témoignent d’une possible démarche de repérage et de sélection d’informations dans le texte (197/391). Soit ces informations sont situées à proximité du mot « tour » :

• 8 Par souci de lisibilité, les réponses ont été corrigées d’un point de vue orthographique.

Parce que Macy veut l’attraper8.

Pour s’échapper.

Pour qu’elle la poursuive.

44En effet, les termes « poursuive », « attraper » et « s’échapper » figurent dans le paragraphe – ou à proximité de celui-ci – expliquant les tours joués par la poule.

45Soit les réponses s’apparentent à des retranscriptions d’un passage qui témoignent également d’une démarche de prélèvement d’informations explicites en lien avec le personnage de la poule rousse :

La poule a mangé les restes de diner que Macy a dispersés.

Lorsqu’il commençait à faire nuit toutes les poules étaient contentes de rentrer dans leur cage… sauf la poule rousse.

46Des démarches similaires sont repérables dans les réponses produites aux questions portant sur le texte Le pot vide (38/165). En effet, certaines réponses à la question 16 « Pourquoi l’Empereur a-t-il souri à Jun ? » reprennent mot pour mot les propos tenus par l’Empereur :

Les graines que je vous ai données car ces graines avaient toutes été bouillies.

Rien ne pouvait germer à partir des graines que je vous ai données car ces graines avaient toutes été bouillies !

47Enfin, certains élèves ont proposé des réponses qui montrent qu’ils ont prélevé une information du texte située avant ou après le moment ciblé par la question 4 :

Parce qu’elle est courageuse et forte.

Parce qu’elle ne veut pas rentrer dans sa cage.

48Ou la question 16 :

Parce qu’il était plein d’espoir.

Parce que Jun est le meilleur jardinier.

3.2. Type 2 – Mobiliser à mauvais escient des connaissances personnelles ou des croyances

49Une deuxième catégorie rassemble les réponses qui témoignent d’une amorce d’« interprétation » mais sans prise d’appui sur le texte. Les croyances, les connaissances personnelles ainsi que le vécu des élèves apparaissent mobilisés, mais à mauvais escient. Si ces réponses ont du sens, elles ne s’appuient que sur des suppositions de l’élève qui trahissent en quelque sorte les droits du texte.

50Pour répondre à la question 4 du récit Macy et la poule rousse, un tiers des élèves (121/391) ont essayé d’expliquer le lien entre l’action de la poule et d’autres informations qui ne se trouvent pas dans le texte telles que son caractère, ses sentiments ou une volonté de sa part.

Parce qu’elle est méchante.

Car ça l’amuse de jouer des tours à Macy.

Je pense que la poule veut se sentir utile.

Pour faire la maline.

51Certaines réponses relatives à la question 16 du texte Le pot vide, reposent sur une démarche analogue (21/165). Elles portent sur le sourire adressé à Jun par l’Empereur et reflètent une même tendance à produire une réponse exclusivement basée sur des connaissances ou un vécu personnel :

Pour être son ami.

Parce qu’il était trop content.

Il a eu pitié.

Pour le rassurer.

3.3. Type 3 – Intégrer partiellement les informations

52Ce dernier type d’erreurs regroupe des réponses basées sur les éléments du texte. Ce qui différencie la démarche de celle décrite dans la première catégorie, c’est l’intégration partielle des éléments attendus pour obtenir la réponse correcte. Cette catégorie montre que le procédé ciblé par les questions analysées est en voie d’acquisition pour 12 élèves à la question 4 et 95 à la question 16.

53La question 4 du texte Macy et la poule rousse invite les élèves à « interpréter » les raisons pour lesquelles la poule joue des tours à Macy. Certaines réponses indiquent que les élèves ont été capables d’intégrer plusieurs éléments du texte, mais ont perdu de vue ou n’ont pas tenu compte de l’ordre chronologique d’apparition des informations dans le récit. En effet, le personnage de la poule joue des tours au début du récit, avant que Macy ne tente plusieurs stratagèmes pour la faire obéir.

Parce que Macy lui en fait aussi.

Macy lui a joué des tours.

Parce que Macy lui a fait peur.

54Certaines réponses sont par ailleurs très proches de la réponse attendue (montrer qu’elle est au sommet de la hiérarchie, qu’elle est la cheffe, qu’elle se pense supérieure). Ces réponses portent des traces de démarches d’intégration mais n’explicitent pas suffisamment les liens établis, ce qui empêche de les considérer comme correctes du point du point de vue d’une enquête à large échelle.

Pour avoir la victoire.

Elle veut décider quand elle doit rentrer dans la cage.

55La question 16 du récit Le pot vide invite les élèves à donner du sens au sourire adressé par l’Empereur à Jun la fin du récit. Une majorité des élèves proposent des réponses qui rendent compte du plan échafaudé par l’Empereur, de sa responsabilité et non du résultat obtenu par celui-ci (Jun sera le prochain Empereur).

Parce que les graines qu’il a données avaient été bouillies.

Il lui a donné une mauvaise graine.

Parce qu’il savait que la plante était mauvaise.

Parce qu’il cache la vérité.

4. Discussion et conclusion

56L’explication du cadre conceptuel de l’étude PIRLS et l’analyse de l’acception donnée aux notions de compréhension et d’interprétation par différents modèles théoriques montrent que l’objet d’évaluation met en jeu un traitement des récits qui ne couvre pas l’entièreté du continuum décrit par Daunay (1997). Si le procédé Interpréter et intégrer des idées et des informations concerne en réalité la production de sens, seules les questions visant à Examiner et critiquer le contenu et les éléments textuels mettent en jeu un type bien particulier de démarches interprétatives. Les contraintes des évaluations à large échelle limitent en effet la possibilité d’utiliser des textes revêtant un caractère polysémique propice à l’élaboration de significations comme support d’évaluation.

57Examinées à la lumière du cadre d’analyse théorique de la lecture littéraire, certaines formulations peuvent prêter le flanc à la critique. Ainsi, nous convenons que la tournure de la question « Pourquoi la poule rousse joue-t-elle des tours à Macy ? » pourrait induire une confusion chez le lecteur entre le monde du texte et le monde du métatexte (métalepse du lecteur). L’analyse montre en effet que presque un tiers des réponses erronées sont liées à une mobilisation de connaissances personnelles ou de croyances à mauvais escient (erreurs de type 3). Cette confusion narrative pourrait-elle conduire les correcteurs à rejeter des réponses dont le caractère erroné aurait été induit par le métatexte de la question et donc nuire à la fidélité de la mesure ? Rappelons que le processus évalué dans cette question vise à « interpréter » et intégrer des idées et des informations, soit une reformulation globalisante du contenu du texte (Daunay, 1997) qui ne se limite pas aux textes fictionnels. Le caractère transversal des processus de compréhension évalués dans PIRLS à la fois sur des textes informatifs et fictionnels permet de réduire considérablement les risques de biais de mesure tels que cette confusion énonciative.

58L’analyse d’erreurs s’inscrit dans une approche psychodidactique des évaluations (Vantourout et Goasdoué, 2014) qui s’attache à montrer l’intérêt diagnostique des tâches de lecture-compréhension soumises aux élèves et d’une analyse des démarches de compréhension mises en œuvre pour répondre. Par conséquent, les résultats de l’évaluation à large échelle sont envisagés dans cette étude comme des indicateurs d’un niveau de développement chez les élèves. Que révèle l’analyse des erreurs des élèves de leurs compétences « d’interprétation » ?

59Le premier obstacle identifié dans les réponses de type 1 (Prélever des informations textuelles et visuelles) pourrait refléter une difficulté à identifier le procédé cognitif mis en jeu dans la question. On sait par ailleurs que certains élèves restent très attachés aux aspects explicites du texte. Ils considèrent à tort – peut-être par habitude car ce type de questions est souvent posé dans un questionnaire traditionnel de compréhension – que la réponse se trouve telle quelle dans le texte. Roland Goigoux et Serge Thomazet (1999) ont ainsi montré que certains élèves français en difficulté de lecture ont développé une représentation erronée de l’activité requise, représentation liée en partie aux tâches de lecture fréquemment proposées aux élèves : questionnaires où dominent des questions visant à extraire le sens littéral. Les réponses fournies en 2021 par les enseignants belges francophones au questionnaire PIRLS confirment cette hypothèse explicative. Les données soulignent en effet la fréquence très importante à laquelle les démarches de localisation des informations et d’identification de l’idée principale sont exercées à ce niveau scolaire (CM1) : respectivement 88 % et 55 % des élèves belges prennent part à ce type d’activités au moins une fois par semaine. Comparativement, les démarches d’interprétation et d’intégration de ce qui est lu avec les expériences et les connaissances des élèves se révèlent deux fois moins fréquentes.

60Les deux autres types d’erreurs identifiés pourraient témoigner chez certains élèves de compétences en développement. Mobiliser ses connaissances personnelles et intégrer certaines informations textuelles indiquent que certains aspects, même embryonnaires, du développement de la lecture experte ne sont pas hors de portée des élèves de cet âge. Pour autant, ces erreurs indiquent que pour nombre d’entre eux, élaborer une représentation mentale cohérente du texte qui intègre leurs connaissances et leur vécu personnel pour se représenter la situation décrite demeure un obstacle d’apprentissage à franchir. En cela, l’analyse des réponses fournies par les élèves constitue un levier pour concevoir des pistes de différentiation de l’apprentissage des processus de lecture experts qui permettent de produire une réponse expressive, subjective, émotionnelle intégrant des éléments textuels. Les erreurs relevées confirment la nécessité de renforcer l’enseignement de stratégies de compréhension qui leur permettent de mettre en œuvre de manière consciente des efforts pour mieux comprendre, interpréter ou se rappeler ce qu’ils ont lu (Shanahan et al., 2010).

61Ces difficultés ne sont pas spécifiques à l’écrit : comme le montre la méta-analyse de Karen P. Murphy et al. (2009), rares sont les échanges (discussions orales) entre élèves qui prennent en compte une réflexion sur le texte incluant les choix effectués par l’auteur et les effets produits sur la compréhension. Or, les réponses recueillies dans notre étude indiquent qu’une proportion non négligeable d’élèves mobilise ces démarches expertes mais de manière maladroite.

62L’importance des échanges en classe axés sur la construction de la signification du texte et du guidage de l’enseignant au moyen d’une discussion ciblée et de haute qualité constitue également un principe didactique clé (Shanahan et al., 2010). Ainsi, les questions adressées aux élèves pendant ou après la lecture devraient cibler les processus de compréhension experts à maitriser à ce niveau scolaire : résumer le récit, interpréter certains évènements relatés à la lumière de leur vécu, de leurs connaissances mais aussi de certains passages du texte.

63Il est évident que ces trois types d’erreurs peuvent avoir en commun des difficultés liées à la maitrise de l’écrit et, plus particulièrement, à la mise en mots non seulement de sa compréhension mais des éléments textuels qui la justifient. L’équilibre dans la ventilation des formats de questions permet néanmoins d’atténuer cet obstacle qui pourrait biaiser l’évaluation de la lecture.

64Quelles sont les limites de cette étude ? L’observation des démarches de raisonnement repose sur des réponses produites lors de la passation du test PIRLS. L’organisation d’entretiens individuels aurait sans nul doute permis d’appréhender les démarches cognitives de manière plus directe, via l’explicitation fournie par les élèves de leurs propres processus cognitifs. Notre analyse consiste plutôt à inférer les démarches de réponses d’un nombre conséquent d’élèves à partir de l’observation des paraphrases produites. Celle-ci possède donc les défauts de ses qualités : nous perdons l’explication orale spécifique de chaque réponse fournie au profit d’un nombre de réponses important et davantage représentatif des difficultés des élèves, quelle que soit la classe ou l’école dans laquelle ils se trouvent. Rappelons néanmoins que certaines réponses n’ont pu être classées faute de pouvoir accéder à leur signification.

65Partant du postulat que chaque réponse, qu’elle soit correcte ou non, est le signe d’une forme de compréhension de l’élève, nous considérons que les profils de réponses permettent aux professionnels de terrain de mieux cibler le « déjà-là » et les forces des élèves sur lesquels s’appuyer tout en ayant conscience des zones de flou et des éléments à retravailler en priorité. Cette étude soutient l’idée selon laquelle il est essentiel, tant pour les chercheurs que pour les enseignants, d’analyser les tâches d’apprentissage et d’évaluation : l’analyse des profils de réponses met en lumière la difficulté pour les jeunes lecteurs d’articuler leurs expériences avec les évènements d’un récit. En mettant l’accent non pas sur la réussite ou non de chaque question, mais sur l’information qu’une « erreur » peut apporter sur le niveau de compréhension des élèves, nous souhaitons donner une dimension supplémentaire aux informations fournies par des études à large échelle telles que PIRLS. Un enseignant capable d’identifier le type d’erreurs commises par l’élève ou de déterminer son niveau de maitrise de chaque processus sera mieux à même de lui venir en aide. Ainsi, les différents types d’erreurs identifiés considérés comme des obstacles à l’apprentissage de la lecture experte constituent des cibles d’enseignement pour les professionnels.

66Néanmoins, il s’agit d’une tâche complexe qui requiert énormément de temps et n’est pas toujours compatible avec la réalité de la vie d’une classe. C’est pourquoi ce type d’étude peut fournir aux enseignants de premières pistes d’analyse, une base sur laquelle s’appuyer pour porter un regard diagnostique sur les traces écrites de la compréhension de leurs élèves. Résumées dans des capsules vidéo, ces analyses d’erreurs sont mises en ligne sur le site PIRLS destiné aux enseignants belges francophones, aux côtés des textes et questionnaires rendus publics depuis 2006. Ces ressources constituent de véritables supports de formation. Ils permettent à la fois de rendre visibles les processus cognitifs ciblés par l’épreuve en les contextualisant et de porter un regard positif sur les erreurs des élèves en mettant en évidence les traces de compétences en développement qu’elles recèlent. Souhaitons qu’elles puissent de ce fait contribuer à réduire l’écart entre le monde des pratiques de terrain et celui des recherches en lecture.