1Trouvant un fondement théorique dans l’usage du concept anglo-saxon de littératie, les programmes d’évaluation des grandes institutions internationales ont, en retour, contribué à sa diffusion géographique et à son extension conceptuelle. C’est le cas notamment du Programme international de suivi des acquis des élèves (PISA), piloté par l’Organisation de coopération et de développement économiques (OCDE), devenu, depuis son lancement en 1997, une référence mondiale en termes de comparaison des systèmes scolaires (par exemple : Shimizu, 2012). Cherchant à mesurer « non seulement les connaissances des élèves mais aussi leur capacité à réfléchir et à appliquer leurs connaissances et leur expérience dans des situations tirées du monde réel » (OCDE, 2003, p. 10), le PISA a en effet construit son évaluation autour de la notion de littératie.
- 1 Précisons à cet égard que, dans cet article, nous utilisons l’orthographe littératie choisie dans (...)
2Comme le précise le cadre de la première édition du PISA (OCDE, 1999) en s’appuyant sur des enquêtes internationales antérieures, les contenus évalués dans ce programme ne sont donc pas directement référés à des disciplines scolaires instituées, mais à de larges domaines de compétences supposés requis pour comprendre et agir dans la vie sociale : les littératies. On sait que les documents que le PISA diffuse en français n’optent pas, en général, pour ce calque français de literacy : ces grands domaines y sont ainsi désignés par « compréhension de l’écrit » (traduction choisie pour reading literacy), « culture mathématique » (mathematical literacy), « culture scientifique » (scientific literacy) ou encore, dans les éditions suivantes, « culture financière » (financial literacy). Ces choix terminologiques manifestent la réticence conceptuelle tenace, observée en France à l’égard du terme littératie1, sans doute trop proche d’illettrisme et d’analphabétisme (OCDE, 1999, p. 24) ou trop concurrent de littérature (Grossmann, 1999, p. 142 ; Chiss, 2008, p. 169), réticence qui a conduit soit à des variations orthographiques et morphologiques du mot soit à l’emploi alternatif d’expressions diverses (Barré-De Miniac, 2002 ; Jaffré, 2004).
3Dans le but de contribuer à l’exploration des approches théoriques de la littératie, nous nous proposons de décrire, en essayant notamment d’interroger « les croisements et recouvrements entre la littératie et les problématiques didactiques » (Chiss, 2008, p. 169), comment ce concept est abordé dans le PISA, dont les orientations et les résultats sont largement repris et cités comme exemplaires dans les sphères scientifiques aussi bien que politiques et médiatiques. Cette démarche nous conduira à étudier les fondements conceptuels et méthodologiques de la littératie dans le PISA et à rendre compte du paradoxe majeur qui caractérise l’ensemble de l’entreprise évaluative de ce programme : alors que le PISA prétend construire des situations « authentiques » (OCDE, 1999, p. 60) pour atteindre la littératie des élèves susceptible de leur servir dans leur vie quotidienne, ce programme met en œuvre une conception universaliste de la comparaison en éducation qui le conduit à envisager une épreuve unique conçue, administrée et corrigée selon des principes uniformes et standards, bien qu’elle s’adresse à des participants d’horizons culturels, linguistiques ou sociaux divers.
4Pour mettre en lumière cette approche paradoxale de la littératie, qui se réfracte dans l’ensemble du programme – des considérations théoriques aux modalités de fonctionnement des exercices du test –, nous adopterons une perspective critique, voire polémique, fondée sur les approches majeures (notamment didactiques) de la littératie et nourrie, en arrière-fond, des apports des débats internationaux sur les enquêtes quantitatives comparatistes internationales (cf. particulièrement Goldstein, 2017 ou Hopmann, Brinek et Retzl, 2007) et de la tradition de recherche sur les évaluations en didactique (par exemple, Bain, 2003 ; Chevallard, 1986 ; Robin, 2002). Cette perspective critique que nous adoptons ici, comme dans nos autres travaux sur le PISA (notamment Bart et Daunay, 2016), s’explique par l’impression étrange que nous fait toujours, à la lecture des textes de ce programme, l’écart entre l’insistance sur la rigueur scientifique mise en avant par ses concepteurs et les approximations théoriques et méthodologiques qu’un examen attentif de ses textes fait apparaître.
5Nous chercherons tout d’abord à décrire le soubassement théorique donné au concept de littératie, en analysant un ensemble de rapports diffusés par l’OCDE, que ce soit pour faire état du cadre d’évaluation des différentes éditions du test du PISA ou pour rendre publics les résultats obtenus. Nous montrerons ensuite comment le PISA construit les concepts de contexte et de situation, qu’il présente comme fondamentaux dans son approche de la littératie : pour ce faire, nous avons choisi de nous pencher, non pas sur l’approche générale de la littératie dans le programme, mais plus spécifiquement sur le cadre conceptuel relatif au domaine de la littératie scientifique. Ce choix est en cohérence avec la troisième partie, où nous entrerons dans le détail du fonctionnement des tests du PISA, en analysant le fonctionnement d’un extrait d’exercice tiré de ce domaine : n’étant pas didacticiens des sciences, nous nous centrerons moins sur les contenus scientifiques en jeu que sur le fonctionnement discursif et langagier du test ; par-delà les spécificités de la littératie scientifique, cela nous permettra de faire apparaître comment l’approche de la littératie dans le PISA le conduit à ébaucher des situations chargées d’une dimension fictionnelle pour tenter de figurer un monde « réel » et y projeter les élèves.
- 2 Plus encore que dans les enquêtes antérieures, le PISA veut d’ailleurs insister sur cette dimensio (...)
6D’une manière générale, la visée principale affichée par le PISA est d’évaluer si les élèves proches du terme de leur scolarité obligatoire (élèves de 15 ans) ont développé une littératie définie comme « la capacité […] d’exploiter des savoirs et savoir-faire dans des matières clés [compréhension de l’écrit, culture mathématique et culture scientifique] et d’analyser, de raisonner et de communiquer lorsqu’ils énoncent, résolvent et interprètent des problèmes qui s’inscrivent dans divers contextes » (OCDE, 2012, p. 13). C’est à cette fin que le PISA évalue, dans l’activité de lecture, comment « le lecteur construit du sens en utilisant ses connaissances antérieures et une série d’indices liés au texte et à la situation, qui sont souvent partagés par les membres de sa culture ou de sa société » (ibid.2). Avec cette approche centrée sur la littératie, qui « fait référence à [une] conception large des connaissances et des compétences » (OCDE, 2003, p. 10), le PISA « se concentre sur ce dont les jeunes de 15 ans auront besoin dans leur vie future et cherche à déterminer ce qu’ils pourront faire grâce à ce qu’ils auront appris » (ibid.). Pourtant, dans les rapports du programme, cette conception d’une évaluation de la littératie proche de la vie des élèves et d’un test « représentatif de la diversité linguistique et culturelle des pays participants » (OCDE, 1999, p. 28) coexiste avec un discours qui insiste à l’inverse sur la « validité interculturelle » des épreuves (OCDE, 2013, p. 212) et leur standardisation permettant de neutraliser tout effet de diversité contextuelle sur le plan linguistique ou social. C’est ce qui conduit Moreau, Nidegger et Soussi (2006) à indiquer que, dans le PISA :
la diversité culturelle est bien envisagée comme une difficulté à surmonter et à réduire et non comme un élément constitutif du domaine à mesurer. Cela peut avoir pour conséquence que pour garantir les possibilités de comparaison, on définisse un plus petit dénominateur commun qui soit éloigné de toutes les situations locales existantes. (para. 5)
7Ce n’est donc pas sans paradoxe que le PISA affirme à la fois s’intéresser à la littératie pour chercher « à établir si les élèves de l’âge ciblé sont préparés à entrer dans le monde du travail et à jouer un rôle actif en tant que membres de leur communauté » (OCDE, 1999, p. 26), tout en mettant en œuvre un protocole uniforme dans l’ensemble des pays participants (environ 80 pays et territoires dans le PISA 2018). Et l’analyse des écrits du PISA montre que cette tension paradoxale se manifeste dans l’ensemble des orientations théoriques et méthodologiques du programme sur la littératie (Bart et Daunay, 2016).
8Ainsi, le programme fait le choix d’évaluer la littératie dans la langue d’enseignement, sans véritablement interroger le fait qu’il n’est pas rare que la langue d’usage des élèves soit différente de celle de l’école : les effets en sont discutés sur les systèmes éducatifs (OCDE, 2019, p. 72), pas sur le programme d’évaluation lui-même.
- 3 Puisque, près de 20 ans plus tard, l’OCDE peut utiliser les résultats du PISA (sans référence préc (...)
9Par ailleurs, l’évaluation des « connaissances, [de] la compréhension et [d]es compétences requises pour fonctionner de manière efficace dans la vie quotidienne » (OCDE, 2000, p. 10) est en fait ramenée à l’évaluation de « la culture ou la littératie que requiert une participation effective dans la société actuelle » (ibid., nous soulignons). Une société actuelle, dont on ne sait jamais exactement quelle réalité historique elle recouvre3, mais dont l’extension géographique peut être entendue comme celle qui rassemble les pays de l’OCDE. C’est ce dont pourrait attester l’affirmation selon laquelle le PISA vise à évaluer la littératie qui permettrait « aux individus de participer et contribuer pleinement à la vie d’une société moderne prospère » (OCDE, 2011, p. 197 ; nous soulignons).
- 4 D’après OCDE (1999, p. 49), « la culture mathématique est l’aptitude d’un individu à identifier et (...)
- 5 Pour le PISA, « comprendre l’écrit, c’est non seulement comprendre et utiliser des textes écrits, (...)
10Cette orientation, conforme aux principes fondateurs de l’OCDE (OCDE, 1960, article 1), n’interroge pas moins le fondement d’un discours qui insiste dans le même temps sur sa proximité avec la pluralité des formes sociales ou culturelles actuelles et des littératies diverses qu’elles engagent. Dès lors, on peut se demander à quelle « vie réelle » renvoie, pour un élève en Russie, au Qatar, en République Dominicaine ou en Suisse, une définition de la littératie (ou culture) mathématique4 dans le PISA qui insiste particulièrement sur la propension des élèves à s’y engager « en fonction des exigences de sa vie présente et future en tant que citoyen constructif, impliqué et réfléchi » (OCDE, 1999, p. 49). Le PISA ne nous en dira pas plus sur le sens « réel » que peut prendre la notion de citoyenneté dans ces différents contextes. De même que nous ne saurons pas ce que recouvre, pour un élève de Brunéi, de Chine, de Grèce ou de Panama, autres pays participants au PISA 2018, une conception de la compréhension de l’écrit5 qui veut manifester l’idée que la littératie « permet aux gens d’apporter une contribution à la société, autant que de répondre à leurs propres besoins » à travers l’utilisation de l’expression « prendre une part active », qui « suppose un engagement social, culturel et politique » (OCDE, 1999, p. 25).
11Dans le PISA, cette conception extensive de la littératie, qui conduit à une forme de généralisation et d’aplanissement historique, géographique, culturel, politique ou social, a aussi une portée prédictive : la définition de la culture mathématique que nous venons d’évoquer fait ainsi référence aux « exigences de [l]a vie présente et future » des élèves (OCDE, 1999, p. 49 ; nous soulignons). Pour le PISA, les compétences constituent en effet moins des ressources des « élèves de 15 ans » au moment où ils sont testés que des « aptitudes jugées essentielles dans la vie future », puisqu’il s’agit de déterminer les « compétences qui leur serviront dans leur vie ultérieure » (ibid., p. 13). Cette possibilité de ramener le « futur » au présent ou de projeter le présent sur l’avenir est d’ailleurs formulée dans la question initiale de la première édition du test : « Dans quelle mesure les jeunes adultes sont-ils prêts à relever les défis de demain ? » (ibid., p. 7). Mais rien ne vient là encore détailler sur quels éléments se fonde cette vision prospective de la littératie ni même expliquer la possible contradiction interne de l’affirmation « exigences de [l]a vie présente et future » (OCDE, 1999, p. 49). Voulant en préciser le sens dans le cadre de sa définition de la culture mathématique, le PISA écrit seulement : « Les termes vie présente et future de l’individu comprennent sa vie privée, professionnelle et sociale avec son entourage et ses proches, ainsi que sa vie en tant que citoyen et membre d’une collectivité. » (ibid., p. 50).
12Ce sont pourtant les principes de cette approche globalisante spatiale et temporelle de la littératie et de la « vie », que Goody (2001), alors appelé à donner son avis sur le projet Definition and Selection of Competencies (DeSeCo) d’identification de compétences génériques mené sous les auspices de l’OCDE, avait dénoncé. Retenons ces deux passages (Goody, 2001) :
The notion that there should be any general competency for living in one country let alone across nations seems open to serious questions, not only questionable but dangerous. It is questionable because different countries have different life courses. And within countries there are clearly different expectations in terms of the lives that people are likely to lead and that are required to fill their social, cultural and economic needs. (p. 184).
There is no competency without an end. The end cannot be competence for “an individually and socially valuable life” in the abstract since such lives differ enormously both within and between cultures. (p. 186).
13Ces mots de Goody rappellent que « le concept de littératie a d’abord une assise anthropologique » (Grossmann, 1999, p. 141). Et on voit bien ici l’intérêt pour le PISA de renoncer à toute approche théorique issue de l’anthropologie (comme de la sociologie ou de la didactique, entre autres), car cela aurait obligé à conceptualiser de manière plus complexe sans doute la question de « la diversité des pratiques autour de l’écrit » (ibid., p. 145), quand les diverses approches de la littératie insistaient sur « l’importance des contextes sociaux, culturels et discursifs où l’écrit était utilisé » (Delcambre et Pollet, 2014, p. 4). À cet égard, les auteures rappellent opportunément, comme du reste l’illustrent nos citations de Goody ci-dessus, que les dimensions culturelle, sociale et politique de la littératie n’avaient pas échappé à ce dernier, malgré les polémiques engendrées par la lecture à charge de ses travaux, relativement réductrice, qu’en a faite Street (1984) et, à sa suite, les New Literacies Studies (à cet égard, voir Goody, 2007).
- 6 L’approche théorique du PISA du concept de littératie emprunte largement en effet à la psychologie (...)
14Paradoxalement, c’est précisément le gain principal de l’adoption du concept de littératie, à savoir la prise en compte de la matérialité des pratiques de l’écrit (Reuter, 2014), des variations notamment historiques et géographiques (Chartier, 2007) ou des contextes sociaux et culturels (Donahue, 2019), qui est ainsi perdu par une conception abstraite de la situation plus en accord avec le soubassement cognitiviste du PISA6. De fait, il était sans doute plus simple pour le PISA d’élaborer, au nom de cette diversité, des épreuves et un cadre théorique réalisant une essentialisation paradoxale d’une certaine vie réelle (Bart, 2014), d’une société dite moderne et prospère, et des littératies génériques que le PISA y rattache. Nous allons en voir une illustration dans la partie qui suit, à travers l’étude des modalités de construction des situations d’évaluation de la littératie par le PISA.
- 7 Précisons que le PISA recueille, via des « questionnaires contextuels », des informations auprès d (...)
15En se centrant sur la littératie, le PISA veut évaluer « la capacité des élèves à appliquer dans leur vie de citoyens les savoir-faire et les connaissances qu’ils auront acquis » (OCDE, 1999, p. 74). Même si, nous l’avons vu, les vies de citoyens possibles semblent dans le PISA ramenées à un modèle unique, il s’agit néanmoins pour le programme de développer une approche de la littératie référée à des contextes effectifs de mise en œuvre7 qui ne soient pas seulement scolaires :
Les épreuves d’évaluation du plan OCDE/PISA seront limitées aux contextes authentiques. Un contexte est considéré comme authentique s’il se situe dans le domaine du vécu et des pratiques effectives des participants, dans un cadre réel. (OCDE, 1999, p. 60)
- 8 Selon OCDE (1999, p. 68) : « La culture scientifique est le fait de pouvoir utiliser des connaissa (...)
16Pour mener à bien cet objectif majeur qu’il se donne, le PISA identifie, pour chacun des trois grands domaines de littératie, non seulement une série de concepts, de savoir-faire, d’attitudes ou de types de tâches caractéristiques, mais aussi des situations dans lesquelles ces types de littératie seraient engagés. Par exemple, la littératie scientifique8 est en jeu dans le PISA 2000 (OCDE, 1999), dans quatre situations, selon que les items portent sur :
des aspects qui concernent l’individu et sa famille (situation personnelle), la collectivité (situation publique), la vie dans le monde en général (situation globale) et sur des situations qui illustrent comment évolue le savoir scientifique et l’impact qu’ont pour la société les décisions impliquant des questions scientifiques (pertinence historique). (p. 74)
17Prenant appui sur cet inventaire, dont on ne discutera ici ni la pertinence ni la modélisation du réel qu’il dessine, il suffira ensuite au PISA de s’assurer que les problèmes posés dans les exercices du test soient en rapport avec l’une ou l’autre de ces situations pour pouvoir affirmer que les épreuves administrées « relèvent de la vie en général, et non de la seule vie à l’école » (OCDE, 1999, p. 74.). Paradoxalement, on comprend donc que, pour le PISA, il suffit qu’une évaluation scolaire simule une situation extrascolaire pour que soient entérinées l’authenticité de l’évaluation de la littératie et sa proximité avec « la vie ».
- 9 Pour notre part, quand nous utilisons ces termes de notre propre chef, nous donnons à contexte le (...)
18Ce paradoxe est possible par la négligence de toute réflexion sur les difficultés que génère la « contextualisation » elle-même en matière d’évaluation ou d’enseignement (Grossmann, 1999, p. 150 sqq. ; Hindryckx et Schneider, 2019), ou sur l’apprêt didactique que suppose la construction d’exercices d’évaluation (Chevallard, 1986) ou encore le fait que la situation effectivement vécue par l’élève est d’abord celle du test auquel il est soumis, et que le contexte effectif de réalisation est un contexte scolaire, soumis à quelques contraintes institutionnelles, dont les contraintes disciplinaires, n’en déplaise au PISA ! Ce manque de précision théorique s’accompagne d’une réelle indistinction des termes contexte et situation dans les propos du PISA. Cela est du reste précisé dans le premier cadre d’évaluation du programme, quand il est question d’une « caractéristique des tâches d’évaluation qui affecte la performance des élèves et qu’on désigne souvent par des expressions comme contexte ou mise en œuvre des questions. Nous préférons utiliser le mot situation, afin d’éviter les confusions que peut entraîner l’emploi de ces termes » (OCDE, 1999, p. 74). Cela n’empêche pas le PISA d’utiliser des termes de la famille de contexte9 dans ce même rapport (86 occurrences contre 138 pour la famille de situation). Contrairement à l’usage qu’en fait le PISA, c’est pourtant l’intérêt de la notion de littératie de permettre de clarifier ces diverses contraintes institutionnelles qui pèsent sur l’écriture. Ainsi, Grossmann (1999, p. 140) montrait l’intérêt d’une définition de la littératie empruntée à Pierre (1994), qui permettait de penser le lien « entre trois domaines souvent disjoints : le terrain des pratiques sociales et des représentations, celui du système de l’écrit, celui des apprentissages ». Cela est d’autant plus surprenant pour qui n’ignorerait pas que le concept de littératie conduit justement à « repenser les modalités d’enseignement en interdépendance avec les processus d’apprentissage des élèves » (Dupont, 2014, p. 66), ce qu’ont illustré de nombreuses études, notamment didactiques – par exemple, outre les auteurs déjà cités : Dabène (2002) ; David (2015) ; Kara et Privat (2006) ; Marquilló-Larruy (2012) ; Molinié et Moore (2012) ; Meyer et Pellat (2017).
19Comme nous le verrons plus loin avec un exemple d’exercice, nombre de didacticiens ont pu évidemment montrer que cette forme d’authenticité dans le PISA tendait à reproduire les fonctionnements traditionnels de l’évaluation scolaire et disciplinaire (voir, par exemple, en culture scientifique : Sjøberg, 2015 ; pour une approche généraliste : Bart et Daunay, 2016). Ce qui n’empêche pas le PISA d’affirmer l’authenticité de son approche de la littératie. Poursuivons donc l’exploration de la construction des situations d’évaluation de la littératie en science dans le PISA en nous arrêtant sur les éditions de 2006 et de 2015 où la culture scientifique était le domaine majeur testé.
20Le Cadre d’évaluation publié à cette occasion propose une définition des situations d’évaluation de la culture scientifique quasiment identique à celle que nous avons citée pour l’édition 2000 : parmi les quatre situations déclinées, seule la « situation publique » a été renommée en « contexte social » (OCDE, 2006, p. 30).
21Cependant, si l’on se penche sur les « Contextes de l’évaluation de la culture scientifique PISA 2006 » (ibid.), détaillés dans un tableau publié dans ce même document, et sur la même page, on découvre néanmoins qu’il n’est plus question de contexte historique mais seulement des trois contextes « personnels (l’individu, sa famille et ses semblables) », « sociaux (la collectivité) », et « globaux (la vie dans le monde) ». Difficile de s’y retrouver donc, d’autant qu’une phrase de présentation du tableau en question indique qu’au-delà de ces trois types de situations, « d’autres contextes (historiques ou technologiques, par exemple) […] sont également prévus » (ibid.).
22Nous n’avons pas trouvé, dans la suite de ce rapport, de précision sur ces deux contextes « prévus » pas plus que dans le Cadre d’évaluation de l’édition 2015 du PISA (OCDE, 2016a), où la littératie scientifique était également le domaine majeur testé. On peut même penser que ce nouveau document ajoute une certaine complexité dans le système de catégorisation du programme.
23Ainsi, ce rapport indique (ibid., p. 13) que la dénomination des situations a été modifiée depuis le PISA 2006 « pour que l’intitulé des catégories soit plus cohérent » : les questions sont désormais relatives à des situations « personnelles, locales/nationales et mondiales, tant actuelles qu’historiques ». On peut observer qu’outre leur nom (« locales/nationales » pour « sociales » ; « mondiales » pour « globales »), leur nombre semble aussi avoir changé puisque la « situation historique », au statut incertain en 2006, apparaît, en 2015, transversale aux trois autres catégories renommées. Or non seulement ce choix n’est pas expliqué, mais on trouve un peu plus loin dans le même document une déclinaison quelque peu différente :
Dans les épreuves de sciences de l’enquête PISA 2015, les items se situent dans des contextes qui se rapportent aux élèves, à leur famille et à leurs pairs (contextes personnels), à leur communauté (contextes locaux et nationaux) et au monde (contextes mondiaux). Des sujets technologiques peuvent être utilisés comme contexte commun. Certains items peuvent se situer dans un contexte historique pour évaluer dans quelle mesure les élèves comprennent les processus et les pratiques qui ont permis de faire des découvertes scientifiques (p. 26).
24De manière divergente avec l’information donnée à la page 13 (OCDE, 2016a), un contexte historique paraît donc bien envisagé à la page 26 (ibid.), tout comme un contexte commun sur lequel le lecteur n’aura aucune précision, sans que l’on comprenne bien leur statut. D’autant plus que cette définition des situations de mise en œuvre de la littératie scientifique est suivie (toujours p. 26) d’un tableau quasiment identique à celui que nous venons d’évoquer pour l’édition 2006 (OCDE, 2006, p. 30), où il n’est toujours pas question de contexte historique (et de contexte commun) mais seulement des trois contextes personnels, locaux/nationaux et mondiaux… Inutile de préciser, là encore, que ces deux contextes historiques et communs n’apparaissent pas non plus dans l’ensemble du rapport concerné. Notons seulement que la phrase de présentation du tableau publié pour l’édition 2006 (OCDE, 2006, p. 30) et qui évoquait que « d’autres contextes (historiques ou technologiques, par exemple) […] sont également prévus » n’apparaît plus dans les lignes qui précède le tableau publié pour l’édition 2015 (OCDE, 2016a, p. 26).
25Il n’est donc pas aisé pour le lecteur de s’y retrouver dans ce qui touche pourtant, selon le PISA lui-même, à une caractéristique centrale de son approche de la littératie – et qui est au cœur de ce concept (Barré-De Miniac, Brissaud et Rispail, 2004). Nous allons cependant nous intéresser au fonctionnement de l’un de ces exercices en culture scientifique (une unité dans le langage du PISA) qui « s’inscrivent dans des contextes qui ne se limitent pas à ceux abordés aux cours de sciences dans le cadre scolaire » (OCDE, 2016a, p. 26). Ce sera l’objet de la partie suivante.
26Le Cadre d’évaluation du PISA 2015 (OCDE, 2016a) propose trois exemples d’unités dont l’une, créée à l’occasion de cette édition du programme, « illustre le cadre d’évaluation de la culture scientifique de 2015 » (p. 32). Cet exercice, dénommé « Tabagisme » (p. 36-38) « explore les divers types de faits utilisés pour dénoncer les méfaits du tabagisme et présente des méthodes d’aide au sevrage tabagique » (ibid.). Sans plus de précision, il s’inscrit selon le PISA dans « un contexte local/national » (p. 37) même si l’on aurait pu penser qu’une réflexion sur les « méfaits du tabagisme » ancrée dans le quotidien d’élèves adolescents de 15 ans pouvait opportunément être rattachée à leur « contexte personnel ».
27Mais ce n’est là qu’une interrogation mineure au regard de l’étonnement que suscite la première question de cette unité : on y découvre en effet que cet exercice rattaché par le PISA à un « contexte local/national » propose en fait une situation qui se déroule dans un cadre précisément scolaire ! L’exercice met en effet en jeu « Jean et Rose » qui « font des recherches sur le tabac dans le cadre d’un projet scolaire » (OCDE, 2016a, p. 36 ; souligné par nous). L’idée, que nous avions dégagée plus haut de la lecture des principes édictés par le PISA, selon laquelle la situation simulée par l’exercice déterminait le type de situation de mise en œuvre de la littératie, semble donc contredite. Mais, compte tenu de ce que « la situation est la partie du monde de l’élève dans laquelle les tâches s’inscrivent » (OCDE, 2006, p. 29), nous n’aurons aucune explication sur ce nouveau paradoxe qui conduit le PISA à ne pas considérer un exercice qui met en scène des élèves menant un travail scolaire comme une authentique situation scolaire…
- 10 Les élèves « Jean et Rose » sont dénommés « John and Rose » dans la version anglophone (OECD, 2016 (...)
28Nous passerons rapidement sur la vision stéréotypée des élèves que dénote le choix des prénoms de « Jean et Rose »10, dans un programme dont « des ressources et des efforts importants sont déployés pour garantir la diversité culturelle et linguistique, ainsi que l’équilibre des épreuves » (OCDE, 2016a, p. 10), et nous nous arrêterons sur le contenu de cette première question.
29Sans rien dire des deux élèves concernés et du cadre scolaire dans lequel ces derniers ont un projet à mener, cette question (OCDE, 2016a) présente, sous la mention « Ce que Jean a trouvé », le dessin d’un personnage en train de lire un document et dont une bulle placée au niveau de la tête contient le texte suivant :
Dans les années 50, des études ont montré que les goudrons contenus dans la fumée de cigarette provoquaient des cancers chez la souris. Les fabricants de tabac ont déclaré qu’aucun élément ne montrait que la cigarette provoquait des cancers chez l’homme. Ils ont aussi commencé à produire des cigarettes avec filtre (p. 36).
30Les élèves testés sont invités à lire « ce que Jean a trouvé » (sans indication de source), puis à sélectionner « dans la liste ci-dessous deux raisons expliquant pourquoi les fabricants de tabac ont pu déclarer qu’aucun élément ne montrait que la cigarette provoquait des cancers chez l’homme » (OCDE, 2016a, p. 36) :
- l’homme est immunisé contre les goudrons ;
- les expériences ont été faites sur des souris ;
- les substances chimiques dégagées par le tabac qui se consume atténuent les effets des goudrons ;
- l’homme ne réagit pas nécessairement comme la souris ;
- le filtre des cigarettes élimine tous les goudrons.
31Une première lecture de cette question à choix multiples peut tout d’abord laisser penser que rien ne distingue cet exercice rattaché à la culture scientifique d’un exercice de compréhension de l’écrit. Saisir, dans « ce que Jean a trouvé », que pour les cigarettiers l’étude en question ne concerne pas les hommes, suppose en effet davantage d’identifier une logique argumentative que d’être capable d’« interpréter des faits sur la base de concepts scientifiques connus », comme l’écrit le PISA dans son commentaire de la question (OCDE, 2016a, p. 37). De même, le statut de la dernière modalité est plus à identifier en fonction de sa place dans le petit écrit à lire que par rapport à son contenu. Les élèves n’ont enfin pas à se prononcer ici sur la scientificité de l’argument choisi ni à proposer une démarche scientifique qui permettrait de le valider (Le Hebel, Montpied et Tiberghien, 2012).
32Partant de l’idée que « les individus cultivés sur le plan scientifique sont prêts à s’engager dans des raisonnements sensés à propos de la science et de la technologie » (OCDE, 2016a, p. 13), on peut penser qu’il est intéressant de choisir une situation où une argumentation scientifique est utilisée à d’autres fins que théoriques (ici industrielle ou commerciale), phénomène discursif sous-entendu par le texte lorsqu’il est précisé que les fabricants ont « commencé à produire des cigarettes avec filtre » au moment où ils déclaraient « qu’aucun élément ne montrait que la cigarette provoquait des cancers chez l’homme ». Mais il convient de noter l’absence de distance prise par la question avec ce phénomène ou de voir que les élèves ne sont pas appelés à se prononcer à son sujet. Ainsi le PISA ne demande pas aux élèves comment les fabricants de tabac justifient leur position ou quel argument ils utilisent, mais « pourquoi les fabricants de tabac ont pu déclarer qu’aucun élément ne montrait que la cigarette provoquait des cancers chez l’homme » (nous soulignons).
33Demandant aux élèves d’« expliquer des phénomènes de manière scientifique » (OCDE, 2016a, p. 37), le PISA construit donc une situation qui suppose d’entrer dans la logique d’une industrie du tabac utilisant des arguments méthodologiques pour défendre leur activité, en identifiant les limites d’une étude scientifique sur les effets du tabac. On peut y voir une forme de littératie authentique, mais cette approche de la culture mérite d’être discutée pour un exercice qui cherche notamment à « explore[r] les divers types de faits utilisés pour dénoncer les méfaits du tabagisme » (OCDE, 2016a, p. 36). Cela nous amène, en tout cas, à questionner la conception du PISA : évaluer la « capacité […] de s’engager dans des questions et des idées en rapport avec la science en tant que citoyens réfléchis » (OCDE, 2016a, p. 13) semble bien devoir être entendu au sens premier : il s’agirait moins de construire des situations qui placent les élèves dans une posture d’identification du rôle des faits scientifiques dans un fonctionnement rhétorique particulier, ce qui permet de s’en distancier, que de les amener à devoir entrer dans une telle rhétorique, fût-elle stratégique.
- 11 Cette seconde question est également une question fermée mais il faut préciser que le PISA comport (...)
34Bien sûr, comme nous n’avons eu accès qu’aux deux premières questions des neuf que comporte l’unité, il n’est pas interdit de penser que d’autres questions viennent interroger le fonctionnement d’un discours qui utilise des faits scientifiques comme arguments. Mais la deuxième question11, que nous allons maintenant détailler, permet précisément d’observer que le PISA cherche à établir une situation de débat d’arguments et non d’interrogation des arguments. Ainsi, cette question porte sur « ce que Rose a trouvé », « lors de ses recherches sur le tabac » (OCDE, 2016a, p. 37) : un graphique, reproduit ci-après en noir et blanc, présentant l’évolution entre 1900 et 1980, d’une courbe du nombre annuel de cigarettes fumées par les hommes et une courbe du nombre de décès annuels par cancer du poumon pour 100 000 hommes.
Figure 1 : graphique refait d’après l’unité « Tabagisme » (OCDE, 2016a, p. 37)
35Avec cette question, on peut penser que l’idée du PISA est de conduire les élèves à opposer un contrargument « scientifique » à l’avis des « fabricants de tabac ». Il veut en effet évaluer ici la capacité des élèves à « interpréter des données et des faits de manière scientifique » (OCDE, 2016a, p. 37). Or nous allons voir que cette intention est mise à mal par les modalités de mise en œuvre de l’exercice.
36Parmi une liste de quatre « affirmation[s] », les élèves doivent identifier laquelle « décrit le mieux les données du graphique » :
- le graphique montre que tous les hommes qui fument ont développé un cancer ;
- le graphique montre que plus d’hommes fumaient dans les années 40 qu’en 2010 ;
- il n’y a pas de lien entre le nombre de cigarettes consommées et le nombre de décès dus au cancer du poumon ;
- il y a un lien positif entre le nombre de cigarettes consommées et le nombre de décès dus au cancer du poumon.
37Observons tout d’abord, en matière de « scientificité » et de contextualisation, non seulement l’absence de mention précise, dans le graphique, des populations concernées par ces « données », mais plus encore la confusion des indications disponibles : ainsi les deux courbes sont intitulées respectivement « Consommation de cigarettes (hommes) » et « Cancer du poumon (hommes) » tandis que les deux axes des ordonnées sont titrés « Nombre de cigarettes fumées par personne par an » et « Décès provoqués par le cancer du poumon (par 100 000 individus) » (les soulignements sont du PISA). Ce n’est probablement pas là une volonté du PISA de créer une difficulté dans la tâche puisque, même s’il n’y a pas de source indiquée, le programme présente ce graphique comme « des données authentiques ».
38S’agissant d’« évaluer dans quelle mesure les élèves comprennent des données » (OCDE, 2016a, p. 39) il aurait été justement intéressant sur le plan de la littératie, là encore, de faire réagir les élèves sur la qualité du document. À l’inverse, l’exercice construit par le PISA réclame des élèves, non pas qu’ils interrogent ce graphique, mais qu’ils déterminent l’« affirmation » qui « décrit le mieux les données du graphique » ; « données » dont nous venons de pointer quelques limites… Précisons cependant que Bodin et al. signalent (2016, p. 25) que les unités rendues publiques sont plus particulièrement susceptibles d’approximation que les unités non libérées.
39Mais il faut encore souligner que la réponse validée (« Il y a un lien positif entre le nombre de cigarettes consommées et le nombre de décès dus au cancer du poumon »), ne précise pas explicitement quels sont les sujets sur lesquels elle porte, alors même que c’était l’enjeu de la question précédente (les hommes vs les souris). Cette approche de la littératie construite par le PISA conduit donc de nouveau les élèves à endosser une réflexion ambiguë. Cela reste étonnant lorsque c’est la capacité à un usage réfléchi de la culture scientifique que le programme veut évaluer : c’est que le PISA cherche moins à évaluer la littératie des élèves dans la situation de test à l’œuvre, que dans la situation fictive que le test construit et où l’élève est appelé à se projeter.
40Observons pour finir que ces approximations, dans l’identification des sujets concernés par le discours du PISA, se manifestent également lorsqu’on compare les versions du test dans quelques langues différentes. Ainsi, dans la version francophone, nous avons vu que le premier item traitait de l’extrapolation d’une observation scientifique faite sur des souris au développement du cancer « chez l’homme » (OCDE, 2016a, p. 36) tandis que le second item présente des données relatives aux « hommes » (ibid., p. 37), dans un sens que l’on suppose plus restrictif. La lecture de la version anglophone et hispanophone du test permet de le confirmer. Dans l’item 1, il y est question du « cancer in humains » (sic) et de l’immunité des « humans » (OECD, 2016, p. 33) ou du cancer « en las personas » ou « en humanos » (OCDE, 2016b, p. 38) tandis que dans l’item 2 apparaissent cette fois men (OECD, 2016, p. 34) et hombres (OCDE, 2016b, p. 39).
41On peut penser que l’élève francophone n’est pas désavantagé par cette dimension implicite du discours, bien que cela ajoute sans doute de l’ambiguïté à l’approximation des désignations que nous avons décrite plus haut. Mais cela interroge surtout la conception des langues à l’œuvre dans un programme pourtant centré sur la littératie et qui annonce que :
la sensibilité aux différences linguistiques et culturelles est une priorité lors du développement et de la sélection des items, non seulement pour garantir la validité des épreuves, mais aussi pour respecter ces différences entre les pays participants. (OCDE, 2016a, p. 26)
42Cette analyse d’une unité en culture scientifique présentée comme exemple par le PISA montre que l’évaluation contextualisée des compétences dans le programme doit être comprise littéralement : dans les questions, les élèves semblent plus invités à entrer dans les situations en jeu, dans lesquelles ils sont appelés à s’engager, plutôt qu’à identifier les ressorts de la situation à l’œuvre. Abordant la littératie par le fait d’être en mesure de prendre une part active dans des situations de la vie sociale, professionnelle etc., le PISA prétend bien, par un raccourci saisissant, reconstruire de telles situations et mesurer la capacité des élèves à y résoudre les problèmes que le programme y inscrit.
43Au rebours de ce que le concept de littératie permet, comme le montre la littérature scientifique qui dépasse les confins d’un strict cognitivisme, le PISA délivre ici une conception de la transparence généralisée : transparence des langues (on l’a vu dans l’ambiguïté des dénominations et des catégories), du langage (quand une rhétorique est donnée pour allant de soi et ne nécessitant pas de mise à distance), du contexte (par exemple, lorsqu’un contexte scolaire peut être gommé et n’être pas pris en compte dans l’analyse des résultats d’un test qui mesure pourtant le rôle des contextes dans les résultats), de la situation (l’engagement de l’élève dans la situation de test étant comme l’image de son engagement dans un contexte social extérieur).
44Dans cet article, nous avons cherché à montrer le caractère paradoxal de la littératie dans le PISA, par trois approches complémentaires : l’analyse de sa base conceptuelle montre tout d’abord que le PISA est conduit, dans un même mouvement, à affirmer évaluer des littératies contextualisées dans la « vie réelle » des élèves et ses enjeux sociaux, culturels ou linguistiques divers, tout en administrant mondialement des épreuves standardisées et uniformes renvoyant à de grands domaines de compétences génériques. En focalisant ensuite l’attention sur les notions de contextes et de situations, au cœur de l’idée même de littératie, nous avons voulu montrer, dans le cadre de la littératie scientifique, outre la fragilité théorique des catégorisations de situations établies par le PISA et leur propension à figurer une modélisation du monde discutable, la manière dont le programme parvient à considérer que des situations authentiques d’évaluation renvoyant à des contextes du réel consistent avant tout en des exercices proposant des problèmes dont le cadre fictif évoque ces contextes. Enfin, par l’analyse d’un exemple précis de test du PISA, a été notamment mis en lumière le fait que la littératie des élèves y semble moins évaluée à travers leur compétence à interroger les situations en question qu’à travers leur propension à s’y impliquer et s’y positionner. C’est d’ailleurs ce que confirme dans une formulation curieuse le PISA : « Les épreuves […] n’ont pas pour but d’évaluer des contextes, mais d’évaluer des compétences et des connaissances dans des contextes spécifiques » (OCDE, 2016a, p. 26). Reste que l’abord paradoxal de la littératie dans le PISA conduit à cette situation singulière dans laquelle un programme d’évaluation qui affirme évaluer, de manière originale, la littératie des élèves dans des contextes spécifiques, peut ne jamais présenter de résultats décrits selon les contextes en question, mais seulement des résultats globaux pour les différentes compétences.
- 12 « Global competence is a multidimensional, life-long learning goal. Globally competent individuals (...)
45Cette approche de la littératie, au rebours de ce que le concept permettait – en didactique notamment – pour penser les pratiques et leur complexité (Chiss et Marquilló-Larruy, 1998), conduit à faire disparaître les spécificités culturelles, temporelles, ou géographiques. Cela conduit assez naturellement l’OCDE à annoncer, depuis l’édition 2018 de son test, une évaluation d’une « compétence globale » des élèves, au nom même de la diversité interculturelle12.
46On le voit donc, la littératie telle qu’elle est construite et évaluée dans le PISA ne manque pas de susciter des interrogations critiques. Il ne s’agit pas de contester pour nous, avec cette démarche, le principe d’une évaluation internationale, mais de regarder derrière le paravent de la rigueur technique si souvent avancé par le PISA et la plupart des chercheurs (Clément, 2017). Cela nous semble d’autant plus nécessaire que les écrits du PISA, qui ont une portée scientifique certaine, ne font jamais référence aux débats que génère sa démarche, pas plus d’ailleurs qu’ils ne font véritablement référence au dialogue théorique de la recherche actuelle sur la littératie. Peut-être voit-on là se réaliser les « dangers pour la recherche » que représentait, pour Dabène (2002, p. 36) « la récupération de la notion par le discours économico-institutionnel » (renvoyant explicitement à « la littératie vue par l’OCDE »).
47Mais il faut également considérer qu’au-delà des enjeux théoriques, le PISA a aussi des implications politiques, puisque ce programme se veut d’abord un instrument de régulation de l’action publique en matière scolaire. Quand un tel programme porté par une puissante organisation internationale promeut une approche extensive des compétences et de la culture, l’écueil souligné par Street (1984) d’universalisation d’une seule conception de la littératie qui s’avère assez vite être celle des dominants, semble, au sens propre, actualisé.
Flux RSS
