1La Zambie est un cas d’étude remarquable pour analyser les dynamiques en jeu dans l’évaluation des apprentissages en contexte de développement. En effet, l’administration zambienne s’est intéressée très tôt à la question des apprentissages et à son lien avec la qualité de l’éducation. Le ministère de l’Éducation zambien conduit des évaluations d’apprentissage des élèves de cinquième année du primaire depuis 1994 et en compte aujourd’hui cinq différentes de la première à la neuvième année d’enseignement. Près de vingt-huit ans après la première évaluation d’apprentissage, il semble que les “performances” des élèves zambiens soient toujours en dessous des attentes fixées par les partenaires internationaux du ministère de l’Éducation. En 2017, 80 % des élèves de 15 ans évalués en lecture avaient un niveau inférieur au niveau de référence établi par le Programme for International Student Assessment for Development (PISA-D) (OCDE, 2018 : 30). Au-delà de ces tests et de leurs résultats, il s’agit de se demander dans quelle mesure les évaluations internationales des apprentissages, telles que le PISA-D en Zambie, permettent d’informer les décideurs sur la “qualité” du système éducatif. En étendant cette perspective à l’ensemble des évaluations conduites en Zambie, cet article propose une analyse comparative des évaluations nationales et internationales des apprentissages.

2Il s’agit ici de questionner la mesure des acquis scolaires, une dimension qui est souvent mentionnée par les acteurs de la coopération internationale et dans les rapports d’évaluations, mais dont les fondements ne sont pas toujours expliqués. Une lecture isolée de résultats d’évaluation, telle que la mention du PISA-D, ne rend pas compte de la complexité de son élaboration par des chercheurs, ni de ses usages possibles par les décideurs politiques (Lafontaine & Monseur, 2012). Abdeljalil Akkari et Thibaut Lauwerier définissent les systèmes d’évaluations comme « un ensemble de politiques, structures, pratiques et outils pour générer et utiliser les informations sur les acquisitions et apprentissage des élèves » (Akkari & Lauwerier, 2018 : 77). Dans leur tentative de définir la notion d’évaluation, Figari et Remaud, par exemple, s’accordent sur la difficulté de la limiter à une « pratique » centrée sur l’application de modèles qui permettraient d’évaluer mécaniquement des apprentissages (Figari & Remaud, 2014 : 51). En se recentrant sur le contexte zambien, celui d’un pays en voie de développement, cette recherche vise à mettre en lumière les limites des évaluations d’apprentissage et les conséquences sur la construction d’un système d’évaluation.

3La première partie de ce texte revient sur l’importance des évaluations d’apprentissage dans les pays en développement et les implications contemporaines de la mesure de la qualité de l’éducation. Nous nous intéresserons ensuite au contexte du système zambien d’évaluation en caractérisant les enquêtes qui le concernent. Enfin, ces éléments permettront de mettre en lumière les différentes limites de leur utilisation en tant qu’outils de mesure de la qualité. Plusieurs biais dans la construction des indicateurs de compétences seront considérés, ainsi que la comparabilité des enquêtes entre-elles et leur représentativité.

4Cet article s’appuie sur une revue de la littérature scientifique internationale de sociologie et de statistiques, sur les travaux produits par les acteurs institutionnels zambiens et internationaux, et sur une analyse des chapitres techniques des rapports d’évaluation. Dans l’optique de faciliter la comparaison des enquêtes d’évaluations et assurer la faisabilité de cette recherche, l’analyse des indicateurs d’apprentissage en lecture et en mathématiques est favorisée, plutôt que les indicateurs en sciences et « compétences de la vie quotidienne » (MoGE, 2015). En effet, les mesures de littératie et de numératie sont présentes dans toutes les évaluations d’apprentissage en Zambie, contrairement aux sciences et « compétences de la vie quotidienne ». Elles sont donc un point commun de départ essentiel à une approche comparative des différentes enquêtes d’évaluation.

Retour sur l’importance des évaluations d’apprentissage dans les pays en développement

Expansion du pilotage de l’éducation par les chiffres

5Bien que le pilotage de l’éducation par les chiffres soit plus ancien, le début des années 1990 marque un tournant dans l’utilisation des données statistiques en éducation. Le contexte de la mondialisation capitaliste réunit les facteurs technologiques, économiques et idéologiques particulièrement favorables au développement d’une culture de l’évaluation dans l’éducation au niveau international (Addey et alii, 2017). Les avancées dans les Technologies de l’Information et de la Communication (TIC) représentent un premier facteur essentiel du développement des évaluations. D’une part, la possibilité de traiter une quantité toujours plus grande de données dans un temps toujours plus réduit a grandement amélioré la production des statisticiens et analystes. D’autre part, ces gains en capacité ont également réduit le coût de la collecte et l’analyse des données (Akkari & Lauwerier, 2018). Certaines évaluations ont alors pu être conçues dans le but d’être peu coûteuses et rapidement implémentées. C’est le cas des enquêtes Early Grade Reading Assessment (EGRA) pour la lecture ou Early Grade Mathematics Assessment (EGMA) pour les mathématiques. De ce fait, un réel engouement s’est formé autour des évaluations d’apprentissage. De nombreux acteurs privés ont rejoint le « marché de l’évaluation » (Montoya & Crouch, 2019). En Zambie, des entreprises comme RTI International ou DevTech proposent des services pour la conception, la collecte ou l’analyse de données d’enquêtes d’apprentissage ou de stockage de données. Ainsi, ce progrès technique a participé à l’accroissement de l’usage des évaluations en donnant accès à des outils performants pour la conception et l’application de politiques publiques.

7Les institutions financières et organisations internationales, telles que la Banque Mondiale, l’Unicef, l’Agence Française de Développement (AFD) ou USAID, ont joué un rôle important dans l’exportation de normes éducatives et la formation d’un consensus autour du pilotage de l’éducation. L’étude des liens entre les politiques menées par ces organisations internationales et les politiques éducatives nationales a fait émerger l’idée d’un « nouvel ordre éducatif mondial » (Laval & Weber, 2002) ou d’un « nouvel ordre scolaire mondial » (Lange, 2003 : 144). Conséquence de la mondialisation néolibérale, ce nouvel ordre mondial est défini comme l’homogénéisation des normes scolaires et des politiques éducatives par le biais de nouvelles méthodes de gestion. Par exemple, dans son travail sur la communauté épistémique de l’éducation au Sénégal, Hélène Charton montre comment les personnels-cadres et décideurs du système éducatif ont assimilé le discours d’acteurs internationaux puis ont eux-mêmes participé à la production et à la diffusion de nouvelles normes au sein du gouvernement, des institutions et associations locales (Charton, 2015 : 50). Par conséquent, le pilotage de l’éducation par les chiffres relève de l’ordre néolibéral porté par les grandes organisations internationales qui voient l’éducation comme une ressource économique dans laquelle les États doivent investir pour assurer leur compétitivité. Dans cette logique, de nombreux experts nationaux sont formés aux méthodes statistiques et organisationnelles de l’évaluation des apprentissages.

8Du fait de la relation asymétrique qui semble s’établir entre les pays investisseurs et les pays bénéficiaires, le modèle du NPM n’est pas sans critique. Cette relation peut amener à remettre en question l’utilisation et la pertinence d’indicateurs. Certaines chercheuses, comme Annie Vinokur, voient un danger dans la façon dont les données sont utilisées : « Dans le NPM, les indicateurs statistiques sont utilisés comme réponses et non comme questions, comme cibles normatives à atteindre et non comme images de la réalité destinées à informer les décideurs » (Vinokur, 2008 : 10). De même, Roser Cussó dénonce une coordination de plus en plus normative dans les statistiques internationales par le biais « d’indicateurs-conditions » qui font référence aux moyens d’atteindre les objectifs, contrairement aux « indicateurs-objectifs » qui visent directement l’atteinte des objectifs (Cussó, 2010 : 27). Dans ce sens, les instruments d’évaluation ont un réel « pouvoir prescriptif » (Charton, 2017), en ce qu’ils semblent servir davantage à informer les bailleurs de fonds dans l’élaboration de programmes de financements qu’à informer les gouvernements pour la gestion des systèmes éducatifs. Dès lors, si le pilotage de l’éducation par les chiffres est devenu incontournable de nos jours, il semble avisé de garder à l’esprit les limites des indicateurs statistiques ainsi que le contexte, les motivations et intérêts qui ont conduit à les choisir.

Mesure de la qualité de l’éducation par les évaluations d’apprentissages

10Au-delà du droit à l’éducation, la qualité peut aussi être comprise au regard du développement économique. Des études économiques ont permis de mettre au point des méthodes pour mesurer l’impact de l’acquisition de compétences de base sur les revenus (Wagner, 2015). Les compétences en lecture et en mathématiques, par exemple, sont considérées comme essentielles pour devenir un membre productif de la société du numérique qui requiert de plus en plus de manipuler des concepts abstraits et complexes tout en disposant de compétences interpersonnelles importantes (OCDE, 2019). En expliquant la raison d’être du Programme for International Student Assessment (PISA), l’OCDE précise qu’il s’agit de s’assurer que les systèmes éducatifs puissent créer des travailleurs disposant des compétences nécessaires et recherchées sur les marchés mondiaux, mais aussi prêts pour « le monde de demain » (OCDE, 2018 : 8). Dans cette perspective, l’OCDE soutient que tous les pays, même les plus pauvres, devraient s’intéresser aux acquis et aux compétences de leurs élèves, car de nos jours, tous les travailleurs sont en compétition à l’échelle mondiale (Addey et alii, 2017). Par conséquent, le contexte de la mondialisation et du développement de l’économie du savoir accorde au développement du capital humain une dimension stratégique pour les gouvernements souscrivant à la néo-libéralisation de l’éducation. Ces préoccupations ont participé à l’émergence des approches par compétences dans les programmes éducatifs internationaux (Anderson-Levitt, 2017) et à la mise en place de tests psychométriques permettant la mesure de compétence des élèves (Charton, 2017 : 160). Néanmoins, ces approches macro-économiques comportent des limites importantes, car elles reposent sur de nombreuses variables complexes qui relèvent elles-mêmes de choix politiques (Hugon, 2005).

12Étudier plus en détail les évaluations demande donc de prendre en considération certaines mises en garde soulevées par la recherche, à commencer par le rappel que les statistiques sont basées sur des conventions qu’il convient d’appréhender avant de réaliser des analyses. Si un consensus politique en faveur de la mesure de la qualité par les résultats d’apprentissage se dégage, il n’y a, en revanche, pas de consensus scientifique sur le choix des mesures statistiques (Wagner, 2015). Cussó résume la situation ainsi : « Il n’y a pas une seule approche pour rendre compte d’une question, pas un seul procédé pour la quantifier, pas une seule possibilité conceptuelle et méthodologique pour définir un indicateur » (Cussó, 2010 : 47). À ce titre, la recherche présentée ici s’est intéressée à comparer les méthodes de mesure de la qualité et les informations données par chaque indicateur. Pour Altinok, prendre en compte uniquement les résultats d’apprentissage peut conduire à des « estimations biaisées », l’auteur préférant alors parler de « variables approximant la qualité de l’éducation » (Altinok, 2016 : 31). Ces précautions sont d’autant plus importantes lorsque les outils de mesure servent à la mise en place de politiques. Dans cette optique, Annie Vinokur explore les biais possibles de la mesure de qualité, comme le risque de mésinterprétation des indicateurs d’apprentissage : « La normativité qui lie le souci de promouvoir les “bonnes pratiques” au Benchmarking sur des indicateurs chiffrés peut conduire à présenter de simples corrélations comme des causalités » (Vinokur, 2008 : 11). En gardant ces points à l’esprit, nous pouvons étudier les caractéristiques et fonctions du système zambien d’évaluation des apprentissages.

Les évaluations d’apprentissage dans le système éducatif zambien

Contexte et organisation du système éducatif zambien

13La Zambie est un pays enclavé de l’Afrique subsaharienne, indépendant depuis 1964. Dans les années 1990, le pays a commencé à suivre une politique de libéralisation de l’économie, remplaçant la politique socialiste de nationalisation des industries et de planification de l’économie adoptée jusque-là (Musonda & Kaba, 2011). Depuis 1990 et l’objectif d’« Éducation Pour Tous » formulé à Jomtien, la Zambie a su rapidement augmenter l’accès à l’éducation en rendant l’enseignement gratuit des grades 1 à 7 (Banque Mondiale, 2007). Cependant, les tendances actuelles montrent que le défi d’universaliser l’éducation existe toujours et semble se renforcer. En 2017, le taux net de scolarisation au primaire était de 83,17 % selon l’ISU, soit une diminution d’environ 6 points depuis 2012 pour un ratio élève-enseignant de 48/1 (ISU). Le niveau secondaire s’est étendu rapidement entre 2004 et 2014, le taux de scolarisation passant de 53,5 % à 89,4 % (UNESCO, 2016). Parallèlement, le nombre d’enfants en dehors de l’école a presque doublé depuis 2012 (ISU). Aujourd’hui, la priorité donnée à l’amélioration de la qualité de l’enseignement et des apprentissages est donc partagée avec celle de l’accès et de l’équité, comme indiqué dans le plan sectoriel de l’éducation pour 2017-2021. Par ordre d’importance, les trois problématiques suivantes sont soulevées par le document : résultats d’apprentissage insuffisants, scolarisation en retard sur l’accroissement de la population et faible accès à l’éducation primaire et secondaire dans les zones rurales (MoGE & MHE 2018).

14Dans le cadre de ce tournant néolibéral, les évaluations d’apprentissage ont pris une nouvelle importance et sont devenues un standard dans le pilotage des politiques éducatives. À partir de 1995, l’initiative du SACMEQ (Consortium d’Afrique du Sud et de l’Est pour le suivi de la qualité de l’éducation) répond à la demande croissante des bailleurs de fonds pour des approches systémiques de mesure et d’analyse des résultats d’apprentissages (ECZ & MoGE, 2019). Le SACMEQ a été une opportunité de renforcer les capacités statistiques nécessaires à l’implémentation d’évaluations à l’échelle nationale et à la définition des priorités en matière d’apprentissage (Saito, 1999).

15Inspirée du SACMEQ, la première enquête nationale d’évaluation (National Assessment Survey, NAS) testant les élèves du grade 5, réalisée en 1999, montre la volonté du gouvernement de s’intéresser davantage à l’acquisition des compétences de base chez les élèves (MoGE, 2015). Sans délaisser les mesures de l’accès à l’éducation telles que le taux de scolarisation ou le nombre de classes, une approche qualitative cherche à comprendre quels facteurs peuvent participer à l’amélioration des apprentissages (par exemple : ratio enseignant/élève, manuel scolaire/élève, niveau de formation des enseignants). Conçu dans le cadre du Basic Education Subsector Investment Program (BESSIP) de la Banque Mondiale entre 1999 et 2007, le programme avait comme intention initiale de servir de mécanisme d’évaluation des investissements réalisés en faveur de l’éducation pour tous et d’améliorer la qualité de l’éducation dans le pays (Ministry of Education, 2005). En 2013, l’expansion du NAS au grade 9, puis l’appropriation des tests EGRA et EGMA pour former un NAS au grade 2, laissaient paraître l’importance accordée par le pays aux évaluations d’apprentissage. L’intérêt porté à la mesure de la qualité a ensuite été confirmé par la participation de la Zambie au PISA-D en 2017 (OCDE, 2016 : 10).

16Aujourd’hui, le système éducatif zambien se structure autour de sept années d’enseignement primaire, suivies de cinq années au secondaire et quatre années pour le premier niveau de l’enseignement supérieur et universitaire. Les sept langues officielles du pays sont enseignées dès le grade 1 : le bemba, le nyanja, le chitonga, le lozi, le lunda, le luvale, le kaonde, selon les régions ; ainsi que l’anglais, pour tous, depuis l’indépendance du pays (UNESCO, 2016). Les élèves sont évalués dans la langue régionale et en anglais dans l’enquête nationale d’évaluation, et en anglais seulement pour les évaluations internationales. L’importance stratégique donnée à la mesure de la qualité de l’éducation est illustrée par cinq évaluations activement conduites par le ministère de l’Éducation et ses partenaires.

Caractéristiques des évaluations d’apprentissage en Zambie

17En 2017, le ministère de l’Éducation zambien, avec l’appui technique de UKAid et du Partenariat Mondial pour l’Éducation, a produit un cadre national pour l’évaluation des apprentissages (MoGE, 2017). Ce document formalise la volonté de se doter d’un système d’évaluation et clarifie l’utilisation attendue des outils en vue d’améliorer les résultats d’apprentissage scolaire. En sus de lister les différents types d’évaluations et acteurs impliqués, le National Learning Assessment Framework (NLAF) pose quatre règles régissant la production d’indicateurs de performance : « un indicateur doit :

• fournir suffisamment d’informations pour donner un bon aperçu des niveaux et des progrès des apprenants ;
• être suffisamment restreint pour que les informations puissent être facilement comprises et faire l’objet d’une action ;
• permettre une comparaison équitable des performances
  • entre les écoles, les districts et les provinces
  • d’une année à l’autre ;
• couvrir les performances dans l’ensemble du programme d’études de telle sorte qu’
  • aucun domaine clé du curriculum ne soit négligé
  • l’accent soit mis sur tous les éléments du programme de compétences et pas seulement sur les connaissances » (MoGE, 2017 : 12).

18La Zambie mène cinq évaluations d’apprentissage à grande échelle au primaire et au secondaire. Une évaluation nationale (NAS), les évaluations hybrides EGRA et EGMA, l’évaluation SACMEQ et l’initiative « PISA pour le développement » (PISA-D). Pour différencier les évaluations et les indicateurs produits, six caractéristiques sont généralement utilisées : la population cible, le contenu des évaluations (domaines), les objectifs, la périodicité, le niveau de l’analyse (individu/classe/école) et les procédés techniques et administratifs mis en œuvre – échantillonnage, modalités des tests (Altinok & Bourdon, 2012 ; Friedman et alii, 2016). Il est globalement accepté que ces composantes sont à comprendre comme un enchevêtrement de choix permettant la validité d’une évaluation, autrement dit que les modalités et moyens mis en œuvre correspondent aux objectifs des évaluations. Le tableau 1 résume les caractéristiques des évaluations conduites en Zambie.

19Si les objectifs spécifiques de chaque évaluation varient, ces évaluations possèdent néanmoins un but commun. Le cadre national de régulation des évaluations (National Learning Assessment Framework, NLAF) reconnaît deux objectifs centraux à leur conduite : le jugement de la qualité des apprentissages et l’amélioration de la qualité des enseignements et des acquis scolaires (MoGE, 2017). C’est à travers leurs interrogations et leurs objectifs spécifiques que les évaluations diffèrent. Le NAS et les tests EGRA et EGMA cherchent principalement à vérifier l’adéquation du niveau des élèves avec le niveau attendu dans les programmes. Dans l’ensemble, la mesure de l’impact de variables socio-économiques et scolaires sur les apprentissages est un objectif des évaluations. Pour PISA-D et SACMEQ, l’objectif de comparaison entre les pays participants est mis en avant, avec l’idée d’apprendre des pratiques de pays faisant face aux mêmes défis. Enfin, le SACMEQ se démarque par son objectif premier et explicite de renforcement des capacités nationales en compétences techniques en recherche, élaboration d’instruments, échantillonnage, analyse de données et rédaction de rapports (ECZ & MoGE, 2019 ; Saito, 1999).

20Comparer les populations cibles des évaluations donne un aperçu de l’importance donnée à un grade ou un âge spécifique. Dans le cas de la Zambie, les classes du primaire sont principalement concernées. Toutes les évaluations testent les élèves du primaire, à l’exception du NAS pour le grade 9 et du PISA-D pour les élèves de 15 ans inscrits au-delà du grade 7. Les motivations pour le choix de la population cible varient selon les évaluations. Ainsi, l’évaluation NAS au grade 5 participe au suivi du niveau d’apprentissage des élèves au milieu du primaire, tandis que le grade 9 est la dernière année de l’enseignement « secondaire inférieur », avant une possible orientation vers l’enseignement professionnel et technique ou vers les niveaux du « secondaire supérieur » (UNESCO, 2016). Certaines évaluations testent des années charnières dans le parcours éducatif. C’est le cas des enquêtes EGRA et EGMA au grade 2, où il est attendu que les élèves atteignent le niveau de littératie et de numératie minimum leur permettant de poursuivre dans les grades supérieurs. Ce choix permet aussi de tester l’impact de l’éducation préscolaire sur la capacité à apprendre à lire et à compter (RTI International, 2015). Quant au SACMEQ, le grade 6 a été retenu parce que c’est le niveau à partir duquel les enseignants commencent la transition de la langue locale à la langue nationale (Bourdon & Altinok, 2012), en plus d’être le niveau où les taux de scolarisation sont assez élevés dans les pays du consortium. Enfin, le PISA-D s’intéresse à la fin de la scolarisation obligatoire. Les élèves de 15 ans et inscrits au moins au grade 7 sont donc évalués (OCDE, 2018).

21En lien avec la population cible, le contenu des évaluations en Zambie confirme le phénomène de standardisation internationalement en cours. En effet, la prévalence des tests en lecture et en mathématiques se retrouve dans chacune des évaluations. De plus, les tests sont principalement réalisés en anglais, bien que les langues nationales soient aussi prises en compte pour les enquêtes NAS. Certaines évaluations sont liées aux programmes scolaires, c’est le cas du NAS et, dans une certaine mesure, du SACMEQ. En revanche, le PISA-D se préoccupe davantage des compétences requises pour la vie future. C’est pourquoi les tests reposent sur des situations de la vie quotidienne (OCDE, 2018).

22Finalement, un point commun aux enquêtes d’évaluation est l’utilisation systématique d’échantillons d’écoles par province. L’échantillonnage permet aux cycles d’évaluation d’être non seulement plus rapides, mais également d’engager moins de moyens financiers et humains. Si la méthode de l’échantillon aléatoire d’écoles est utilisée au travers des évaluations, différentes représentativités et différentes logiques peuvent être dégagées. Par exemple, l’enquête du SACMEQ, qui a ensuite inspiré le NAS, privilégie un échantillonnage de classes entières. Ces évaluations sont donc pensées comme représentatives au niveau de la classe, de l’école, de la province et du pays. À l’inverse, le PISA-D est surtout représentatif au niveau national : au maximum 40 élèves sont choisis par école (OCDE, 2018).

23La désagrégation des résultats d’apprentissage selon différentes variables permet d’étayer l’analyse des acquis d’élèves et d’établir des liens de corrélation en utilisant les méthodes de régression. Le tableau 2 présente une ventilation de la désagrégation des indicateurs dans les évaluations d’apprentissage. Ces données sont recueillies par des questionnaires adressés directement aux élèves (NAS, EGRA et EGMA) ou aux parents (PISA-D), auxquels peuvent s’ajouter des informations portant sur les enseignants et les établissements (compétences des enseignants, pratiques pédagogiques, niveaux d’absentéisme, état des infrastructures) adressés aux enseignants et chefs d’établissements (NAS, EGRA, EGMA et SACMEQ).

Résultats des évaluations récentes : une « crise de l’apprentissage » en Zambie

24Au-delà de leurs caractéristiques, les cinq évaluations conduites en Zambie ont un point commun fort : elles permettent aux acteurs internationaux de justifier ce qui serait une « crise de l’apprentissage » (OCDE, 2018 : 120 ; VVOB, 2019). Cette expression au ton alarmant fait référence aux faibles résultats des élèves zambiens aux différentes évaluations depuis plusieurs années. De manière générale, la crise de l’apprentissage caractériserait l’état de la qualité de l’éducation dans les pays du Sud (Akkari & Lauwerier, 2018).

25En lecture, les résultats obtenus entre les grades 2 et 9 sont tous en dessous des standards minimums. Par exemple, le test EGRA a révélé que les élèves avaient de grandes difficultés en lecture, tant dans les langues locales qu’en anglais. Les élèves ayant obtenu un score de zéro (c’est-à-dire qu’aucun mot n’était lu correctement) représentaient 46 % des participants en lunda et 88 % des participants en chitonga (RTI International, 2015 : 30). La même année, seuls 25 % des participants au NAS du grade 5 avaient atteint ou dépassé le niveau minimum attendu en lecture anglaise, c’est-à-dire un score inférieur à 38/100 (MoGE, 2015). Cette proportion n’était que de 6 % pour les élèves du grade 9 en 2016. Au niveau régional, les élèves du grade 6 obtenaient un score médian de 434.4 au SACMEQ III, soit 6 points de moins qu’au cycle précédent. Au PISA-D, le score médian en littératie était de 275 contre 346 en moyenne pour les autres pays du PISA-D (OCDE, 2018 : 28).

26Pour les mathématiques, les résultats restent faibles selon les standards d’évaluation. Au NAS du grade 5, 57,2 % des participants avaient obtenu un score inférieur au niveau minimum de performance (MoGE, 2015 : 26). En 2016, seuls 6,5 % des élèves au grade 9 dépassaient le niveau minimum de performance au NAS (Ministry of Education, 2016 : 15). Le score médian des élèves du grade 6 était de 435.2 au SACMEQ III, un score stable par rapport au cycle précédent. Pour le PISA-D, le score médian des jeunes zambiens était de 258 en numératie, contre 324 en moyenne dans les autres pays participants (OCDE, 2018 : 28).

27Si l’on s’en tient aux indicateurs produits, cette présentation sommaire des dernières évaluations effectuées conforterait l’existence d’une crise de l’apprentissage en Zambie. Vingt-six ans après la première évaluation d’apprentissage à grande échelle, des résultats faibles et stagnants montrent la Zambie comme un bon élève de l’agenda international de l’éducation, mais un mauvais élève si on se réfère aux indicateurs d’apprentissage. Cet écart conduit à s’interroger sur les potentiels biais des mesures produites par les programmes d’évaluation des apprentissages.

Validité des évaluations : limites à l’utilisation des indicateurs d’apprentissage

29En reprenant les normes de production des indicateurs posées par le NLAF, une approche comparative des différentes évaluations peut être conduite sur trois aspects : contenus (items et données collectées), représentativité et comparabilité. Tout d’abord, il s’agit de comparer les contenus des tests, en lecture et en mathématiques. Puis la manière dont sont mises en œuvre les méthodes de collecte de données et de mesures des résultats. Nous nous intéressons enfin aux questionnaires contextuels qui accompagnent les évaluations. Cette étape a toute son importance, car elle détermine le type d’analyse qui pourra ensuite être effectuée entre différentes variables (socio-économiques, de genre, d’infrastructure, de formation des enseignants, etc.). Avant de conclure sur la cohérence des évaluations d’apprentissage, nous passons en revue leur représentativité et leur comparabilité.

Contenus des différentes évaluations : que mesurent-elles ?

30Comme présenté dans le tableau 3, la lecture et les mathématiques sont au cœur des évaluations zambiennes. Ici, la lecture s’impose comme un domaine essentiel pour l’apprentissage à tous les niveaux. En effet, le développement des compétences en lecture est non seulement déterminant dans la poursuite de l’éducation, mais ces compétences font aussi écho aux attentes des marchés de l’emploi. Il s’agit donc de s’assurer que les élèves ont les compétences et connaissances requises pour poursuivre leur éducation et leur formation. En outre, le multilinguisme des écoles zambiennes constitue une raison additionnelle pour tester le niveau de lecture des élèves afin de rendre compte de potentielles différences entre les langues. Héritage direct de l’empire colonial britannique, toutes les évaluations contiennent au moins un test en anglais pour la lecture. Seul le NAS dispose d’items dans les langues locales. Le choix des langues des évaluations est un débat qui rejoint celui de la langue d’enseignement en Zambie et dans d’autres pays en voie de développement anciennement colonisés. Toutefois, peu de travaux sont disponibles sur l’utilisation des langues non européennes dans les évaluations et les logiques adéquates pour les tester – en vue des particularités grammaticales, lexicales et syntaxiques par exemple (Wagner, 2015). C’est pourquoi l’anglais demeure la lingua franca des évaluations dans les pays où l’anglais est resté une langue administrative officielle.

31Du côté des mathématiques, si la langue joue un rôle important dans les items verbaux, la majorité des items sont non verbaux. Dans les deux domaines, on remarque pourtant différentes logiques entre les évaluations. Certaines s’intéressent davantage au contenu, c’est le cas du SACMEQ et du NAS aux grades 5 et 9 qui représentent le contenu des programmes scolaires respectifs (cf. tableau 1). Par exemple, les tests des NAS aux grades 5 et 9 font référence à des savoirs comme le vocabulaire, la grammaire ou des concepts en lecture. En mathématiques, ces mêmes évaluations font appel à des acquis comme la géométrie ou les fractions. En revanche, le PISA-D fait écho à des aptitudes plus larges : « intégrer et interpréter », pour la lecture, ou « l’utilisation de concepts, de faits, de procédures et de raisonnements mathématiques », pour les mathématiques. Les items du PISA-D testent donc des compétences, tout comme les tests EGRA et EGMA.

32Une fois les tests administrés, une norme de mesure des performances permet d’apprécier les résultats obtenus. Chaque niveau est défini selon une procédure différente avec un objectif précis. Dans les tests EGRA et EGMA, un seuil minimal ou benchmark est utilisé pour savoir si les compétences de bases sont acquises ou non par les élèves. Le NAS utilise également une norme par benchmark ; on se réfère ainsi au niveau minimum et au niveau désiré de performance (au grade 5), auxquels s’ajoutent les benchmarks en dessous du niveau minimum de performance et le niveau de performance exceptionnelle (au grade 9). Le PISA-D et le SACMEQ se démarquent par la définition de niveaux correspondants à un ensemble de compétences acquises et facilitant une comparaison internationale. Les résultats du SACMEQ sont de ce fait divisés en huit niveaux jugés représentatifs des attentes du grade 6 entre les pays du consortium. Enfin, les résultats du PISA-D comprennent également six niveaux de compétences. Dans l’optique de s’adapter aux contextes en développement et de mieux diagnostiquer les faibles performances, le niveau 1 du PISA-D est composé de trois sous-niveaux (OCDE, 2018).

Représentativité des évaluations

Comparabilité entre les enquêtes d’évaluation nationales et les évaluations extérieures

36La comparabilité des évaluations peut être analysée sous deux angles : la comparabilité d’une même évaluation dans le temps ou entre différentes évaluations. La comparabilité dans le temps est envisageable pour l’ensemble des évaluations. Au niveau du NAS, la première évaluation réalisée aux grades 2, 5 et 9 constitue une base de référence pour les cycles à venir. Cette continuité rend possible un suivi dans le temps des indicateurs. Les résultats du SACMEQ sont aussi comparables dans le temps, car les instruments ne changent pas ou peu d’un cycle à l’autre. Néanmoins, le PISA-D est plus difficilement comparable dans le temps. En effet, malgré une continuité des items entre les cycles, l’enquête se concentre sur un domaine en particulier à chaque cycle. Quelques ajustements sont donc nécessaires pour assurer une comparabilité à ce niveau (Bourdon & Altinok, 2012).

37Effectuer une comparaison de résultats entre évaluations représente un procédé plus délicat. En effet, les dimensions évoquées dans cet article ne sont que des exemples parmi l’ensemble des critères à prendre en compte. Une comparaison sommaire des évaluations montre des écarts dans les méthodes d’échantillonnage, les contenus des tests ou les normes de mesure. Dès lors, une fusion des bases de données de résultats pour un suivi au cours des années serait peu pertinente. En essayant de construire une méthode commune de l’indicateur 4.1.1 des ODD, les chercheurs de l’Institut de statistique de l’UNESCO (ISU) rappellent qu’un équilibrage pourrait rendre comparables les évaluations entre elles ou sur le temps (ISU, 2017). Mais cette option est limitée, car il faudrait une même division des niveaux d’apprentissage pour différentes évaluations. De plus, les évaluations devraient avoir au moins un item commun. Or, ce n’est pas le cas pour le système zambien.

38Les évaluations du système zambien sont complémentaires dans la mesure où elles offrent un regard sur les apprentissages à différents niveaux. Cependant, au niveau technique, les dissimilitudes ne permettent pas des comparaisons directes entre les évaluations. En outre, la cohérence avec les objectifs nationaux n’est pas évidente. Si l’intérêt porté pour les résultats d’apprentissages est confirmé par les administrations concernées, le dernier plan sectoriel de l’éducation ne semble pas se référer aux évaluations autres que le NAS pour quantifier ses objectifs. Les évaluations internationales telles que le SACMEQ ne sont mentionnées que comme une activité connexe du ministère (MoGE & MHE, 2018). De même, on n’y retrouve pas de mention du PISA-D, bien qu’en 2017, les élèves zambiens aient été évalués par l’enquête (OCDE, 2018). On a donc un ensemble d’évaluations qui semble n’être qu’en partie en accord avec les objectifs et enjeux nationaux. Le manque de cohérence ou de prise en compte dans les objectifs nationaux créent des limites dans les possibilités d’utilisation de ces données.

Conclusion

39Nous nous sommes intéressés dans cet article à la complexité de l’utilisation des indicateurs d’apprentissage pour la gestion de la qualité de l’éducation. Nous avons montré que le système zambien a suivi de près le développement des normes internationales de mesures de la qualité de l’éducation. Cette importance croissante des évaluations d’apprentissage se caractérise par la standardisation des enquêtes et de leurs objectifs. Une analyse détaillée permet de soulever un certain nombre de limites quant à la pertinence des indicateurs d’apprentissage utilisés. Premièrement, les contenus des enquêtes NAS, SACMEQ et PISA-D révèlent qu’au-delà des domaines testés, les modes d’évaluation, méthodes de mesures et d’échantillonnage diffèrent grandement. La représentativité des enquêtes doit aussi être questionnée pour s’assurer que ces dernières reflètent bien l’état actuel de l’apprentissage aux niveaux national et infranational. De plus, notre analyse confirme la faible complémentarité des évaluations entre elles, répondant au même objectif de quantifier le niveau des élèves, sans toutefois présenter des points d’ancrage communs. Enfin, l’absence de points de comparaison rend difficile toute prise de décision basée sur ces enquêtes.

40Par conséquent, la cohérence des normes fixées par le ministère – via l’appui prégnant des bailleurs et coopérants internationaux – avec les enquêtes effectivement produites est limitée. Les indicateurs d’apprentissage produits peuvent informer les décideurs sur des points très précis et ponctuels. Toutefois, à ce stade, le système d’évaluation zambien ne semble pas permettre de témoigner de la qualité de l’éducation à travers le temps et les niveaux scolaires.

41La construction d’indicateurs est un processus autant technique que politique. Une analyse complémentaire pourrait donc s’intéresser au niveau d’appropriation des évaluations et aux discours et pratiques qui les entourent. Les travaux conduits par l’Institut International de Planification de l’Éducation (IIPE) sur l’utilisation des évaluations d’apprentissage ont par exemple soulevé la tendance des acteurs de l’éducation à travailler « en silo » ou de manière cloisonnée (Raudonyte, 2021). Ainsi, les pratiques et données sont rarement échangées. Il s’agirait donc d’étudier comment certaines cultures administratives de l’évaluation s’articulent avec la mise en œuvre de politiques éducatives, selon les évaluations et le moment d’implication d’un acteur dans un cycle d’évaluation. Dans ce sens, Mioko Saito s’est intéressée au dialogue entre le politique et le statisticien. Pour elle, l’absence de dialogue entre les chercheurs et les planificateurs explique que certains indicateurs ne soient pas toujours pertinents pour les pays conduisant des évaluations d’apprentissage (Saito & Van Capelle, 2010).

42En gardant à l’esprit les caractéristiques du système d’évaluation zambien, nous pouvons donc envisager de remonter le fil d’un indicateur, de son utilisation dans un plan sectoriel ou une réforme jusqu’à sa genèse. Dans ce cadre, une sociologie politique des évaluations d’apprentissage explorerait les dynamiques en jeu dans le cycle de vie d’une évaluation pour déterminer dans quelle mesure les évaluations en question participent à la construction de politiques éducatives.

Liste des acronymes

43AFD – Agence Française de Développement

44BESSIP – Basic Education Subsector Investment Program

45DfID – Department for International Development

46DPI – Département de la Planification et de l’Information

47ECZ – Examination Council of Zambia

48EGRA – Early Grade Reading Assessment

49EGMA – Early Grade Mathematics Assessment

50EPT – Éducation Pour Tous

51ESSP – Education and Skills Sector Plan

52IEA – International Association for the Evaluation of Educational Achievement

53IIPE – Institut International de la Planification de l’Éducation

54IFI – Institution Financière Internationale

55ISU – Institut de Statistiques de l’UNESCO

56MHE – Ministry of Higher Education

57MoGE – Ministry of General Education

58NAS – National Assessment Survey

59NPM – New Public Management

60OCDE – Organisation de Coopération et de Développement Économique

61ODD – Objectifs du Développement Durable

62PISA-D – Programme international pour le suivi des acquis des élèves pour le développement

63PME – Partenariat Mondial pour l’Éducation

64READ – Russian Education Aid for Development

65SABER-SA – Systems Approach for Better Education Results – Student Assessments

66SACMEQ – South and Eastern African Consortium for the Monitoring of Education Quality

67STEM – Science, Technologie, Ingénierie et Mathématiques

68TALIS – Enquête internationale sur l’enseignement et l’apprentissage

69TIC – Technologies de l’information et de la communication

70TIMSS – Trends in Mathematics and Science Study

71UNESCO – Organisation des Nations Unies pour l’Éducation, la Science et la Culture

72Unicef – Fonds des Nations Unies pour l’Enfance

73USAID – United States Agency for International Development

74ZEEP – Zambian Education Enhancement Project