1Le mot de « qualité », utilisé dans le langage courant comme dans le marketing ou les sciences du management, est apparu sinon timidement, au moins prudemment dans le monde de l’éducation : nous devrons nous demander pourquoi et voir dans quelles conditions la notion apparaît. Pourtant, si elle semble aujourd’hui intéresser beaucoup d’acteurs, voire faire une sorte d’unanimité (chez les ministres, les directeurs d’établissement ou les parents), nous verrons qu’il n’est pas facile de définir la qualité en matière d’éducation, et même de s’accorder sur ce qu’on aimerait mesurer. Le risque se fait déjà sentir d’une prolifération anarchique de définitions et de mesures, face auquel il nous semblerait intéressant de rechercher des approches simples tendant à évaluer la qualité, à partir d’indices-repères, au niveau des systèmes scolaires comme à celui des écoles elles-mêmes.

La qualité, une notion introduite à bas bruit

2La qualité ne fait pas historiquement partie du champ de l’éducation, à commencer par son vocabulaire (elle est absente des grands dictionnaires francophones). Historiquement, c’est aussi une notion étrangère à des systèmes définis plus souvent par des normes, des procédures, des programmes disciplinaires à respecter que par des résultats et, à plus forte raison, par une qualité à atteindre. Cela n’est d’ailleurs pas surprenant dans la mesure où, pendant longtemps, la question des « besoins » des élèves, qu’on se gardait de définir comme des « usagers », n’a pas bénéficié d’une considération particulière.

3Le développement de phénomènes d’échec scolaire dans la dernière partie du XX^e siècle fait naître, pour beaucoup de gouvernements, un intérêt pour l’évaluation, ce qui est une première façon, en certains cas, d’approcher le sujet de la qualité : on assiste au développement progressif, dès les années 1980, et de façon différente d’un pays à l’autre, des évaluations des élèves par le « pilote » (sur échantillon ou massivement) et des évaluations ou auto-évaluations d’établissements, ou de divers niveaux de gestion (les académies, en France).

4La notion de qualité a toutefois des difficultés à se frayer un chemin dans un contexte qui reste traditionnellement quantitatif, selon des raisonnements économiques qui, pendant longtemps, ont seulement multiplié le « nombre d’années » d’études par le nombre des élèves en ayant bénéficié pour calculer la qualité d’un système… Ce qui, bien sûr, était simpliste : certaines études, par exemple de l’OCDE dans son rapport de 2015, ont récemment démontré que la part du temps de l’enseignement à l’école primaire consacré aux « fondamentaux » (lire, écrire, compter) n’était pas corrélée au niveau de maîtrise de ces fondamentaux par les élèves.

5D’un autre côté, si bien des pays en développement, lors des indépendances, par exemple, n’ont pas mis spontanément en avant la question de la qualité mais ont investi massivement pour assurer la massification scolaire, la découverte du peu de bénéfice qu’en tirent la population et la société conjuguée à la faible effectivité des apprentissages pousse désormais en avant, dans les discours politiques de ces pays, le thème de la qualité.

Une notion proposée par les instances internationales

6C’est plutôt dans un cadre international qu’il est fait appel au mot de qualité, mais dans des acceptions diverses, allant jusqu’à en faire un droit de l’enfant.

7Le mot est pourtant « dans l’air » depuis longtemps et on peut citer à cet égard le rapport Edgar Faure de 1972, qui propose une définition particulièrement riche et consciente de la complexité du sujet :

Améliorer la qualité de l’éducation exigerait des systèmes dans lesquels les principes du développement scientifique et de la modernisation pourraient être appris selon les modalités propres à respecter les contextes socioculturels des apprenants.

• de l’intégration d’éléments divers (la Convention recommande par exemple de « favoriser l’épanouissement de la personnalité de l’enfant et le développement de ses dons et de ses aptitudes mentales et physiques, dans toute la mesure de leurs potentialités », mais aussi de « préparer l’enfant à assumer les responsabilités de la vie dans une société libre, dans un esprit de compréhension, de paix, de tolérance, d’égalité entre les sexes et d’amitié entre tous les peuples et groupes ethniques, nationaux et religieux, et avec les personnes d’origine autochtone » ; le rapport Delors (1999) ne définit pas l’éducation autrement que comme la convergence d’apprendre à connaître, apprendre à faire, apprendre à vivre ensemble et apprendre à être),

• de la définition de la qualité de l’éducation comme un droit de l’enfant.

Une interprétation souvent simpliste de la qualité

9Sujet complexe, la qualité en matière d’éducation est trop souvent interprétée de façon simpliste. Si la préoccupation de qualité apparaît dans d’autres services publics, elle semble plus facile à y définir, soit qu’on s’accorde clairement sur un objectif d’efficacité socio-économique, comme la lutte contre le tabac, soit qu’on retienne des indicateurs simples de la qualité du service (temps d’attente à un guichet, etc.).

10En matière d’éducation, la qualité est plus difficile à définir car selon qui va poser la question de la qualité, selon les objets qu’on décidera d’inclure dans le regard sur la qualité, selon qu’on mêlera à la qualité la préoccupation de l’équité, on parvient à des réponses fort différentes.

La qualité pour qui ?

11La qualité n’est pas en soi une donnée objective : toute qualité est qualité pour quelqu’un ou pour quelque groupe. La première question est donc de se demander qui va définir et évaluer cette qualité. Or, en matière d’éducation, les gouvernements, quand ils s’intéressent à la qualité, ont souvent tendance à penser à ce qui fait qualité pour eux (notamment la qualité du pilotage) plutôt qu’à la qualité telle que la définissent les parents et les élèves, davantage tournée vers la satisfaction de demandes individuelles, vers des questions de bien-être. Il semblerait bien, pourtant, qu’on ne puisse plus parler de qualité scolaire aujourd’hui sans prendre en compte le point de vue des élèves, comme c’est le cas de la plupart des indicateurs sociaux.

12Selon la réponse à la question « la qualité pour qui ? », on voit bien que la philosophie de l’appel à la qualité sera différente : va-t-on se tourner de façon ouverte vers les besoins des usagers ou vers l’instauration de diverses modalités de contrôle des agents pour satisfaire le pilote ?

La qualité de quoi ?

13Quel que soit le commanditaire de la démarche qualité (du ministre à l’élève), une autre question se pose : de la qualité de quel(s) objet(s) se préoccupe-t-on ? Et à cet égard, on hésite entre deux logiques : une logique qui va se préoccuper d’abord des conditions de l’éducation, et une autre qui aborde la question en priorité par les résultats de cette éducation. Nous allons voir que, dans l’un et l’autre cas, les questions posées sont complexes.

15La définition de la qualité est donc bien, à ce moment, une question politique : selon l’endroit où on porte le regard, on n’a pas la même idée d’école et l’école sera différente.

16L’une des conditions premières de la qualité de l’éducation est souvent mise en avant : celle de la qualité de la formation des enseignants. Dès lors, la question se pose de savoir comment on va évaluer cette qualité : par rapport à un standard de formation qu’on aura défini comme « de qualité » ? À partir des résultats des élèves des enseignants formés, mais en laissant l’activité de l’enseignant dans une sorte de boîte noire ? À partir de l’observation du processus d’enseignement dans les classes, et notamment des interactions avec les élèves ?

17Une seconde logique se concentre sur la qualité des « résultats de l’éducation », qui semble, elle aussi, aller de soi dès lors qu’il s’agit d’une école : la qualité sera celle des apprentissages des élèves… Or là aussi, alors qu’il semblerait qu’on approche un domaine dur et facilement objectivable, on se trouve face à deux questions complexes.

18Tout d’abord, que veut-on « mesurer » ? Est-on au clair sur les finalités générales des apprentissages dont on veut mesurer les résultats ? Veut-on un élève obéissant ? Autonome ? Spécialisé dans des champs de savoirs ? Doté d’une culture générale ? Doté d’une capacité à apprendre et à développer des stratégies d’apprentissage ? Vise-t-on seulement les apprentissages académiques ? Les compétences transversales ? Les compétences sociales ?

19Ensuite, à partir de quoi veut-on mesurer ? S’intéresse-t-on uniquement aux performances scolaires (mais lesquelles, et rapportées à quoi : à des standards ?) ? À celles qui sont le plus facilement évaluables dans des tests ? À l’atteinte d’un profil global de sortie ? À l’atteinte de l’excellence dans certains domaines ?

20Sykes, Belle et Shukla (2019), chercheurs états-uniens de l’ETS Center for Research on Human Capital and Education montrent d’ailleurs, en tentant une comparaison entre le travail sur la qualité à l’école et à l’hôpital (distinguant les « structures », les « processes » et les « outcomes »), que :

• s’agissant de la première logique, (privilégier la qualité du process), on est souvent assez désarmé, tant on ne sait guère de façon solide ce qu’est un enseignement qui réussit ; selon les auteurs de l’étude, on sait beaucoup de choses sur « qui sont » les enseignants, beaucoup moins sur ce qu’ils font : « It matters who teachers are, but it matters even more what they do in their interactions with students and the subjects that students are learning » ;

• pour la seconde logique, on hésite paradoxalement sur le sort à faire justement aux « résultats » des évaluations des élèves, par exemple aux examens : certaines définitions de la qualité aux États-Unis ne vont par exemple retenir en termes de « résultats » que la question de savoir si les élèves se sentent bien ou s’ils décrochent, sans se préoccuper de ce que l’école elle-même appelle des « résultats », qui semblent aux concepteurs de ces définitions d’une autre nature…

21S. Johnson (2019) montre au sujet de l’Angleterre que même cette idée déjà ancienne et d’apparence simple d’évaluer la qualité à partir du niveau de réussite des élèves soulève des difficultés : la comparabilité des exercices au fil du temps ne va pas de soi, les changements de programmes compliquent tout, des problèmes méthodologiques aigus – mesure-t-on un niveau de réussite « standard » ou se limite-t-on à positionner l’élève sur un score gradué, fondé sur la théorie de réponse à l’item ? –, la difficulté de savoir pourquoi des résultats s’améliorent ou se dégradent, la question de savoir s’il est souhaitable de tirer quoi que ce soit du positionnement international spécifique d’un pays (la « qualité » n’est-elle pas opposée à l’idée de classement, puisqu’elle admet la part du spécifique ?).

Qualité et équité : à ne pas dissocier

22La qualité des apprentissages réalisés dans un établissement ou dans un système doit être différemment jugée selon leur dispersion entre les élèves, selon que l’école ou le système laisse ou non les écarts se creuser, selon qu’il s’agit :

• de la qualité des apprentissages les plus performants ;

• de la qualité des apprentissages moyens ;

• de la qualité des apprentissages les plus faibles ;

• d’une corrélation forte et stagnante entre les performances des élèves et leur origine ethnique ou sociale ; – du nombre d’élèves décrocheurs et de leur dispersion sociale.

Deux propositions pour mieux mesurer la qualité des systèmes éducatifs et celle des établissements

23La grande disparité de mesures de la qualité tend à priver la notion de son impact potentiel et concret, nous allons y revenir. Face à ce risque d’une profusion d’indicateurs de la qualité, rendant ce concept illisible et peu opérationnel, nous proposons de privilégier deux démarches : l’une consisterait à définir un indice synthétique et aussi consensuel que possible de la qualité des systèmes scolaires, agrégeant quatre ou cinq dimensions principales (résultats des élèves, environnement scolaire, contenus d’apprentissage, pilotage du système par exemple) ; l’autre approche, complémentaire, donnerait aux familles, à partir d’un nombre réduit d’indicateurs mesurés localement, une photographie des performances des établissements.

Profusion des indicateurs et faible consensus sur ces mesures

24Les systèmes éducatifs se satisfont peu des diverses mesures de qualité, parce qu’ils en perçoivent le caractère partiel, comme un taux de succès à un examen (dépendant largement du niveau des élèves quand ils arrivent dans l’école), un taux de redoublement (dépendant largement de l’attitude-même des écoles qui « font » plus ou moins redoubler), ou même des résultats à des tests (qui ne mesurent que les acquis qu’ils permettent de mesurer, et ponctuellement).

25En France, par exemple, on a voulu sortir de ces mesures partielles pour tenter de dégager la « valeur ajoutée » d’une école (voir les travaux de la direction de l’évaluation, de la prospective et de la performance (DEPP) du ministère de l’éducation). Il s’agissait de ne pas se limiter aux résultats bruts de l’examen final des élèves, mais de prendre également en compte la rétention des élèves dans l’établissement (s’opposant à l’éviction des plus faibles), et de les comparer aux résultats équivalents dans la moyenne des écoles dont les élèves relèvent des mêmes origines socio-économiques. Cette « valeur ajoutée » est intéressante, en ce qu’elle permet vraiment de distinguer des typologies d’écoles, mais elle est focalisée sur des résultats et, surtout, elle intéresse sans doute les pilotes, mais beaucoup moins les familles, qui ne choisiront pas une école en fonction de sa valeur ajoutée ainsi calculée : à la fois parce que ces calculs sont abstraits et parce que si elles demandent la qualité, les familles la cherchent « absolument », et non en référence à des spécificités sociologiques ni à la façon dont l’école traite les élèves les plus fragiles.

26La mesure de la qualité aboutit souvent à des séries d’indicateurs hétérogènes, difficilement lisibles pour les usagers et ne facilitant pas les comparaisons (entre régions ou entre pays). Il existe un manque flagrant de référence consensuelle en ce domaine. Par exemple, on voit en permanence le débat ressurgir entre mesure des performances des élèves (par des tests, souvent), mesure de l’effort financier d’un pays (ratio entre les dépenses pour l’éducation et le PIB), mesure de la qualité des enseignements (par des inspections, souvent), mesure de la qualité de vie et du climat scolaire (par des enquêtes), mesure de la qualité de la gestion administrative des écoles, etc. Et tel acteur peut régulièrement estimer que la qualité « se ramène » à un facteur isolé, par exemple à la qualité de ses enseignants.

27Pour l’Italie, Antonino Petrolino (2019) souligne à quel point ces désaccords de fond sur la qualité de l’école entre les dirigeants et les enseignants peuvent engendrer des blocages : les tests ne sont pas aimés, en général, par les enseignants, d’une part parce que ceux-ci craignent qu’ils puissent être utilisés, d’une façon déguisée, pour leur propre évaluation professionnelle (ce qui est formellement exclu par la norme) ; de l’autre, parce que leur logique et leurs résultats diffèrent profondément de la pratique courante de l’évaluation scolaire.

28Il y a pourtant des questions importantes de qualité qui ne trouvent pas réponse dans les systèmes comme dans leur comparaison :

• au niveau le plus micro, quand des parents doivent décider si, selon eux, il vaut la peine ou non d’envoyer leurs enfants à l’école, ou encore quand des parents ont le choix entre plusieurs écoles, il est certain que des informations objectives sur la qualité de l’école et de ce que leurs enfants en retireront leur sont nécessaires, et pourtant rarement disponibles dans certains pays ;

• au niveau macro, les comparaisons internationales ne convainquent pas dès qu’apparaît que pour tel ou tel pays où les performances académiques des élèves sont bonnes, tel ou tel aspect important de la qualité (bien-être à l’école, par exemple) n’est pas présent. Ce sont ces deux approches qu’il nous faut maintenant étudier.

Vers un indicateur synthétique de la qualité des systèmes éducatifs ?

29Une première voie pour mesurer la qualité des systèmes éducatifs viserait à définir un indice consensuel, synthétique et composite de la qualité à l’école, lui-même flexible, mais répondant à la complexité des démarches éducation/apprentissage.

30Puisque le risque existe que chaque pays définisse cette notion à sa façon et qu’on ne sache plus de quoi on parle, est-il possible, au minimum, de créer un indice composite mais lisible pour les bénéficiaires ?

31Dans cette optique, toutefois, la liste serait longue de toutes les dimensions à rassembler dans un indice composite idéal. Il faudrait tenir compte :

• des données relatives aux résultats (dans les enseignements normalement évalués, avec une expression de la dispersion, et dans les compétences transversales) ;

• des données relatives aux processus et à l’environnement (qualité du climat scolaire dans l’établissement, des locaux et des services annexes ; niveau du bien-être des enfants à l’école) ;

• des données relatives au corps enseignant et par exemple à la qualité de leur formation ;

• des données relatives à l’équité : qualité des processus d’inclusion à l’œuvre dans l’établissement comme la rétention des élèves, l’aide aux élèves en difficulté, etc. ;

• des données relatives aux contenus (comment les parents, professeurs et élèves jugent-ils la qualité du curriculum, sa pertinence et son adaptation aux élèves ?) ;

• des données relatives au pilotage du système (capacité de l’établissement à définir et à réaliser des projets, progrès ou régression de l’établissement sur les trois ans précédents, satisfaction des enseignants et des usagers à l’égard du pilotage).

32Comment définir une approche réaliste dans une telle démarche ? On voit l’intérêt qu’il y aurait à chercher des modalités qui ne répondraient pas à la totalité de ces questions, mais qui retiendraient quelques indices essentiels, en se disant qu’en général, une école ou un système qui est bon ou mauvais sur ces indices présente des symptômes suffisants pour qu’on puisse se faire une idée satisfaisante de sa qualité.

33L’idée est proche de celle qui a guidé les travaux sur l’Indice de développement humain (IDH), qui voulait remettre en cause le monopole de mesure de la réussite économique à partir du seul produit intérieur brut (PIB). Dans le cas de l’éducation, l’équivalent du PIB serait la mesure des performances des élèves, essentielle bien sûr, mais loin d’être suffisante à nous dire ce qu’est une école ou un système de qualité.

34Il conviendrait donc de s’appuyer sur le travail déjà réalisé par les institutions multilatérales sur ce sujet, qui combine dialogue politique sur la définition de la qualité et travail statistique pour opérationnaliser ce concept.

35L’objectif 4 du développement durable (ODD 4) défini par l’Unesco (visant à « assurer une éducation inclusive et équitable de qualité et à promouvoir des possibilités d’apprentissage tout au long de la vie pour tous ») serait une première base solide. L’OCDE, de son côté, a considérablement élargi, lors des enquêtes PISA, sa prise d’informations à d’autres aspects que les seules performances des élèves, comme c’est le cas par exemple de la qualité de vie des élèves, à partir essentiellement d’enquêtes sur le ressenti des élèves (sur échantillons). Les chercheurs de l’OCDE ont établi des définitions d’indicateurs qui peuvent répondre à ce que nous évoquons sous le nom de qualité de façon relativement consensuelle : acquis des élèves, équité des systèmes et bien-être à l’école.

36Toutefois, aucune de ces institutions n’a produit un indice synthétique pour la qualité comme l’IDH a été créé pour mesurer les progrès du développement global d’un pays. L’ODD 4 est évalué à l’Unesco par de longues séries d’indicateurs hétérogènes et l’OCDE produit des graphiques tri-dimensionnels identifiant des nuages de points représentatifs de trois grandes dimensions de la qualité : acquis des élèves, équité des systèmes et bien-être à l’école.

37Dès lors, pourquoi ne pas chercher à créer un indice composite à partir de ces trois dimensions, en les pondérant à égalité ? Voit-on bien quel progrès ce serait dans le discours mondial sur l’école, si la presse titrait sur le classement des systèmes à partir d’un tel indice plutôt qu’en se focalisant seulement sur les performances des élèves ?

Mesurer la qualité des écoles pour ceux qui la fréquentent

38Reste l’autre approche de la qualité, aussi importante, pour les acteurs de terrain, et notamment les parents qui souhaitent connaître la « qualité » de l’école de leurs enfants. Là, il s’agit de la diversité des écoles du monde, de la diversité des contextes, des conditions de l’éducation, des cultures éducatives : on n’imaginerait pas un indice composite unique pour mesurer la qualité de chaque école du monde, même en se limitant à la scolarité de base (jusqu’à 15 ans). Par ailleurs, les prises d’information par enquête, qui sont réalisées dans le cadre de PISA sur un faible échantillon d’élèves, ne sauraient être généralisées à l’ensemble des écoles du monde !

39En revanche, il peut être intéressant de demander à chaque école qu’elle montre qu’elle a réalisé une approche de la qualité à partir d’un petit nombre d’indicateurs dont elle aurait le choix. L’essentiel est que ces indices traitent d’une façon ou d’une autre un nombre donné de domaines, qui permettent dans une certaine mesure la comparaison, qu’ils soient publiés et accessibles aux familles. On pourrait proposer de retenir les six domaines suivants, dans lesquels on pourrait aider les écoles des différents contextes à faire émerger des indicateurs pertinents à leur échelle :

1. domaine de la performance : une mesure de la performance en matière de littératie et numératie semblerait s’imposer, à prévoir selon les cas après deux ans de scolarité ou en fin de scolarité de base ;

2. domaine de la qualité de vie : une mesure du climat scolaire, par exemple à partir du nombre d’incidents violents pour 1 000 élèves sur les douze derniers mois, ou une mesure de la qualité du cadre de vie réel des élèves, par exemple à partir du ratio de toilettes accessibles et fermées pour 1 000 élèves ;

3. domaine de la qualité de la ressource enseignante : une mesure du nombre d’heures de formation continue suivies par les enseignants sur les douze derniers mois ou une mesure du taux d’absentéisme des enseignants ;

4. domaine de l’équité : une mesure du pourcentage d’élèves non autorisés en fin d’année (en dehors des années de fin de cursus) à poursuivre leurs études dans l’école où ils sont élèves ; le pourcentage de filles ayant obtenu le dernier diplôme ou attestation de fin de scolarité obligatoire ;

5. domaine du curriculum : une mesure de l’intérêt des élèves pour le curriculum, par exemple à partir du pourcentage d’élèves qui ont décroché, c’est-à-dire quitté volontairement l’école au cours des douze derniers mois ;

6. domaine du pilotage : une mesure du pourcentage de parents qui participent à des réunions ou des activités à l’école.

40De telles propositions devraient naturellement faire l’objet d’un approfondissement et d’une expérimentation pour en vérifier la pertinence et surtout l’utilité, en particulier dans des conditions contextuelles différentes. Mais l’usage en plein développement du terme de qualité, les comparaisons internationales qui se développent également sur des bases souvent incomplètes d’observation des systèmes, comme encore, aux échelons locaux, une concurrence souvent aveugle entre les établissements pour des parents qui ne savent pas où en lire la qualité d’une façon objectivée nous laissent penser que de tels indicateurs, adaptés à la diversité des contextes, permettraient de parvenir à une meilleure mesure de la qualité des écoles et des systèmes, outil sans doute indispensable à leur amélioration.