• 2  P. Cowley, « Le bulletin des écoles du secondaire de l’Institut Fraser : un outil précieux pour le (...)

1Dans un récent numéro de la revue Perspectives de l’institut Fraser, Peter Cowley, qui dirige les études sur la performance des écoles à cet institut, présente le bulletin des écoles secondaires comme un outil aux services des éducateurs. Selon lui, « la majorité des enseignants et des directeurs d’école du Québec souhaitent disposer de meilleurs moyens pour aider leurs élèves à acquérir les connaissances et les aptitudes qui leur permettront de réussir leurs études et de devenir des adultes heureux et productifs […]. Le bulletin des écoles secondaires du Québec de l’Institut Fraser offre aux éducateurs dynamiques un moyen pratique de découvrir les établissements scolaires qui appliquent les meilleures méthodes pour aider les élèves, quels que soient les obstacles à surmonter. » Cette présentation situe clairement le bulletin des écoles comme un outil de gestion à destination des personnels de l’éducation et notamment des « éducateurs pleins de bonne volonté mais qui ne savent pas par où commencer ». La solution qui est offerte aux éducateurs s’inspire des initiatives de la nouvelle gestion publique comme le benchmarking (étalonnage concurrentiel). En effet, selon Peter Cowley, le bulletin des écoles peut aider les éducateurs à « repérer les écoles performantes dont les élèves présentent les mêmes caractéristiques que les leurs. En prenant connaissance des pratiques et des programmes de ces établissements, ils trouveront sûrement des idées applicables à leur propre situation2. » Il est intéressant de noter que les principes et la sémantique promus par les avocats de la nouvelle gestion publique sont de plus en plus présents dans les débats qui portent sur les interventions publiques.

• 3  Les publications dans lesquelles figurent ces classements génèrent des profits substantiels et son (...)
• 4  Certains y voient même les prémisses d’un programme de privatisation de l’ensemble des services pu (...)

2Dans cet article, nous nous intéressons au bulletin des écoles comme un révélateur des besoins, des paradoxes, voire des tensions qui caractérisent le développement des systèmes de gestion de la performance publique. Il nous semble que le bulletin des écoles, au-delà de ses aspects éditoriaux et marketing pour l’hebdomadaire qui le publie3, soulève plusieurs réflexions sur le rapport des citoyens à l’État et aux services publics qu’il fournit. Les passions que soulève la publication annuelle du bulletin des écoles et les débats qui s’ensuivent s’expliquent sans doute parce qu’il réunit, en un seul exercice, sur un enjeu sensible pour la société québécoise4, plusieurs exigences de la gestion publique contemporaine.

• 5  J.-L . Genard et S. Jacob, « Dispositifs et modalités de rupture de l’unilatéralité administrative (...)
• 6  P. Bézès, « Aux origines des politiques de réforme administrative sous la Ve République : la const (...)
• 7  C. Talbot, « Performance management », dans E. Ferlie, L . E. Lynn et C. Pollitt (dir.), The Oxfor (...)
• 8  H . Luyten, A . Visscher et B . Witziers, « School effectiveness research : from a review of the c (...)

3La première de ces exigences est le suivi des réalisations et la gestion de la performance de l’activité des acteurs politico-administratifs. Les changements sociétaux majeurs, qui caractérisent la seconde moitié du vingtième siècle, ont considérablement affecté la perception des citoyens envers les administrations publiques. L’unilatéralisme a été vigoureusement contesté et les administrations ont progressivement mis en place des mécanismes d’ouverture de leurs processus décisionnels5. Cela signifie que les citoyens aspirent, de plus en plus, à devenir des codécideurs qui souhaitent obtenir régulièrement des informations sur les activités publiques mises en œuvre. Plus personne n’accepte l’idée que l’administration soit une boîte noire chargée de répondre aux besoins de la population sans lui rendre des comptes. Au contraire, la population participe directement et activement à la définition des besoins sociaux à prendre en considération et au suivi de l’action des pouvoirs publics. Au même moment, les administrations développent un « souci de soi6 » qui concourt à la rationalisation de leurs modes d’intervention à travers l’adoption de mécanismes de suivi et d’évaluation des actions qu’elles entreprennent pour déterminer notamment la pertinence de leur décision, l’efficacité de leurs actions et la parcimonie de l’utilisation des ressources publiques. Ainsi, certains attendent des organisations publiques qu’elles définissent clairement les services qu’elles entendent fournir et qu’elles indiquent précisément les délais, l’accessibilité et la qualité qu’elles visent afin de pouvoir finalement rendre des comptes sur la manière dont elles ont atteint les buts qu’elles s’étaient fixés7. De ce point de vue, « compte tenu de l’investissement annuel massif de ressources (argent du contribuable) dans le système éducatif, il serait non éthique de ne pas étudier ses effets8 ».

• 9  Colin Talbot identifie trois niveaux de mesure de la performance : l’organisation en général, les (...)

4L’attention qui est portée sur les activités, et non plus uniquement sur les prestations ou les produits offerts par les organisations publiques, se traduit par le développement de systèmes de gestion de la performance à tous les niveaux9 et pour tous les secteurs d’intervention (y compris la santé, le secteur social ou l’éducation). Cette exigence de la gestion de la performance entraîne la création de nouvelles unités administratives chargées de la planification, du suivi et de l’amélioration des processus et favorise l’essor de nouvelles professions (évaluateur de programmes, par exemple) ou de nouveaux instruments de gestion publique (les indicateurs de performance, les tableaux de bord, entre autres). Comme nous le voyons avec l’initiative de l’institut Fraser, le secteur public n’a pas le monopole de la production de connaissances sur la mesure de la performance de l’activité des organisations publiques. D’un point de vue démocratique, cette diversité des sources de production est à encourager car elle favorise le pluralisme des points de vue et maintient l’exigence de la transparence, du suivi de la performance, de l’apprentissage organisationnel et de l’amélioration continue.

• 10  C. Talbot, art. cité ; D. Moynihan, « The reality of results. Managing for results in state and lo (...)
• 11  Comme le fait remarquer Deborah Wilson, l’information fournie par les indicateurs de performance c (...)
• 12  Cités par Talbot, art. cité, p. 497.
• 13  H. Goldstein et D. J. Spiegehalter, « League tables and their limitations : statistical issues in (...)

5Au-delà des aspects managériaux, il est utile de mentionner que les chercheurs qui s’intéressent à la gestion de la performance considèrent qu’elle remplit de multiples fonctions10. La reddition de comptes et la transparence sont les plus évidentes. À ce sujet, l’ancien inspecteur en chef des écoles d’Angleterre estimait que son travail consistait à fournir de l’information aux parents11. Nous voyons dans cette déclaration que la production et la publication de résultats de mesure de la performance sont considérées intrinsèquement comme une bonne chose voire, par certains, comme un droit12. La question qui se pose ici est de savoir à quelle fin et à quel public s’adresse l’information produite par les systèmes de gestion de la performance. Les enseignements que révèlent ces exercices de réflexivité doivent-ils uniquement contribuer à un apprentissage interne et au développement de mesures correctrices à l’intérieur des organisations concernées ou sont-ils une source de réflexion et de débats publics plus larges ? Pour répondre à cette question, il faut au préalable s’interroger sur la finalité poursuivie par l’exercice, car le public cible déterminera le contenu et l’objet de l’analyse ainsi que le format de sa présentation. Cette réflexion ne doit pas se limiter à un débat technique sur le choix des indicateurs les plus adaptés au domaine de l’éducation, mais également s’étendre à l’accessibilité des résultats. Par accessibilité, nous entendons aussi bien une accessibilité matérielle aux informations qu’une accessibilité en termes de compréhension du contenu et des limites qui peuvent affecter la production des résultats présentés13. Comme nous allons le voir, ces exercices soulèvent plusieurs enjeux éthiques et méthodologiques qui sont souvent écartés face à la simplicité apparente de la présentation de résultats.

• 14  La nouveauté et l’innovation dans les pratiques de gestion publique sont remises en question par C (...)
• 15  Public service management by numbers : why does it vary ? Where has it come from ? What are the ga (...)
• 16  H. Goldstein et D. J. Spiegehalter, art. cité.

6La seconde exigence qui est au cœur de la gestion publique contemporaine concerne la concurrence entre les organisations et la redéfinition des frontières entre les sphères publiques et privées à travers la promotion de l’excellence et de la compétitivité. La distinction entre ces deux sphères (souvent présentées en opposition) n’est plus aussi évidente de nos jours et l’on observe de plus en plus des transferts de pratique d’une sphère à l’autre. Il convient tout de même de rappeler que le secteur privé est bien souvent érigé en modèle par les promoteurs de la nouvelle gestion publique et que les techniques de gestion publique empruntent fréquemment des instruments du secteur privé. C’est ainsi que s’est développée récemment une logique du classement ou du palmarès qui place en concurrence des organisations publiques et privées (hôpitaux, universités, écoles)14. En s’inspirant des classements utilisés dans le sport ou dans le commerce – notamment développés par les organismes de protection du consommateur –, les palmarès comparent la performance de plusieurs organisations. L’originalité de ces palmarès est d’agréger plusieurs indicateurs (par exemple, le résultat moyen obtenu aux épreuves du ministère par les élèves d’une école dans cinq matières importantes, le pourcentage d’échec dans les cinq matières, le taux de promotion, etc.), qui témoignent de la performance d’une organisation dans des domaines spécifiques (l’enseignement), en vue d’offrir un aperçu général de la performance dans un domaine et de constituer un indicateur agrégé (la qualité de l’enseignement secondaire ou le rendement scolaire)15. Cette logique du classement a tout d’abord été promue par des organisations internationales (pensons au classement pisa de l’OCDE16) avant d’être réappropriée par des organismes privés, des groupes d’intérêts et des gouvernements.

• 17  C. Talbot, art. cité, p. 497.

7La popularité de la logique du classement s’explique par la simplicité du format qui rend l’information accessible et apparemment facilement compréhensible. En simplifiant, lorsqu’un lecteur prend connaissance du bulletin des écoles, il va considérer que l’organisation qui est en tête du classement est la « meilleure ». Le classement aide donc le citoyen à choisir l’établissement ou l’organisation qui va lui offrir le service dont il a besoin. Dans cette logique, la gestion de la performance remplit un rôle similaire aux prix ou aux informations sur la qualité dans la sélection du bien ou du service qu’il achèterait17. La mesure de la performance place l’usager dans une logique de consommation où le client compare les produits offerts afin d’en choisir un. Cette logique est en phase avec l’accentuation constante de la personnalisation des prestations où le citoyen souhaite bénéficier d’une réponse adaptée et spécifique à sa situation. Une telle conception de l’intervention publique est en rupture avec la vision plus universelle et homogène qui prédominait jusque-là.

• 18  D. P. Moynihan, art. cité.
• 19  A . J . Visscher et R . Coe, « School performance feedback systems : conceptualisation, analysis, (...)

9L’utilisation des connaissances produites par les systèmes de gestion de la performance est sans doute le plus grand défi auquel doivent faire face les producteurs de ces données18. La mesure de la performance n’est pas une fin en soi, au contraire, elle se trouve à l’origine d’un processus d’apprentissage et de changement19. Pour que celui-ci se produise dans le domaine de l’enseignement, il est nécessaire que les décideurs (élus, ministres, commissaires scolaires), les gestionnaires (chefs d’établissement) et les acteurs de terrain (enseignants) s’approprient les enseignements à leurs niveaux de responsabilité.

• 20  H. Luyten, A. Visscher et B. Witziers, art. cité, p.275.

10Par exemple, leur utilisation par les enseignants est souhaitable étant donné l’importance du rôle qu’ils jouent dans l’éducation des élèves. Or, bien souvent, les résultats produits par les systèmes de gestion de la performance ne fournissent pas assez de détails pour être utiles à leur niveau et les aider à remettre en question certaines de leurs méthodes pédagogiques ou à interroger les processus de gestion interne de l’établissement dans lequel ils travaillent. Les préalables pour une utilisation effective des résultats par les enseignants sont de s’assurer qu’ils comprennent et ont confiance dans les données collectées, qu’ils puissent identifier des adaptations ou des corrections pour améliorer la situation et qu’ils soient convaincus de la nécessité et de la faisabilité d’opérer des changements20.

• 21  Les recherches dans le domaine sont nombreuses et permettent de questionner l’effectivité de la co (...)

12L’identification et la discussion des limites méthodologiques de l’exercice du bulletin des écoles nécessiteraient sans doute une étude plus approfondie que celle qu’il nous est possible de faire dans cet article21. Toutefois, en nous appuyant sur une revue de la littérature des systèmes de gestion de la performance et surtout des classements similaires dans le domaine de l’éducation, il est possible d’identifier quelques enjeux méthodologiques qui devraient être considérés avec attention compte tenu de la popularité de la logique du classement et de l’alimentation de ces informations dans le débat public que nous avons décrites ci-dessus.

• 22  S. Town, « Performance or measurement ?», Performance Measurement and Metrics, vol. 1, no 1, 2000, (...)
• 23  C. Talbot, art. cité, p. 503.
• 24  P. Adab et al., art. cité, p. 96.
• 25  H. Luyten, A. Visscher et B. Witziers, art. cité, p.265 ; Z. Hoque, « Measuring and reporting publ (...)

13Premièrement, la principale critique à l’encontre des systèmes de gestion de la performance porte sur la simplification de la réalité qu’ils induisent et la survalorisation d’une approche quantitative des interventions publiques. Ainsi, certains dénoncent le raisonnement partiel qui consiste à « compter tout ce que l’on peut et ensuite tenter de construire un système de mesure de la performance basé sur les observations disponibles22 » ou de « rendre important ce qui peut être mesuré, parce qu’il n’est pas possible de mesurer ce qui est important23 ». En utilisant des méthodes presque exclusivement quantitatives, les systèmes de gestion de la performance limiteraient leurs analyses à ce qui est faisable et accessible en termes de mesure et ne s’attarderaient pas suffisamment sur l’identification des besoins en termes d’information pertinente24. Cela aurait pour conséquence de simplifier la réalité de l’enseignement et de gommer sa complexité, voire sa richesse25.

• 26  D. Jobbins, « The Times/The Times Higher Education Supplement – League tables in Britain : an insi (...)
• 27  Les erreurs de mesures peuvent être de simples erreurs de saisie, des erreurs d’échantillonnage, d (...)

14Deuxièmement, une autre critique porte plus précisément sur les caractéristiques des données qui sont collectées. Bien souvent, les analystes utilisent les données qui sont disponibles sans en vérifier la qualité ni s’interroger sur les motivations à l’origine de leur collecte. Ainsi, certains doutent de la précision du portrait esquissé sur la base de données qui sont produites à des fins différentes. Par exemple, les données collectées par les établissements d’enseignement à des fins d’organisation et de gestion interne permettent-elles de fournir des renseignements sur la « qualité » de ces établissements en particulier ou du système éducatif en général26 ? Au-delà des questions d’interprétation des données, d’autres recherches mettent en évidence des problèmes spécifiquement liés à la qualité même des données à l’origine des publications sur la performance. Indépendamment de l’attention qui est portée à la collecte des données, les erreurs de mesure semblent inévitables et la qualité de la collecte des données tend à se dégrader avec le temps27.

• 28  H. G. Morrisson, S. P. Magennis et L . J. Carey, art. cité, p. 134.
• 29  D. Wilson, art. cité, p. 41.

15Troisièmement, le traitement des données collectées suscite lui aussi des critiques. Plusieurs chercheurs dénoncent l’arbitraire du choix de la pondération des variables et l’absence d’explication sur la manière dont les variables sont corrélées entre elles28. Ainsi, la place qu’occupe une école dans un classement peut varier considérablement en fonction de l’indicateur de performance qui est employé et des choix de l’analyste qui ne sont pas fondés sur des arguments théoriques ou des réalités empiriques29. Sur cette base, certains estiment que la place qu’occupe un établissement dans un classement relève plus du hasard que de la science.

• 30  C. Talbot, art. cité, p. 509.
• 31  H. Luyten, A. Visscher et B. Witziers, art. cité, p.253.
• 32  H. Luyten, A. Visscher et B. Witziers, art. cité, p. 251.
• 33  Pour y parvenir, il est nécessaire de dépasser l’administration de tests standardisés qui mettent (...)

16Quatrièmement, les systèmes de gestion de la performance se heurtent souvent au problème de l’attribution, c’est-à-dire à la difficulté de déterminer avec précision et certitude l’origine positive ou négative d’un changement auprès des bénéficiaires d’une intervention. Ce problème est à l’origine du « paradoxe de la performance », qui démontre une faible corrélation entre les indicateurs de performance retenus et l’évolution de la performance30. En matière d’enseignement, le problème de l’attribution est particulièrement important. Cette difficulté est renforcée par le fait que les objectifs poursuivis par le ministère de l’Éducation, les commissions scolaires ou les écoles ne sont pas toujours explicites, précis ou cohérents31. Dès lors, les systèmes de gestion de la performance vont avoir tendance à privilégier ce qui peut s’apparenter à un dénominateur commun en vue d’une comparaison et d’un classement des établissements. Or, certains chercheurs estiment que l’apprentissage est un processus imprédictible et que la responsabilité d’un enseignant est de créer des conditions qui permettent l’épanouissement des élèves en fonction d’attentes et de besoins spécifiques. Dans ces conditions, « la qualité de l’enseignement ne réside pas dans les résultats atteints mais dans le processus éducatif32 ». Si l’on considère que l’école doit préparer les élèves à la vie en société, de quelle manière peut-on mesurer la réalisation de cet objectif et démontrer la contribution spécifique de l’enseignement en la matière33 ?

• 34  A. Wiggins et P. Tymms, art. cité, p. 43.

18Tout d’abord, le bulletin des écoles, comme d’autres dispositifs de gestion de la performance, engendre une vision à court terme de la conduite de l’action publique34. Or, comme le savent les analystes de politique, l’observation de changements et d’effets résultant d’une intervention publique nécessite du temps et de la patience. Le rythme des politiques et programmes publics coïncide rarement avec l’annualité budgétaire ou avec le cycle politique partisan (législature). De plus, le bulletin des écoles induit une exigence de réponses rapides et des changements observables à court terme pour les établissements qui souhaitent voir une évolution de leur classement dans la publication de l’année suivante. En se concentrant davantage sur la place qu’ils occupent dans le classement et sur cette vision à court terme, certains établissements risquent de perdre de vue leur mission fondamentale ou d’être réticents à s’engager dans des actions prometteuses mais incertaines.

• 35  C. Talbot, art. cité, p. 504.
• 36  H . De Bruijn, Managing Performance in the Public Sector, New York, Routledge, 2007, p.109.
• 37  A. J. Visscher et R . Coe, art. cité, p. 336. La « valeur ajoutée » est un indicateur de performan (...)
• 38  M. Yorke, art. cité, p. 63.

19Ensuite, la définition de critères objectifs de performance oriente très souvent le comportement des individus. Les indicateurs favorisent ou découragent certaines actions. Étant donné que l’utilisation des connaissances produites peut engendrer des récompenses ou des sanctions pour les organisations ou les individus concernés, ces derniers vont « inévitablement être tentés de manipuler les résultats pour apparaître sous leur meilleur jour. [La mesure de la performance] encourage une culture du cynisme et de comportements amoraux qui peut considérablement affecter l’éthique publique35. » Ainsi, lorsque la gestion de la performance à des répercussions importantes sur les organisations ou les individus, il est probable d’observer les effets de la loi de l’amenuisement de l’efficacité, c’est-à-dire que plus la répercussion de la mesure de la performance est importante, plus les incitations à pervertir le comportement augmentent et plus la probabilité de parvenir à des effets positifs diminue36. Les principales conséquences inattendues de la publication de palmarès des établissements d’enseignement sont de « se concentrer sur les étudiants qui permettent de gagner le plus de places, de sélectionner les étudiants à l’admission ou d’exclure les étudiants “difficiles”, d’orienter l’enseignement sur le test, c’est-à-dire de se concentrer sur les indicateurs et d’exclure d’autres compétences, de déprécier consciemment le niveau du test de base pour accroître le résultat de la valeur ajoutée de l’établissement37 ». Il arrive même que certains établissements ou enseignants fraudent ou falsifient les données pour améliorer leurs résultats et gagner quelques places dans le palmarès38.

• 39  C. Talbot, art. cité, p. 502.

20Et puis la logique du classement et de l’élaboration d’un palmarès a pour conséquence de discriminer les établissements entre les « bons » et les « mauvais », peu importe la variation entre le premier et le dernier du classement et même si cette variation n’est pas statistiquement significative. Ces classements peuvent donc avoir des répercussions importantes pour les établissements puisque les parents vont fonder leur choix sur les résultats (sans s’intéresser à toutes les nuances et réserves méthodologiques qui peuvent biaiser la production du classement). Compte tenu des erreurs méthodologiques dont nous avons parlé, certains établissements vont être injustement classés dans le palmarès. Ces erreurs méthodologiques peuvent avoir de lourdes conséquences pour l’établissement concerné en l’entraînant dans un cercle vicieux d’échec ou en suscitant une « grande démotivation parmi ceux qui ont été injustement qualifiés de “faibles”39 ».

• 40  A. Wiggins et P. Tymms, art. cité, p. 45.

21Enfin, la logique du classement mise en avant par plusieurs systèmes de gestion de la performance s’appuie sur l’administration de tests standardisés auprès des élèves. Ces tests induisent également des conséquences inattendues et directes sur le développement comportemental des enfants. Une recherche anglaise s’est intéressée aux élèves qui sont entrés à l’école primaire à la fin des années 1980 et qui sont passés d’un système centré sur l’apprentissage à un système centré sur la performance. Selon cette recherche, en raison de la pression engendrée par l’administration de tests au cours de leur scolarité, ces élèves ont développé une faible tolérance à l’ambiguïté et beaucoup ont tendance à éviter les défis qu’ils rencontrent40.

• 41  Contrairement à Kenneth Rowe, nous ne pensons pas qu’il soit nécessaire de remettre en question la (...)

22En conclusion, le bulletin des écoles illustre les attentes et les exigences paradoxales des citoyens face à la satisfaction de leurs besoins d’intérêts généraux. Le mouvement actuel qui favorise le développement de systèmes de gestion de la performance s’appuie sur des principes centraux et des valeurs fondamentales de la gestion publique contemporaine (transparence, reddition de comptes, etc.). Ces valeurs ont émergé aux cours des dernières décennies et obligent les organisations publiques à agir dans un environnement où dominent de nouvelles visions et de nouvelles manières de faire41. Ces évolutions entraînent des incertitudes mais également des effets inattendus ou indésirables auxquels doivent s’adapter les organisations publiques.

• 42  M. Yorke, art. cité, p. 71.
• 43  H. Goldstein et K . Myers, Freedom of Information : Towards a Code of Ethics for Performance Indic (...)

23Les conséquences des limites méthodologiques que nous avons présentées ne se réduisent pas à des considérations scientifiques. Elles peuvent également engendrer des répercussions éthiques. En effet, si les connaissances produites par les systèmes de gestion de la performance servent à alimenter le débat public, il est essentiel de s’assurer qu’elles ne sont pas erronées ou biaisées. Il incombe donc aux producteurs de ces informations d’en vérifier la pertinence, la validité et le caractère compréhensible pour leurs destinataires42. L’ensemble des acteurs sont concernés par ces nouveaux impératifs de responsabilité qui vise la préservation du bien public. Dans ce contexte, la qualité de l’information devient un enjeu tout aussi important que sa transparence. Dans les pages qui précèdent, nous avons vu que les prémisses concernant l’efficacité des écoles et les considérations méthodologiques de la production des palmarès en matière d’éducation soulèvent de nombreuses questions. À la suite de plusieurs auteurs, il apparaît nécessaire de réfléchir à la rédaction et à l’adoption de lignes directrices, voire de codes d’éthique à destination des producteurs (publics et privés) d’information en vue de s’assurer de la vitalité et de la qualité du débat démocratique43.