Introduction

2L’exemple américain est emblématique du développement et du rôle désormais central de l’évaluation standardisée dans les politiques éducatives des pays de l’OCDE. Certes, l’outil n’est pas nouveau dans les systèmes éducatifs des pays développés. Au Canada, certains tests d’évaluation standardisée sont mis en œuvre dès la fin du xix^e siècle, à l’entrée ou à la fin de l’enseignement secondaire (Traub & Maraun, 1994). La Corée a aussi développé une forte tradition de tests depuis les années 1950 (INCA, 2009). En Europe, ces épreuves nationales uniformisées, souvent à visée certificative, se sont imposées dans les années 1960 et 1970 au Royaume-Uni, en Irlande, en Suède ou encore en France (Eurydice, 2009).

3Pour autant, en cette fin de décennie 2000, l’outil suscite de nouvelles et nombreuses polémiques, tant scientifiques que médiatiques (voir entre autres Haney, 2000 ; Raymond & Hanushek, 2003 ; House of Commons, 2007). Si l’instrument est fortement questionné, c’est parce que, loin d’être comme par le passé un simple outil d’évaluation des compétences et des savoirs des élèves, il s’est désormais imposé comme un instrument majeur d’une nouvelle régulation politique des systèmes éducatifs. Alors qu’hier l’évaluation standardisée centrée sur la mesure des apprentissages s’intéressait principalement à l’élève, aujourd’hui son champ d’intervention est beaucoup plus large et met en lien le pédagogique – sa terre d’élection traditionnelle – et le politique dont il est devenu un outil de pilotage (Behrens, 2006). Initialement mis en œuvre dans une poignée de pays, l’instrument est quasiment intégré aujourd’hui dans tous les systèmes éducatifs des pays de l’OCDE. Les décennies 1990 et 2000 ont été marquées par sa forte expansion. En Europe par exemple, en 2009, seuls la Grèce, la République tchèque, le Lichtenstein et l’Écosse n’avaient pas adopté ces tests nationaux ou régionaux (Eurydice, 2009). À usage multiple dans la grande majorité des pays (Eurydice, 2009, pour l’Europe), l’évaluation standardisée s’intéresse désormais, au-delà des résultats scolaires des élèves, aux performances des établissements scolaires, des systèmes éducatifs, voire, dans le cas des organisations décentralisées, à celles des autorités locales en charge de l’éducation.

4Ces dispositifs sont désormais à la croisée des nouvelles tendances qui caractérisent les politiques éducatives développées dans les pays de l’OCDE depuis les années 1980 (Mons, 2007). Pour en affiner la compréhension, l’évaluation standardisée doit en effet être mise en relation avec quatre évolutions récentes de nos systèmes éducatifs : la centration sur une mesure quantitative des apprentissages et la priorité donnée à des objectifs cognitifs au détriment d’objectifs de socialisation larges (Osborn, 2006), en lien avec le développement du concept de compétences (dans la veine économiste de la théorie du capital humain) ; le développement d’un nouveau contrôle social des enseignants et des écoles par les responsables administratifs de l’éducation au sens large (districts, municipalités, administrations déconcentrées, régions suivant les pays), le plus souvent dans le cadre de réformes de décentralisation et d’autonomie scolaire (Maroy, 2008) ; l’évolution de la répartition des pouvoirs entre les acteurs centraux ou fédéraux et les responsables locaux qui voient ainsi leurs marges de manœuvre fortement encadrées (Broadfoot, 2000) ; enfin le développement de la redevabilité de l’École envers le grand public en général, et les parents en particulier, dans le cadre de nouvelles relations entre le politique, l’État, l’administration d’un côté, et la société civile de l’autre, ces nouvelles relations étant sous-tendues par l’avènement d’une « démocratie du public » dans laquelle la définition du bien commun n’est plus le seul monopole des dirigeants légitimes (Manin, 1996).

5Au confluent de ces multiples influences – influences auxquelles de nombreux acteurs au sein des systèmes éducatifs essaient de résister : les enseignants contre la nouvelle culture d’évaluation quantitative, les autorités locales contre la mainmise des responsables politiques centraux ou fédéraux, l’École-institution forteresse contre l’immixtion des parents –, l’évaluation standardisée, élevée au rang d’outil politique, ne pouvait être qu’une politique fortement questionnée.

7Pour éclairer notre sujet, une première section s’intéressera aux effets théoriques attendus de l’évaluation standardisée, à la fois comme outil de pilotage (ou de régulation) des systèmes éducatifs et comme instrument pédagogique d’une amélioration des acquis individuels des élèves. Quels cadres théoriques et conceptuels (à la fois politiques et pédagogiques puisque l’instrument possède cette dualité) ont été pensés pour expliquer en quoi l’évaluation standardisée peut améliorer les performances des systèmes éducatifs ?

8Au-delà de ces cadres théoriques multiples, dans un second temps, cette note de synthèse s’intéressera à une analyse empirique des effets réels de l’évaluation standardisée, tant en termes d’efficacité et d’égalité scolaires qu’en termes d’efficience. Car, au-delà de l’amélioration moyenne des performances des élèves qu’appréhende le concept d’efficacité, il faut s’interroger sur l’impact de cette politique sur les élèves issus de milieux défavorisés (socialement, ethniquement…) ou souffrant de handicap. L’évaluation de ces politiques doit également s’orienter vers une analyse coût-efficacité. Combien dépense-t-on pour mettre en œuvre le testing et pour quels résultats ? Pour apporter quelque éclairage sur ces interrogations multiples, nous présenterons une large revue de la littérature scientifique, fondée sur des études de cas nationaux et des comparaisons internationales. À travers ce champ scientifique extrêmement controversé, nous montrerons que, tant en termes d’efficacité que d’égalité scolaires, les effets de l’évaluation standardisée sont difficiles à appréhender car aucun consensus empirique net ne se dessine autour d’un bénéfice de ces réformes.

9Ce résultat, ou du moins cette absence de convergence des conclusions des études scientifiques, interroge : quels sont les processus en jeu dans les réactions des acteurs locaux du système éducatif qui peuvent expliquer que les résultats des dispositifs d’évaluation standardisée apparaissent suivant les terrains aussi divers ? Nous serons ainsi amenée, dans la troisième partie de ce rapport, à décrire les mécanismes associés à l’introduction du testing en lien avec les comportements d’une pluralité d’acteurs : les enseignants compris individuellement et collectivement comme équipe pédagogique, les personnels d’encadrement du système éducatif (chefs d’établissement, responsables d’autorités locales ou supérieures en charge de l’éducation…), les parents d’élèves et les élèves bien sûr… Comment ces acteurs réagissent-ils à la mise en place de dispositifs d’évaluation standardisée ? Leurs comportements varient-ils en fonction des caractéristiques des réformes mises en place ?

Les effets attendus : cadre théorique politique et pédagogique de l’évaluation standardisée

10« L’usage des résultats des élèves aux tests dans les systèmes d’accountability n’est pas nouveau. Des exemples de rémunération en fonction des résultats, comme l’engouement pour la contractualisation dans les années 1960, apparaissent et disparaissent au gré des décennies. Ce qui est différent dans le mouvement actuel d’accountability fondé sur la performance, c’est qu’il s’est généralisé. Comme le notent Elmore, Abelmann, et Fuhrman (1996, p. 65), “ce qui est nouveau, c’est le rôle désormais central que jouent les performances des élèves dans la gouvernance publique” » (Linn, 2000). Car, au-delà de l’outil pédagogique de mesure des acquis des élèves, l’évaluation standardisée a acquis un nouveau statut politique qui fait d’elle un instrument central dans la régulation des systèmes éducatifs. Cette dualité pédagogico-politique s’appuie sur un substrat théorique développé au double niveau macro et micro. Dans un premier temps, nous présentons le cadre conceptuel macro-politique qui a pour fondement à la fois, dans le champ général des politiques publiques, le New public management (NPM) et le mouvement de la Policy evaluation et, dans le secteur plus restreint de l’éducation, l’économie de l’éducation, dans la lignée de la théorie du capital humain et le courant de la school effectiveness. L’alliance de ces quatre écoles théoriques et pragmatiques a assigné des objectifs macro-politiques précis à l’évaluation standardisée. Dans un second temps, nous présentons au niveau micro de l’établissement scolaire et de la classe ce qui est attendu du testing comme outil pédagogique d’orientation de l’activité des enseignants et des élèves.

11Il est intéressant de se pencher sur les cadres théoriques des politiques d’évaluation standardisée. En effet la mise en œuvre de ces outils est souvent présentée comme une mesure de bon sens : mesurer quantitativement les acquis des élèves permettrait de les faire progresser. Or cette première section du rapport montrera que ce mouvement du testing ne relève en rien de l’évidence mais s’inscrit dans des mouvements de pensée spécifiques liés à un contexte intellectuel, mais aussi social et économique, particulier, celui de la remise en cause de l’intervention de l’État et de la mise en évidence d’une « crise de l’éducation publique », réelle ou « fabriquée » pour certains (Berliner & Biddle, 1995).

Le cadre théorique politique de l’évaluation standardisée : un instrument de pilotage des systèmes éducatifs

12Les rôles et les effets théoriques attendus de l’évaluation standardisée s’inscrivent à la fois dans un mouvement général de rénovation de la gestion de l’État et dans des courants de pensée spécifiquement développés dans le secteur de l’éducation.

Évaluation standardisée et rénovation de la gestion de l’État : le New public management et le mouvement de la Policy evaluation

13Le New public management, né aux États-Unis, s’impose à partir des années 1970 comme un nouveau courant d’analyse du fonctionnement des administrations dans un contexte de remise en cause de l’action de l’État. À cette époque en effet, différents facteurs économiques (« stagflation », mondialisation des économies…) viennent ébranler la conception macro-économique keynésienne de l’intervention de l’État. S’installe progressivement dans les administrations de l’économie et des finances une orthodoxie budgétaire influencée par les thèses monétaristes (Jobert, 1994 et Siné, 2006, cités par Pons, 2008). Dans ce contexte, l’objectif principal est d’assainir les dépenses publiques, donc de rationaliser l’action de l’administration.

14Le secteur de l’éducation n’échappe pas à ce contexte de crise, à la fois crise des ressources mises à disposition et crise de l’image de ce service public, battue en brèche par la publication de rapports en dénonçant les défaillances (voir par exemple le rapport américain de 1983 A nation at risk ou les blacks papers anglais des années 1980). Face à ce contexte de crise, le New public management va développer un ensemble de lignes directrices permettant de guider la rénovation de l’administration dans le sens d’un meilleur coût-efficacité. En éducation, parmi ces nouvelles orientations, quatre principaux piliers du New public management vont donner à l’évaluation standardisée un rôle très spécifique dans les nouveaux agencements institutionnels :

• les productions des services publics sont mesurables ;

• elles doivent donc être mesurées grâce à des outils spécifiques dont la validité doit être scientifiquement assurée ;

• les acteurs publics opérationnels qui bénéficient de plus d’autonomie sont redevables de leurs actions devant les gestionnaires du système (c’est le modèle de l’évaluation gestionnaire) et/ou devant les citoyens (modèle de l’évaluation démocratique) ;

• l’organisation publique doit être régulée par les résultats (outputs) et non plus exclusivement par des contrôles procéduraux orientés sur les ressources (inputs).

15Les principales orientations du New public management sont développées dans le tableau 1 où les parties grisées traitent plus particulièrement de l’évaluation.

Tableau n° 1. – Les principales orientations du New public management

Principes	Objectifs	Mesures types
Réorganiser les unités opérationnelles par produit	Séparer le pilotage et le design de la mise en œuvre	Création d’agences, contractualisation
Renforcer la concurrence interne et externe dans les administrations	Abaisser les coûts et améliorer les standards par la concurrence	Procédures d’appel d’offres, benchmarking, contractualisation
Responsabiliser le management de la fonction publique (« autonomy and accountability »)	Éviter la diffusion du pouvoir et clarifier les responsabilités	Autonomie de gestion du manager de projet (« freedom to manage »)
Assurer une plus grande discipline budgétaire dans l’utilisation des ressources	Réduire les dépenses publiques, faire mieux avec moins	Plafonds de dépenses, réduction d’effectifs, travail par objectifs
Valoriser les instruments de management ayant fait leurs preuves dans le secteur privé	Transformer la structure des incitations et des modes de contrôle	Outils de gestion (comptabilité analytique, contrôle de gestion), contractualisation avec les personnels ou les administrés
Rendre explicite, formelle et quantifiable la mesure des performances et des normes	Renforcer l’accountability en déterminant précisément les objectifs	Indicateurs quantitatifs de gestion et de qualité pour mesurer les résultats
Mettre l’accent sur l’évaluation des résultats	Passer à l’obligation de résultats	Ressources et rémunérations liées aux performances, primes selon les résultats

Source : Mons et Pons (2006), à partir de Hood (1991, 1996).

16Dans la perspective du New public management, en éducation, les fonctions et les effets attendus de l’évaluation standardisée sont donc multiples. Elle doit tout d’abord permettre une évaluation des acquis des élèves, indicateur de la « qualité » de la production du service éducatif. Elle sert également à faire le lien entre les acteurs responsables de l’opérationnalisation de ce service (les enseignants, les écoles et, suivant les configurations institutionnelles, les autorités locales en charge de l’éducation) et les responsables, souvent nationaux, en charge de sa conception. En ce sens, elle s’impose comme un outil directeur à la fois guidant les activités des acteurs opérationnels et informant le niveau hiérarchique supérieur sur les performances de ces agents (Wöessmann, 2007). Enfin, dans le cadre d’une nouvelle redevabilité envers la société civile, il est attendu de l’évaluation qu’elle serve d’instrument d’information en direction des acteurs externes à l’école, en général, et envers les parents en particulier, notamment dans le cadre du choix de l’école. Plus généralement, la fonction de l’évaluation standardisée s’inscrit également dans le mouvement de la Policy evaluation (Spenlehauer, 2003, cité par Mons & Pons, 2009). S’appuyant sur le modèle des sciences expérimentales, ce courant de pensée pragmatique se propose de découper en trois séquences les dispositifs d’action politique. Les décideurs doivent tout d’abord clairement expliciter les objectifs de référence de leurs politiques, afin de pouvoir dans un deuxième temps choisir les méthodes de mesure et les indicateurs pertinents et enfin déterminer, par comparaison, les effets d’une politique. Ce triptyque « projet-mesure-analyse des effets » est censé fonder toute évaluation de politique.

17L’évaluation standardisée s’inscrit bien dans cette vision d’une action publique séquentielle et rationnelle – l’élaboration et la mise en œuvre des politiques publiques obéissent à un enchaînement d’étapes logiques –, les objectifs des politiques publiques peuvent être atteints si les bons moyens sont mis en face d’objectifs clairement définis. Ce courant de pensée reflète une vision top-down de l’action publique dans laquelle les politiques publiques seraient mises en œuvre telles que décidées dans leur cadre légal (réglementaire ou législatif) par les acteurs locaux. Le testing est ici un outil majeur de l’étape finale (« résultats ») de l’évaluation des politiques publiques et doit donc permettre la confrontation entre les objectifs initiaux et les performances atteintes au final.

18Ces deux courants de pensée, le New public management et la Policy evaluation, sont cependant questionnés par certains chercheurs. Cet intérêt accru pour une approche de l’action publique par les résultats et une centration sur l’évaluation des productions des services publics, dont celui de l’éducation, interrogent en effet. Les études qui s’intéressent au processus mis en œuvre dans le cadre de l’évaluation standardisée, et notamment aux comportements des acteurs locaux (enseignants, chefs d’établissement…) montrent, comme nous le verrons dans la suite de ce rapport, que cette vision théorique top-down s’avère imparfaite : les acteurs locaux développent en effet des stratégies d’adaptation aux injonctions institutionnelles qui peuvent ne pas aller dans le sens des objectifs attendus (par exemple, exclusion des tests des élèves en difficulté pour améliorer artificiellement le niveau moyen de l’école, entraînement intensif aux évaluations au détriment d’un enseignement de fond…). Au-delà de la rénovation de la gestion publique, les politiques d’évaluation standardisée sont aussi portées par deux mouvements qui se développent spécifiquement en éducation.

La logique économiste de l’évaluation standardisée et le courant pragmatique de la school effectiveness

19Pour les économistes, dans la lignée de la théorie du capital humain (Becker, 1964), l’éducation est non plus considérée comme un coût mais comme un investissement dont va résulter un capital. L’agrégation des compétences individuelles va refléter partiellement la force économique des pays. Les liaisons entre efficacité économique et acquisitions scolaires ont été mises en lumière, entre autres, par Barro (1997). Même si le questionnement sur la relation entre éducation et croissance économique reste toujours ouvert, ce chercheur américain a montré que la mesure du capital humain à travers les scores aux évaluations scolaires explique mieux la progression des richesses nationales qu’une mesure par les carrières scolaires. Dans cette perspective, les interrogations sur la réalité des apprentissages, auxquelles les évaluations standardisées cherchent à répondre, sont donc fondamentales : « Dans la logique d’une économie centrée sur “l’innovation” ou “la connaissance”, un discours prêchant la nécessité d’investir dans les ressources humaines se fait de plus en plus entendre, qui se traduit dans les demandes de voir le “niveau général d’éducation” s’élever. » (Maroy, 2005)

20Mais, selon les économistes, cette amélioration de la qualité de l’éducation ne doit pas se faire à n’importe prix, et ce d’autant plus que la massification de l’éducation par un accès quasi universel à l’enseignement secondaire supérieur dans les pays de l’OCDE pèse sur le budget des États. Face à ces contraintes budgétaires, les économistes mettent en avant leur capacité à apporter des solutions pour « produire » plus à moindre coût (c’est-à-dire éduquer mieux avec des budgets stables, voire moindres), en définissant les paramètres institutionnels sur lesquels les politiques doivent jouer pour optimiser le système. Pour ce faire, l’analyse économique utilise le paradigme de la fonction de production, importée du monde de l’entreprise, l’entreprise combinant des facteurs de production (les « inputs ») pour élaborer un produit, l’« output ». Appliqué à l’éducation, ce modèle induit la transposition suivante : l’école assemble différents inputs (matériels pédagogiques, professeurs aux caractéristiques particulières comme le nombre d’années de formation, l’ancienneté, etc.) pour produire de l’éducation, qui peut être évaluée d’un point de vue quantitatif (nombre moyen d’années de scolarisation par élève, par exemple) ou qualitatif (mesure des acquis des élèves). Aussi l’économiste a-t-il besoin de données relatives aux inputs et aux résultats des systèmes éducatifs pour faire « tourner » ses modèles statistiques et mettre en évidence les configurations institutionnelles efficaces. Les données relatives aux résultats qualitatifs des écoles (acquis des élèves) sont acquises à travers la mise en œuvre de tests standardisés. Les économistes prônent donc un nouveau regard sur le fonctionnement des systèmes éducatifs appuyés par une régulation par les résultats (Wöessmann, 2007).

21Les choix de stratégie et d’organisation au niveau de l’établissement sont également considérés comme cruciaux quant aux résultats des élèves. C’est le fameux slogan « School matters » (« L’école compte ») du courant de la school effectiveness. La qualité du leadership, de la discipline scolaire, des relations entre enseignants et élèves sont entre autres des facteurs fondamentaux de la réussite scolaire. Empiriquement les études de ce courant montrent que des écoles accueillant des publics identiques en termes de catégories socioprofessionnelles des parents peuvent présenter des résultats scolaires fort différents. D’où l’idée associée aux nouvelles politiques d’évaluation standardisée de rendre les écoles redevables en interne auprès des autorités qui en ont la charge et en externe auprès de la société civile.

22Les tenants de l’approche économiste appliquée à l’éducation en soulignent cependant eux-mêmes les limites. Les conclusions issues des études fondées sur des fonctions de production sont difficiles à mettre en œuvre : « Ce modèle du changement technique où la science définit la voie à suivre, à laquelle les “exécutants” n’auront qu’à se rallier, peine à s’appliquer à l’éducation. Certes, le Centre peut s’appuyer sur les recherches pour décider d’éradiquer telle ou telle pratique dont on aurait démontré les effets nocifs (le redoublement ou les classes de niveau par exemple). Mais pour le reste… On connaît la faible portée des directives insufflées d’en haut, vu l’autonomie importante dont jouissent les enseignants dans leur classe […]. On sait aussi que l’efficacité d’une pratique pédagogique est souvent relative à un contexte (efficace avec tel type de public ou à tel niveau scolaire seulement), ce qui rend les évaluations inévitablement indexées aux conditions dans lesquelles elles ont été réalisées. » (Duru-Bellat & Jarousse, 2001)

23Il apparaît finalement, à travers la définition de ces cadres théoriques politiques, que l’évaluation standardisée y joue un double rôle essentiel : instrument de régulation, elle permet l’articulation entre différentes politiques éducatives emblématiques des réformes d’envergure entamées dans la très grande majorité des pays de l’OCDE (Mons, 2007) ; outil de mesure, elle sert à l’évaluation de ces mêmes réformes. En effet, au-delà de son rôle traditionnel dans la mesure des acquis des élèves, l’évaluation standardisée apparaît désormais comme un outil présentant de multiples facettes. Instrument d’information générateur de données quantitatives aisément comparables, elle appuie les politiques de redevabilité interne à l’institution (contrôle des écoles par les autorités en charge de l’éducation) et de redevabilité externe en direction de la société civile (informations sur les performances des élèves notamment en lien, pour les parents, avec les politiques de libre choix des établissements). Outil de mise en cohérence impérative des actions micro des acteurs locaux et macro des décideurs politiques, l’évaluation standardisée permet également d’imposer, dans des systèmes historiquement ou nouvellement décentralisés, des lignes directrices en termes de contenu d’enseignement. Au travers du développement du testing se joue donc une nouvelle répartition du pouvoir entre les écoles, les autorités locales en charge de l’opérationnalisation du service d’éducation et les décideurs concepteurs rattachés au niveau central ou fédéral (Broadfoot, 2000). L’instrument joue donc aussi le double rôle d’outil de direction cognitive (définition claire et imposée des contenus d’enseignement jugés prioritaires) et de contrôle social sur les agents opérationnels. Enfin les nouveaux dispositifs d’évaluation standardisée, fondés désormais le plus souvent sur une redevabilité des écoles (par opposition à la responsabilisation des autorités supérieures en charge de l’éducation) s’imposent comme un outil de transfert de responsabilité : alors qu’hier l’élève était érigé au rang de premier acteur de la réussite scolaire et que le politique se devait de rendre des comptes sur les réformes engagées, l’accent est désormais mis en priorité sur la redevabilité des écoles qui, en contrepartie, se voient octroyer davantage de marges de manœuvre. On voit donc à travers ces rôles multiples que les effets attendus de l’évaluation sont nombreux, en lien avec les politiques de décentralisation, d’autonomie scolaire et de libre choix de l’école. Au-delà des effets politiques attendus de l’évaluation standardisée, l’instrument est aussi censé jouer un rôle dans le domaine strictement pédagogique. Les enjeux se situent alors, non plus au niveau du pilotage des systèmes éducatifs, mais dans l’établissement et la classe.

Le cadre théorique pédagogique de l’évaluation standardisée : des modèles encore en construction

24Si d’autres politiques éducatives comme l’autonomie scolaire, la décentralisation ou encore le libre choix de l’école ont suscité des recherches théoriques d’envergure, bien que toujours très controversées, le cadre théorique pédagogique de l’évaluation standardisée, centré sur les mécanismes en jeu dans l’établissement et la classe, reste à ce jour peu développé. Au niveau des apprentissages, l’objectif de l’introduction du testing est bien une amélioration des acquis des élèves. Pour autant de nombreux auteurs (dont Linn, 2001 ; Nichols, 2007) pointent du doigt le fait que les théories expliquent rarement précisément par quels processus intermédiaires l’évaluation standardisée est censée conduire à une progression des acquis des élèves. Une série d’arguments, assez vagues, sont avancés par les défenseurs de ces dispositifs. Les modes d’explication diffèrent, voire s’opposent sur certaines dimensions, suivant les types d’accountability développés : l’« accountability dure » fondée sur l’organisation de tests à forts enjeux (high-stakes testing)pour les élèves et les écoles sur le modèle américain ou anglais, ou le modèle que l’on pourrait qualifier d’« accountability douce » (modèle de l’école européenne continentale).

25Le modèle de l’« accountability dure » (Goodwin, Englert & Cicchinelli, 2002 ; Raymond & Hanushek, 2003 ; Mc Donnell, 2005 ; Herman & Haertel, 2005 ; Phelps, 2005 ; Wöessmann, 2007…) attache aux résultats des tests une série de sanction et de récompense qui peuvent avoir de lourdes conséquences pour les écoles, les enseignants ou les élèves (comme le financement de l’école, le diplôme ou le redoublement des élèves). Ce modèle est fondé sur l’existence des mécanismes suivants qui, déclenchés par le testing et fonctionnant de concert dans une dynamique positive, permettraient de rendre le système éducatif plus efficace :

• • 4 Par opposition à la motivation intrinsèque qui trouve dans le sujet lui-même ses causes (par exempl (...)

  des élèves, il est attendu un travail plus important et donc, au final, de meilleurs apprentissages, du fait à la fois d’une définition plus claire des objectifs scolaires à atteindre, de la désignation de champs d’enseignement jugés prioritaires et de la pression psychologique exercée par le test lui-même puisqu’il conditionne leur carrière scolaire. En effet, dans ce modèle d’« accountability dure », les mesures de redoublement ainsi que l’accès à la certification peuvent dépendre du résultat du test. Le testing agirait sur le comportement des élèves en développant une motivation renforcée pour les études, motivation au moins extrinsèque4 ;

• les enseignants, pour leur part, responsabilisés sur les résultats des élèves devant leurs supérieurs hiérarchiques et la société civile par la publication des performances de leur école, travailleraient davantage à la réussite des élèves et amélioreraient leur professionnalisme à la fois par des formations et des échanges entre collègues au sein des écoles, les résultats aux tests donnant lieu à des analyses réflexives dans les établissements. Des performances élevées aux tests dynamiseraient la motivation des équipes pédagogiques tandis que des résultats moyens ou faibles auraient pour conséquence de mettre au travail les moins motivés ;

• pour les personnels administratifs et politiques d’encadrement local des établissements scolaires, l’évaluation standardisée permettrait une meilleure connaissance des difficultés locales et la mise en œuvre de mesures efficaces de récompense et de sanction quand l’établissement ne parvient pas à améliorer ses résultats dans les délais impartis (changement de leadership, restructuration ou fermeture de l’école).

26Au-delà de l’amélioration de l’efficacité, certains auteurs mettent en avant les effets positifs que les dispositifs d’évaluation standardisée peuvent avoir en termes d’inégalités scolaires (Grissmer et al., 2000 ; Hong & Youngs, 2008). En imposant des standards communs à tous les élèves, ces mesures obligent les enseignants à développer des attentes uniformes à leur égard, quelles que soient leurs caractéristiques individuelles (handicap, appartenance à une communauté ethnique minoritaire ou à un milieu social défavorisé) et quels que soient les contextes scolaires dans lesquels ils évoluent (écoles accueillant ou non un public favorisé). Ceci aurait un effet pédagogique « homogénéisateur » (même exposition aux contenus d’enseignement, même nombre d’heures utiles, attentes face aux élèves identiques), qui tendrait à limiter les inégalités scolaires globales et celles d’origine sociale, en permettant d’améliorer les résultats des élèves appartenant aux groupes sociaux considérés comme défavorisés.

28Aux côtés de ce modèle anglo-saxon du testing à forts enjeux, le modèle continental européen, associé à une philosophie d’accountability que l’on peut qualifier de douce, met en avant des arguments qui ne recoupent pas, sur toutes les dimensions, ceux qui viennent d’être exposés. Nous présentons ici les deux modèles principaux qui pour l’un a irrigué la réflexion sur les standards et leur évaluation en Allemagne, en Suisse et en Autriche, dans le cadre du rapport Klieme (Klieme et al., 2004) et, pour l’autre, fut développé en France par Thélot sous le nom de l’« effet miroir ».

29Dans le cadre du rapport « Le développement de standards nationaux de formation : une expertise », Klieme, chercheur à l’Institut allemand de recherche pédagogique internationale (ou DIPF), et son équipe préconisent la mise en place de « standards de résultat » (Klieme et al., 2004, p. 48). Ces « output standards » décrivent des objectifs d’enseignement à valider par des évaluations standardisées, par opposition aux « standards de contenus » ou « input standards » qui sont axés sur les contenus à enseigner (proches, mais en moins détaillés, des notions de curricula, programmes scolaires ou plans d’études). Selon l’équipe dirigée par Klieme, ces dispositifs qui allient standards et testing auraient une mission centrale : « Ils font ressortir sous une forme claire et concise ce qui importe dans le cadre de notre système scolaire. Cette fonction d’orientation est utile tant pour les élèves que pour leurs parents ; mais elle sert aussi au professionnalisme des enseignant(e)s et au développement de la qualité au niveau institutionnel. Concrétisés en procédés de test, les standards sont utilisés dans le cadre du suivi de la formation et de l’évaluation des établissements scolaires. […] Leur objectif est d’analyser les effets (et les effets secondaires) des méthodes pédagogiques et de permettre ainsi un agir professionnel, rationnel. Les enquêtes sous forme de tests ne sont donc utiles que si elles contribuent à développer le professionnalisme du personnel enseignant ainsi que la qualité de l’école et de l’enseignement » (Klieme et al., 2004, p. 46).

30Le rapport détaille ensuite ce qu’apportent les standards axés sur les résultats à chacun des acteurs intervenant directement dans le processus pédagogique. Pour les élèves et leurs parents, les standards de résultats couplés à des tests permettent une meilleure information sur les champs d’apprentissage prioritaires et constituent un outil de dialogue privilégié avec l’équipe enseignante. Par contre, contrairement à l’accountability dans sa version dure, qui allie responsabilisation simultanée de l’école et de l’élève à travers des tests à forts enjeux pour les carrières scolaires, le rapport Klieme s’oppose très explicitement à l’usage des standards de résultat dans le cadre des carrières scolaires individuelles. Les données produites dans le cadre de ces dispositifs ne doivent pas être exploitées pour les décisions de passage de classe ou de certification.

31Pour les enseignants, il est attendu des standards de performance qu’ils donnent une orientation à leur enseignement : « Les standards fournissent aux enseignants un cadre de référence » (Klieme et al., 2004, p. 49). Ils lancent également un signal de responsabilisation : « Ils soulignent la responsabilité des enseignants et des écoles pour les résultats d’apprentissage » (Klieme et al., 2004, p. 48). En revanche, contrairement au modèle de l’« accountabililty dure » qui rend les équipes pédagogiques redevables devant leurs concitoyens grâce à la publication des performances des établissements auprès du grand public, le modèle Klieme préconise que « les feed-backs [soient] adressés au corps enseignant et aux organes d’un établissement scolaire et non au grand public. […] Nous voyons dans la mesure des acquis scolaires (compétences des élèves) une opportunité pour les écoles de vérifier les résultats du travail réalisé et d’y réagir professionnellement » (Klieme et al., 2004, p. 53).

33Que l’on se positionne dans le cadre d’une responsabilisation dure ou douce, les deux modèles décrits précédemment reposent sur un ensemble de présupposés qui, d’après certains auteurs (Linn, 2000 ; Nichols, 2007), doivent pour les uns encore être démontrés, et pour d’autres entrent en contradiction avec certaines études empiriques déjà menées. Ces présupposés sont les suivants :

• les tests permettent une bonne mesure de la qualité des enseignements dispensés par les écoles et des compétences et connaissances réelles des élèves ;

• cette mesure, même si elle ne suit pas une logique de valeur ajoutée contextuelle, n’est pas affectée par des différences entre élèves en termes de motivation, maîtrise de la langue, statuts sociaux et ethniques ;

• les enseignants et personnel des écoles, motivés par un dispositif de sanction et de récompense et le regard extérieur posé sur leur travail par les parents en particulier, et l’opinion publique en général, cherchent à améliorer leur enseignement et disposent des ressources personnelles et collectives pour le faire (voir plus particulièrement Larré, 2009, autour de l’application de la New economics of personnel au domaine de l’éducation) ;

• les résultats des tests permettent aux responsables administratifs en charge de l’éducation de faire progresser la gestion des établissements dont ils ont la charge ;

• les écoles peuvent être tenues pour responsable principal des performances des élèves ;

• les parents comprennent la signification des tests et peuvent interpréter les résultats de leur enfant et des écoles dans leur globalité. Dans le cadre d’un système de libre choix de l’établissement, ils utilisent ces indicateurs pour demander une inscription dans l’école qui se révèle la plus performante, stimulant ainsi une concurrence positive entre établissements, ce qui tend globalement à améliorer les résultats du système éducatif.

34Comme nous le verrons dans la suite de ce rapport, un champ désormais large de recherches a montré qu’une partie de ces présupposés, notamment ceux concernant les comportements des enseignants et des parents, sont (partiellement) invalidés par les faits. Au total, tout comme le cadre politique décrit précédemment, les fondements théoriques pédagogiques de l’évaluation standardisée apparaissent à ce jour devoir être soit explorés plus avant, soit analysés à nouveau pour les dimensions qui entrent en contradiction avec les conclusions de certaines recherches empiriques.

35Après avoir analysé dans cette première partie les présupposés théoriques selon lesquels l’évaluation standardisée est censée intervenir dans la régulation des systèmes éducatifs, nous présentons dans une seconde partie les effets empiriques réels qui sont associés à ces politiques. En particulier, est-ce que les dispositifs de testing sont liés à des niveaux de performance moyenne des élèves plus élevés et à des disparités scolaires globales et sociales plus faibles ? La revue de la littérature empirique que nous présentons ici cherche donc à présenter une synthèse des effets de l’évaluation standardisée en termes à la fois d’efficacité et d’égalité scolaires. Nous nous interrogeons aussi dans une troisième partie sur les processus mis en jeu par le testing en ce qui concerne les enseignants, les élèves, les cadres intermédiaires du système éducatif ainsi que les parents.

36Pour réaliser ces deux parties fondées sur des matériaux empiriques, nous présenterons ici un ensemble large de recherches tant quantitatives que qualitatives, émanant de sources multiples (articles scientifiques mais aussi, pour l’analyse des comportements et points de vue des acteurs, rapports d’inspection, enquêtes parlementaires, sondages…). Nous ne pratiquons donc pas une méta-analyse qui permette de confronter, sur une base standardisée et des critères précis de sélection des études, les résultats de différentes enquêtes. Notre choix s’est davantage orienté vers la présentation d’une large gamme d’études fondées sur des méthodologies diverses. Enfin, dernière caractéristique, cette revue de la littérature est centrée sur les pays développés à la fois européens et nord-américains.

Les effets réels de l’évaluation standardisée sur les performances des systèmes éducatifs

37C’est principalement une littérature nord-américaine qui a traité de l’évaluation des dispositifs de testing en termes d’efficacité et d’égalité scolaires du fait, entre autres, du vif débat public qui a entouré ces réformes outre-Atlantique. Avant de détailler les études qui ont porté sur les effets des politiques d’évaluation standardisée sur les performances des systèmes éducatifs, il nous semble intéressant de commencer par présenter deux études de cas américaines, les réformes du Texas et du district de Chicago. Ces expériences ont donné lieu à de multiples recherches dont les résultats, bien que portant sur les mêmes données, se sont avérés souvent contradictoires. Ces deux cas sont doublement exemplaires dans la recherche empirique sur les effets du testing : premièrement, ils mettent clairement en évidence l’absence de consensus empirique sur l’impact de ces dispositifs (selon les niveaux d’enseignement ou les disciplines observées, les conclusions des études varient fortement) ; deuxièmement, ces études révèlent un ensemble de chausse-trapes méthodologiques dans lesquelles l’analyse des effets du testing tombe encore souvent, enlevant toute validité scientifique aux dispositifs d’évaluation de ces réformes.

38Au début des années 1990, l’État américain du Texas décide d’imposer des tests d’évaluation des acquis aux élèves à la fin des 4^e, 8^e et 10^e années (Haney, 2000). Ce dispositif du Texas assessment of academic skills (TAAS) a pour but de responsabiliser à la fois les écoles et les élèves. Sur la base des performances de leurs élèves à cette évaluation, les écoles sont en effet classées en plusieurs catégories (« exemplaires », « bon niveau », « acceptables », « non acceptables »). Ces catégories sont elles-mêmes associées à des récompenses sous forme de financements supplémentaires ou à des sanctions pouvant aller jusqu’à la fermeture de l’école. Les résultats au test impactent aussi fortement la carrière scolaire des élèves puisqu’ils déterminent les redoublements et entrent même en ligne de compte dans l’obtention du diplôme de fin d’enseignement secondaire supérieur(high school diploma).

39Les premières recherches qui visaient à évaluer les effets de ce dispositif sur les acquis des élèves mirent en évidence des résultats positifs. En particulier, les études de Grissmer et Flanagan (1998, 2001) montrèrent que les résultats au test TAAS avaient fortement progressé durant les années 1990 à la fois en moyenne et pour les différents groupes ethniques (blancs mais aussi hispaniques et afro-américains). Par exemple, selon Hong et Youngs (2008), le pourcentage d’élèves atteignant le seuil minimal requis en 10^e année avait bondi entre 1994 et 2000, en particulier pour les jeunes noirs américains. Pour cette population, le pourcentage de jeunes réussissant le test passa ainsi de 28 % en 1994 à 78 % en 2002.

41Les études portant sur le cas texan ne devaient pas s’arrêter là. Les effets exceptionnels du nouveau dispositif sur les résultats scolaires des minorités ethniques conduisirent certains auteurs à s’intéresser de près à l’administration du test lui-même. Ils découvrirent ainsi qu’une partie du « mythe texan » (Haney, 2000) s’expliquait par l’exclusion des élèves présentant des difficultés scolaires (Haney, 2000 ; Mc Neil, 2005). En effet, le test fédéral américain NAEP autorise les États à éliminer de leur échantillon les élèves handicapés qui bénéficient de Plans d’éducation spécialisés (Individualized education plans ou IEP) et ceux d’origine étrangère qui présentent une faible maîtrise de l’anglais. De 1992 à 1996, le taux d’exclusion au Texas avait progressé de 8 % à 11 % en 4^e année scolaire et de 7 à 8 % en 8^e année, alors qu’au niveau national les taux régressaient de 8 % à 6 % en 4^e année et de 7 % à 5 % en 8^e année.

42Des analyses qualitatives comme celle de Booher-Jennings (2005) montrèrent également que les comportements des enseignants avaient changé depuis l’introduction du test : ils tendaient à catégoriser les élèves en trois groupes (les « cas sûrs », les « cas nécessitant un traitement », les « cas désespérés »), avec une attention particulièrement portée au groupe du milieu dont les progrès permettaient d’améliorer à court terme les résultats de leur école, tandis que les élèves les plus faibles recevaient moins d’attention. Au total, l’expérience texane interrogea sur la consistance des effets positifs de l’évaluation standardisée, leur pérennité dans le temps, les effets pervers dont elle pouvait être assortie ainsi que sur les écueils méthodologiques de certaines recherches qui visaient à en analyser les conséquences.

43Une seconde expérience, celle du district de Chicago, permet quant à elle de mettre en lumière à la fois l’inconsistance des résultats de certaines expériences et les problèmes posés par les contenus des tests. Au printemps 1995, le district de Chicago (troisième plus grand district des États-Unis, marqué par une population socialement et ethniquement défavorisée) décida de mettre fin à la promotion automatique. Il fut donc décidé que, pour passer dans la classe supérieure, tous les élèves devaient avoir atteint un seuil de compétences minimales à l’Iowa test of basic skills (ITBS) lors de leur 3^e, 6^e et 8^e années scolaires (Roderick, Jacob & Bryck, 2002). Ceux qui n’avaient pas le niveau bénéficiaient de soutiens spéciaux, durant les vacances d’été, ou redoublaient s’ils ne parvenaient pas malgré cette aide à améliorer leurs résultats. À la fin de la 8^e année, ceux qui avaient échoué au test par deux fois étaient orientés vers des « centres de transition ». Cette politique se solda par des effets majeurs immédiats : les deux premières années, un tiers des élèves de 3^e, 6^e et 8^e années redoublèrent. Après ce premier choc, les résultats s’améliorèrent là encore de façon spectaculaire (Roderick & Nagaoka, 2005) : le nombre de redoublants dans les années scolaires testées baissa très fortement. Par exemple, pour la 6^e année, le taux de redoublement atteignait 37 % en 1995, mais il ne s’élevait plus qu’à 14 % en 1999. De même, Jacob (2002) montra qu’entre 1990 et 2000, les résultats moyens au test ITBS s’améliorèrent de façon très significative pour les trois années testées (3^e, 6^e et 8^e années).

44Des études plus approfondies montrèrent là encore que les gains n’étaient pas aussi consistants que le laissait envisager la première analyse. Roderick, Jacob et Bryck (2002) montrèrent qu’ils variaient fortement selon les années scolaires envisagées, les disciplines testées et les populations d’élèves analysées. Ainsi, si en lecture l’introduction du test semblait avoir été positive pour les élèves en difficulté, en mathématiques, les élèves les plus avancés étaient avantagés. Jacob (2002) montra également que les résultats des élèves en mathématiques au test local, l’ITBS, étaient très faiblement corrélés avec ceux de l’Illinois goals assessment program, un test davantage axé sur des exercices de réflexion. Les bons résultats semblaient donc s’expliquer principalement en mathématiques par la réussite aux exercices basiques d’arithmétique et de calcul mental, auxquels il était plus facile d’entraîner les élèves. De la même façon qu’au Texas, le rétrécissement des curricula et le peu de soutien apporté aux élèves en grande difficulté furent mis en évidence par des analyses qualitatives (Lipman, 2004 ; Anagnostopoulos, 2006). La présentation de ces deux études de cas américaines, dont les données ont été parmi les plus analysées, montre ainsi les difficultés inhérentes à l’évaluation du testing : les enquêtes s’appuyant sur les tests locaux ne sont pas fiables ; les dates retenues dans l’analyse sont fondamentales ; l’étude des résultats des élèves en termes de valeur absolue ou de progression fait changer les conclusions des recherches. De façon générale, dans une même enquête, les effets de l’évaluation standardisée semblent varier suivant la discipline ou l’âge testés (nous le verrons à travers une méta-analyse présentée par la suite), sans qu’il soit possible de trouver une logique à ces variations.

46D’autres analyses également nationales se sont intéressées à des dispositifs d’accountability plus larges que ceux qui ne portent que sur les compétences minimales. Les années 1990 furent en effet marquées dans de nombreux pays par le passage d’un testing fondé sur une analyse des compétences minimales à des évaluations portant sur un spectre plus large d’acquisitions. Là encore, suivant les études et même suivant les nouvelles analyses des données similaires, les résultats varient fortement. Amrein et Berliner (2002) ont ainsi présenté une recherche étudiant chronologiquement les effets des nouvelles politiques d’accountability développées aux États-Unis par une multiplicité d’États, depuis le début des années 1990. Ils cherchèrent ainsi à mettre en relation l’introduction de ces dispositifs avec de potentielles progressions des acquis des élèves, appréhendées à travers le test américain fédéral NAEP. Ils montrèrent ainsi l’inconsistance des résultats, à la fois pour les acquis en mathématiques et en lecture en 4^e et 8^e années : dans certains cas, ces réformes étaient liées à des gains en termes de performance, dans d’autres à des résultats négatifs. Rosenshine (2003) analysa à nouveau les mêmes données en utilisant une nouvelle approche méthodologique et montra que les résultats moyens des États au NAEP avaient davantage crû dans les États ayant mis en place un dispositif de testing à forts enjeux que dans ceux qui n’avaient pas adopté de telles réformes. Amrein-Beardsley et Berliner (2003) reprirent les mêmes données et la même méthodologie que Rosenshine, mais en incluant les taux d’exclusion du NAEP relatifs aux élèves en difficulté. Comme Rosenshine, ils montrèrent que les États ayant adopté un testing à forts enjeux voyaient leurs résultats progresser en 4^e année. Par contre l’introduction, comme variable de contrôle, des taux d’exclusion au NAEP rendait cet effet non significatif.

48Nichols, Glass et Berliner (2006) reprirent l’idée d’une échelle d’intensité de l’accountability faisant apparaître le taux de pression de l’évaluation (ou assessment pressure rating). Pour la construire, ils conduisirent une analyse institutionnelle approfondie des politiques d’accountability mises en œuvre dans 25 États américains. Leurs résultats là aussi sont mitigés : l’étude montre des corrélations importantes entre leur index de pression et les résultats des élèves en mathématiques en 4^e année au test américain fédéral NAEP. Plus la pression exercée par l’évaluation est forte, meilleurs sont les résultats. Par contre, parmi les multiples corrélations mises en évidence pour le test de 8^e année en mathématiques, les résultats apparaissent inconsistants : les corrélations sont positives ou négatives suivant les cas. De même, les relations entre leur taux de pression d’accountability et les performances au test en lecture, aussi bien en 4^e qu’en 8^e années, se sont avérées très faibles. Par contre, quand les relations sont apparues significatives, elles étaient négatives, suggérant ainsi que les dispositifs d’évaluation standardisée peuvent peser négativement sur les performances des élèves en lecture, surtout en 4^e année. Au total, les relations entre efficacité et dispositifs de testing n’apparaissent ni uniformément significatives, ni automatiques.

50S’appuyant en partie sur les mêmes données (PISA 2000), mais les traitant au niveau national, ce qui permet l’introduction de variables de contrôle relatives au contexte du pays (le niveau de développement économique, par exemple), Mons (2007) a au contraire montré que l’existence de dispositifs d’accountability n’était pas associée aux indicateurs d’efficacité. Les politiques d’évaluation standardisée dans l’enseignement obligatoire ont été appréhendées à travers plusieurs variables créées par l’auteur. Une première variable permet de rendre compte de l’existence dans ces pays d’une évaluation centralisée nationale qui peut revêtir la forme à la fois d’examens nationaux donnant lieu à une certification (principalement à la fin du premier cycle de l’enseignement secondaire) et de tests standardisés (si des échantillons larges d’élèves ont été concernés). Cette évaluation centralisée standardisée s’oppose à des évaluations locales, c’est-à-dire pratiquées soit par les collectivités locales, soit par les établissements scolaires. La recherche a mis en évidence que, à niveau de développement économique égal, l’existence d’examens ou de tests centralisés n’était en relation ni avec les performances moyennes des élèves, ni avec le pourcentage des élèves dont le niveau scolaire est le plus élevé (niveau 5 de l’étude PISA), ni avec le pourcentage des élèves présentant des difficultés scolaires (niveau 1 de l’étude PISA). Par contre, sans l’introduction dans les modèles de l’indicateur PIB par habitant comme variable de contrôle, les résultats mis en évidence par Wöessmann (2007) sur une liaison entre accountability et performances scolaires réapparaissent. Il semblerait donc que les conclusions issues des recherches internationales précédentes peuvent s’expliquer en partie par le manque de variables de contrôle relatives au niveau de développement des pays. En effet, les évaluations standardisées se sont surtout développées dans les pays les plus riches de l’OCDE. Les bons résultats en termes d’efficacité pourraient donc s’expliquer davantage par le niveau de développement économique élevé de certains pays qui peut, entre autres, autoriser l’organisation d’épreuves nationales coûteuses plutôt que par l’existence même de ces examens.

51De même, le dernier rapport PISA de l’OCDE (2007) n’a pas réussi à mettre en évidence des associations fortes entre des dispositifs de testing et l’efficacité de ces derniers : « Quels liens les politiques et les pratiques d’accountability entretiennent-elles avec les performances des pays ? La réponse est difficile, notamment parce que ces politiques sont associées à d’autres politiques et pratiques des établissements » (OCDE, 2007, p. 243). Pour répondre à cette question, l’OCDE a développé des modèles multi-niveaux intégrant les caractéristiques socio-économiques des élèves, ainsi que différentes caractéristiques des dispositifs d’accountability (liens avec des standards, caractère public ou non des résultats, usage ou non des données pour évaluer les enseignants…). Les résultats sont mitigés. Si les dispositifs d’évaluation fondés sur des standards sont associés positivement aux scores nationaux en science à l’épreuve de PISA 2006, cette relation disparaît dès lors que l’on tient compte des facteurs contextuels démographiques et socio-économiques. Seules les organisations qui intègrent la publication grand public des performances des écoles seraient liées à des résultats supérieurs : « Pour les autres caractéristiques des dispositifs d’accountability examinés dans PISA, les relations avec les performances sont faibles et statistiquement non significatives » (OCDE, 2007, p. 243). En conclusion, que l’on examine la littérature qui s’est concentrée sur les cas nationaux ou celle qui s’est appuyée sur les comparaisons internationales, les relations entre efficacité et testing apparaissent peu consistantes : elles ne sont ni univoques, ni automatiques.

52L’évaluation standardisée est-elle davantage associée à une réduction des inégalités scolaires entre groupes sociaux et ethniques comme l’ont affirmé certains de ses défenseurs ? Là non plus, la littérature abondante, principalement nord-américaine et rarement fondée sur des comparaisons internationales, n’aboutit pas à un consensus empirique. Comme nous l’avons exposé précédemment, les multiples recherches développées autour des expériences du Texas et de Chicago ont mis en évidence les résultats variables du testing pour les élèves issus de milieux socialement défavorisés. L’étude déjà citée de Carnoy et Loeb (2002), quant à elle, montre des effets positifs du testing sur les jeunes des minorités ethniques américaines pour certaines épreuves. Les résultats de l’étude de Hanushek et Raymond (2005) sont mitigés. Alors que la recherche met en évidence des résultats moyens positifs, elle montre que l’accountability ne tend pas à réduire les écarts de performance entre les publics scolaires blancs et afro-américains. Ces politiques seraient davantage bénéfiques pour le groupe hispanique. Les recherches de Lee et Wong (2004) et de Nichols et ses collègues (2006) mettent en évidence, quant à elles, que les effets de ces dispositifs ne sont pas significatifs pour les élèves issus des minorités ethniques. De même, l’étude de l’OCDE (2007), fondée sur PISA 2006, n’a pas établi de liens entre les différentes formes d’accountability analysées dans le cadre de cette enquête et les inégalités scolaires d’origine sociale.

53Seul un type d’accountability particulier, l’organisation d’examens nationaux externes dans l’enseignement secondaire semble être en lien avec des inégalités plus faibles. On retrouve ce résultat de façon consistante dans une multiplicité d’études nationales (Harris & Herrington, 2006). Au niveau international, une seule étude s’est intéressée aux relations entre cette forme d’accountability et les inégalités sociales à l’école (Mons, 2007). Alors que la variable créée par l’auteur autour des examens nationaux externes n’était pas en lien avec les indicateurs d’efficacité comme nous l’avons précisé plus haut, la mise en œuvre d’évaluations centralisées est apparue associée à des inégalités scolaires d’origine sociale faibles. Autrement dit, l’existence d’épreuves externes nationales est liée à une relation d’intensité faible entre les performances des élèves et leurs caractéristiques socio-économiques. Les évaluations standardisées permettraient ainsi de limiter les phénomènes de reproduction sociale au sein de l’école, peut-être entre autres parce qu’elles homogénéisent les exigences académiques qui sont imposées aux enseignants et limitent ainsi les dérives curriculaires dans les établissements qui accueillent les élèves de milieux défavorisés. La pratique de l’évaluation standardisée postule implicitement que les attentes doivent être identiques pour tous les élèves qui sont reconnus capables d’un même niveau d’éducabilité, puisqu’ils sont soumis au même test. Bishop (2006) a défini plus avant les critères qui doivent, selon lui, permettre de rendre plus efficaces les examens externes nationaux. On peut faire l’hypothèse que certains de ces critères participent également d’une réduction des inégalités scolaires. Selon lui, ces épreuves de certification nationales peuvent avoir des effets positifs si elles sont directement mises en lien avec des curricula et des standards externes, si elles mesurent un ensemble étendu de niveaux de performance et non un niveau d’acquis exclusif et enfin si elles couvrent de façon très large chaque cohorte de jeunes. Harris et Herrington (2006) insistent aussi sur le fait que ces examens externes auraient des effets positifs, non pas parce qu’ils exercent des pressions psychologiques sur les élèves et les enseignants, mais parce qu’ils constituent l’occasion d’approfondir l’exposition des élèves aux contenus d’enseignement, en termes de temps alloué à l’instruction et d’exigence sur les contenus.

54Du fait de la multiplicité des analyses et des conclusions contradictoires auxquelles les études sur les effets de l’évaluation standardisée aboutissent, Lee (2008) en a réalisé une méta-analyse visant à comparer et synthétiser leurs résultats de façon à essayer de mettre en lumière des grandes lignes directrices. Pour ce faire, il y a sélectionné 14 études qui répondent à un ensemble de critères précis et qui recouvrent en grande partie celles que nous avons citées auparavant. En particulier, pour limiter les effets d’entraînement aux tests, ces recherches doivent avoir mobilisé des résultats à un test en mathématiques et/ou en lecture indépendant du test local, comparable nationalement et à faible enjeu (comme le NAEP). Les résultats auxquels aboutit le chercheur américain sont décevants : l’analyse synthétique de l’effet moyen des coefficients estimés dans les modèles construits dans ces études conduit certes dans un premier temps à un résultat positif. Autrement dit, la méta-analyse semble tout d’abord montrer que, au vu de l’ensemble de ces études, le testing aurait des effets positifs sur les performances des élèves. Cependant, outre le fait que cette moyenne cache en fait des disparités très importantes entre les résultats des études, cet effet moyen disparaît dès lors que l’on traite correctement le problème des liens de dépendance entre certaines recherches (de nombreuses études ayant analysé à nouveau les mêmes données). De la même façon, Lee cherche également à mettre en évidence des effets du testing qui pourraient être particulièrement liés à une discipline, un niveau scolaire ou une durée de mise en œuvre de ces politiques – certaines études ayant par exemple montré que l’accountability a des résultats plus probants en mathématiques qu’en lecture, pour les années scolaires de l’enseignement primaire (vs celles de l’enseignement secondaire) ou sur des durées longues. Là encore, la méta-analyse ne révèle pas d’effets significatifs. Enfin, dernière interrogation de Lee : l’évaluation standardisée conduit-elle à une réduction des inégalités scolaires ? Une fois de plus, les résultats synthétiques de sa recherche apparaissent neutres.

55Au-delà de l’efficacité et de l’égalité scolaires, il est également possible de s’interroger sur l’efficience des politiques d’évaluation standardisée, compte tenu de la rhétorique économiste à partir de laquelle ces réformes se sont développées. La promesse était bien celle d’une amélioration des performances des élèves à un moindre coût (Linn, 2000). Dès lors, il est étonnant de constater que peu de recherches empiriques se sont penchées sur le sujet (Behrens, 2006). L’économiste américaine Hoxby (2002) a cherché à évaluer le coût financier de certains dispositifs outre-Atlantique pour montrer le faible investissement attaché à ces politiques. Dans d’autres pays, on dispose au mieux de quelques indices très partiels. Par exemple, le coût de développement, d’administration, de notation et de reporting du programme de tests de Floride est évalué à 42 millions de dollars par an (Florida department of education, 2003, cité par Jones, 2007). De même, le dernier rapport du parlement anglais sur le testing (House of Commons, 2007) renseigne sur certains éléments de coûts liés aux dispositifs d’accountability du pays : les 70 tests que passe en moyenne chaque élève durant sa carrière scolaire mobilisent annuellement 54 000 examinateurs et modérateurs ; 68 % des écoles primaires emploient du personnel supplémentaire dédié aux tests.

56Finalement, que l’on se retourne vers les études nationales ou internationales, vers les recherches qui portent sur les relations entre le testing et l’efficacité ou vers celles qui étudient les liens avec les inégalités scolaires, aucun consensus empirique ne se dégage actuellement autour des bienfaits de l’évaluation standardisée. Comme le suggèrent Nichols (2007) et Lee (2008), la divergence des résultats des différentes enquêtes doit conduire à de nouvelles recherches qui analyseraient plus finement les dispositifs en jeu. On peut en effet faire l’hypothèse que la diversité des politiques menées conduit à ces conclusions variables. Ainsi, dans certaines configurations institutionnelles, le testing pourrait entraîner des effets bénéfiques alors que dans d’autres, les effets pervers seraient les plus notables. Tout dépend en effet des processus activés durant la mise en œuvre, qui eux-mêmes sont en lien avec les comportements des différents acteurs impliqués dans la réforme. C’est ce que nous détaillons dans la troisième partie de cette note de synthèse.

Les comportements des enseignants, cadres intermédiaires, élèves et parents face au testing

57La littérature, tant européenne que nord-américaine, sur les effets du testing sur le comportement des acteurs des systèmes éducatifs est désormais féconde. Comme le souligne Jones (2007), si des effets bénéfiques de l’évaluation standardisée ont bien été identifiés, la littérature empirique est également riche maintenant d’études ayant montré que des effets dits pervers peuvent également se développer dans certains contextes d’accountability externe, en particulier ceux des tests à forts enjeux. Nous présentons donc maintenant une revue de ces recherches sur les processus en jeu dans l’évaluation standardisée. Pour ce faire, un peu artificiellement, nous analysons les réactions que les enseignants, les cadres administratifs des systèmes éducatifs, les élèves, puis les parents développent face à ces instruments de régulation.

Côté enseignants : attitudes et usages ambivalents de l’évaluation standardisée

58Si la littérature empirique relève des effets positifs du testing pour les enseignants, elle met aussi en évidence des évolutions notables des pratiques pédagogiques (centration sur l’entraînement aux tests, rétrécissement des curricula…) qui questionnent l’intérêt de ces dispositifs et peuvent expliquer la résistance de ce corps professionnel à la culture d’évaluation standardisée, que l’on retrouve dans de nombreux pays.

59Les dispositifs d’évaluation standardisée peuvent avoir des effets bénéfiques sur l’activité d’enseignement. Des études menées dans plusieurs pays montrent tout d’abord que les enseignants adhèrent à l’idée de standards de performance en éducation. Plusieurs organisations syndicales se sont ainsi prononcées en faveur de ces réformes. Par exemple, aux États-Unis l’American federation of teachers (AFT, 2001, cité par Behrens, 2006) affirme que le syndicat « a été un des premiers avocats des réformes fondées sur les standards. Dès 1992, du fait d’un souci croissant au sujet des acquis des élèves dans le cadre d’une économie devenue globale et de l’existence d’un écart intolérable entre les performances des Afro-américains et des Blancs […], l’ancien président de l’AFT a demandé aux États de prendre pour modèle les pays réussissant le mieux et de mettre en place des standards scolaires rigoureux et clairs qui s’appliqueraient à tous les élèves. Pour l’AFT, une réforme fondée sur les standards doit s’articuler autour des composantes suivantes logiquement ordonnées : des standards de qualité qui sont supportés par des curricula clairs permettant leur mise en œuvre, la formation continue pour les enseignants, des batteries de tests alignés sur les standards et, enfin, des incitants justes et des ressources financières suffisantes pour aider les élèves à passer dans la classe supérieure » (Behrens, 2006, p. 9).

60Des sondages conduits auprès des enseignants montrent également leur adhésion aux dispositifs de standards de performance, au moins dans certains pays. Selon Johnson et Duffett (2003), malgré des réserves sur les modalités d’application (que nous développerons par la suite), pour 80 % des enseignants américains, les standards fournissent de bonnes lignes directrices pour mieux comprendre ce qui doit être enseigné et pour améliorer les performances des élèves. 87 % d’entre eux pensent également que les élèves doivent passer des tests pour être promus dans la classe supérieure et, qu’en cas d’échec, ils doivent être envoyés dans des camps de remédiation l’été ou redoubler la classe qu’ils viennent de suivre si leur situation ne s’est pas améliorée grâce à ce soutien. Selon Jones (2007), des enquêtes conduites dans plusieurs États américains (Floride, Ohio…) ont également montré que les enseignants envisageaient positivement les tests : en effet selon eux, ces dispositifs permettent de mieux organiser les contenus d’enseignement en fonction des années scolaires, donnent une réalité aux standards qui, en leur absence, pourraient ne pas être appliqués, permettent d’établir un diagnostic des faiblesses des élèves et développent chez les enseignants une culture du résultat.

61En Suède, un sondage administré par l’Agence nationale pour l’éducation (en 2004), montre également que les enseignants adhérent dans leur très grande majorité aux tests nationaux développés dans leur pays. Une grande majorité d’entre eux déclarent en effet que l’évaluation standardisée donne des lignes directrices claires sur les contenus à enseigner, aide à mettre en évidence les faiblesses et les atouts des élèves et qu’elle ne constitue pas un cadre contraignant pour leur enseignement. L’outil est également apprécié parce qu’il donne un cadre national aux contenus d’enseignement dans un système aujourd’hui fortement décentralisé et dans lequel les collectivités locales jouent un rôle non négligeable dans les activités pédagogiques, ce qui peut laisser craindre l’apparition d’inégalités entre les régions et entre les établissements. Une étude des chercheurs norvégiens Helgoy et Homme (2007), comparant les situations norvégiennes et suédoises, a mis en évidence des résultats très proches pour la Norvège. Par contre, leur enquête montre une réticence plus marquée de la part des enseignants norvégiens, ce qui laisse à penser que le positionnement de ce corps de professionnel face au testing dépend bien d’éléments contextuels.

63En France, le rôle positif d’orientation joué par les évaluations standardisées a aussi été analysé : « Une voie permettant d’agir sur les programmes enseignés consiste à agir sur les épreuves nationales et sur les examens. Par exemple, il a suffi que les évaluations diagnostiques à l’entrée en sixième testent des compétences en géométrie durant quelques années pour que cet aspect des mathématiques, un temps négligé, se réactive » (IGEN-IGAENR, 2005). La force normative qu’imposent les tests standardisés apparaît d’autant plus forte qu’en France, aucun enjeu n’était lié à ces évaluations diagnostiques. Plus généralement, « le pilotage des disciplines a fortement recouru durant les dernières années au levier que constitue l’introduction de nouvelles formes d’épreuves. […] Bien entendu, ces épreuves demandent un temps d’explicitation […]. Mais l’effet en retour s’observe très vite » (IGEN-IGAENR, 2005).

64Demailly (2001) propose également une vision positive des apports de l’évaluation standardisée pour le travail enseignant : « les effets formatifs de l’évaluation ne sont pas négligeables, ainsi que le décloisonnement des cultures professionnelles et le développement de l’attitude à coopérer dans un cadre d’action interprofessionnel. Réflexion sur le “référent”, identification d’indicateurs pertinents permettant de décrire le fonctionnement des dispositifs, mises à plat parfois douloureuses des pratiques, telles sont les occasions d’une explicitation et d’un enrichissement d’un certain nombre de savoir-faire professionnels ». Au total, la perception générale par les enseignants des standards et des dispositifs de tests associés ainsi que dans, certaines configurations institutionnelles, la réalité des effets de ces mesures sur l’activité pédagogique semblent positives : ces réformes permettent en effet de donner des guides clairs pour mettre en œuvre les curricula, d’empêcher l’apparition de fortes inégalités dans le développement des syllabi locaux, de mettre l’accent sur les résultats réels des élèves, en particulier pour ceux issus des milieux défavorisés, et de favoriser un travail en équipe autour de l’analyse des résultats des évaluations.

66Pour que l’évaluation soit perçue positivement, Demailly (2001) observe que certaines conditions doivent être réunies dans la définition et la mise en œuvre des programmes. Les dispositifs doivent intégrer une forte association des personnels enseignants, ce qui exclut un processus autoritaire de type descendant (top-down) fondé sur des valeurs et des représentations qui ne sont pas communes aux évaluateurs et évalués : « Il semble que la dimension décisive soit celle des valeurs partagées et que l’intéressement des professionnels à l’évaluation de leur propre pratique ne puisse se faire que sur fond d’une réelle confiance politique. Il est également nécessaire que les évaluateurs acceptent d’écouter et d’apprendre des évalués, y compris sur la fabrication des outils d’évaluation et sur les méthodes de dialogue autour de ces évaluations. » (Demailly, 2005)

67Ces conditions n’étant pas réunies dans un certain nombre de pays et de dispositifs, une littérature, désormais très riche et développée dans des contextes nationaux multiples, a mis l’accent sur les effets pervers de l’évaluation standardisée pour les activités d’enseignement. Ces recherches montrent clairement que les tests, en particulier quand ils sont associés à de forts enjeux, peuvent conduire à la fois à une évolution défavorable des pratiques pédagogiques ainsi que, dans certaines circonstances, à un sentiment de déprofessionnalisation, qui se traduit par des phénomènes de démotivation des enseignants.

68En effet, comme nous l’avons déjà signalé pour les cas du Texas et du district de Chicago, certains dispositifs d’évaluation standardisée peuvent tout d’abord conduire au phénomène désormais bien analysé du « teaching to the test » ou focalisation sur l’entraînement intensif aux tests (voir notamment Gordon & Reese, 1997 ; Jones & Egley, 2004 ; Bélair, 2005 ; Jones, 2007). Face aux impératifs de résultats auxquels ils sont soumis, dans certains cas, les enseignants consacrent désormais une grande partie du temps d’instruction à l’entraînement à des exercices proches de ceux qui seront administrés dans le test. Ces nouveaux comportements ont particulièrement été analysés aux États-Unis (Jones, 2007) et en Angleterre, deux contextes marqués par la mise en œuvre de tests à forts enjeux. Ainsi, selon le rapport parlementaire anglais Testing and assessment (House of Commons, 2007), une étude de la Royal society de 2003 a montré qu’il existe, au Royaume-Uni, une différence très importante dans le temps consacré aux évaluations entre l’Angleterre – région dans laquelle l’évaluation standardisée est très soutenue – et l’Écosse qui a développé une politique plus souple en la matière. Ainsi, dans l’enseignement secondaire, les professeurs anglais passeraient deux fois plus de temps que leurs collègues écossais sur des activités d’évaluation. Le même rapport évalue qu’au 3^e trimestre, 70 % des écoles de l’enseignement primaire consacrent trois heures par semaine au seul entraînement au test correspondant au key stage 2, administré en 6^e année.

69Au-delà du phénomène d’entraînement intensif aux tests, les dispositifs d’évaluation standardisée peuvent aussi entraîner ce qui a été synthétisé sous l’appellation de « rétrécissement des curricula » (Behrens, 2006 ; Jones, 2007 ; House of Commons, 2007…). Cette famille de pratiques pédagogiques revêt plusieurs formes. Elle peut tout d’abord consister en une contraction du spectre des disciplines enseignées. Les tests se concentrant en général sur un nombre limité de matières, les enseignants, surtout dans les classes de l’enseignement primaire, tendent à accorder à la fois moins d’importance et moins d’heures d’enseignement aux disciplines qui ne sont pas évaluées. Ainsi, certaines études empiriques anglaises et américaines ont-elles montré que les sciences sociales, les disciplines artistiques ou sportives voyaient leurs volumes horaires nettement réduits du fait des épreuves standardisées (Jones, Jones & Hargrove, 2003 ; House of Commons, 2007…). Le rétrécissement du curriculum se traduit également par une focalisation des enseignants sur les compétences testées qui le plus souvent s’avèrent également basiques par opposition à des compétences complexes (par exemple la résolution de problèmes) plus rarement évaluées. Au-delà des contenus d’enseignement, les épreuves standardisées tendent également à focaliser les enseignants sur des objectifs strictement cognitifs (Osborn, 2006 ; Jones, 2007…) au détriment des autres missions de l’école (socialisation, développement de la créativité, autonomie, participation à la vie citoyenne, etc.). S’interrogeant sur la pertinence des thèses théoriques de la New economics of personnel, selon laquelle la mise en incitation financière des enseignants conduit à une amélioration de leurs pratiques professionnelles, Larré (2009) recense une série de recherches conduites dans le champ économique et tendant à montrer les effets pervers de ces outils : « Le […] problème est que l’évaluation par les tests incite les enseignants à délaisser les activités non mesurables (Holmströl & Milgrom, 1991). Selon Murnane et Cohen (1986), même si les tests fournissaient des mesures exactes des compétences des élèves dans des domaines particuliers, le problème des incitations pour allouer le temps stratégiquement à des élèves particuliers et à des domaines particuliers et pour négliger les aspects du métier non mesurables par les tests standardisés demeureraient. »

70Au-delà des contenus et des objectifs d’enseignement, dans certaines circonstances, les évaluations standardisées peuvent faire évoluer les pédagogies elles-mêmes. Couvrant un large spectre de connaissances qu’il faut désormais faire assimiler aux élèves dans un temps limité, le testing peut conduire les enseignants à se concentrer sur des méthodes pédagogiques fondées sur la mémorisation rapide plutôt que sur une exploration active davantage consommatrice de temps (Gordon & Reese, 1997). Plus largement, c’est la perception même de l’essence du métier qui évolue. Par exemple, comme l’a montré une analyse comparative menée en Angleterre, au Danemark et en France (Osborn, 2006), avec le nouvel accent mis sur l’évaluation standardisée, les enseignants anglais considèrent désormais comme prioritaire leur rôle de transmisson de connaissances et de compétences au détriment de leurs activités d’accompagnement individualisé et affectif des élèves (pastorale care).

72Au-delà d’une nouvelle attention portée à certaines populations d’élèves, les dispositifs d’accountability externe dure peuvent également conduire certaines équipes pédagogiques à pratiquer directement des tricheries qui visent à augmenter les résultats de leur école. Prenant appui sur le cas de l’État canadien de l’Ontario, Bélair (2005) affirme que « dans certains cas cités par des enseignants, des écoles sont même allées jusqu’à identifier des élèves en programmes spécialisés, afin qu’un nombre moindre d’élèves faibles passent ces tests pour favoriser un score élevé de réussite ». Les mêmes phénomènes ont été observés également au Texas, comme nous l’avons vu précédemment avec l’exclusion de certains élèves en grande difficulté du test fédéral NAEP. En 2006, aux Pays-Bas (pays marqué par un dispositif d’évaluation standardisée à forts enjeux), l’inspection, suite à des rumeurs, a également mené une enquête dans certaines écoles sur des pratiques d’exclusion du test de fin de l’enseignement primaire. Il s’est avéré que, dans certains cas, ne participaient pas à l’épreuve les élèves qui très certainement seraient orientés vers la voie scolaire la moins prisée : le Leerwegondersteunend onderwijs (LWOO). Là aussi, ces agissements visaient à présenter des performances d’établissement supérieures à la réalité.

73Ces nouvelles pratiques, qui entrent en contradiction avec le référentiel professionnel des enseignants, et en particulier avec ce qu’ils perçoivent comme devant être leurs missions pédagogiques, entraînent des phénomènes de démotivation dans ce corps de professionnels (Debard & Kubow, 2002 ; Center on education policy, 2006 ; Jones, 2007…). En particulier, dans certains cas, la perception du métier devient négative, la satisfaction dans l’activité professionnelle diminue tandis que la perception d’un stress nouveau apparaît. Par exemple, une enquête conduite en Caroline du Nord a montré que 84 % des enseignants considèrent que leur métier est devenu plus stressant depuis l’introduction des tests à forts enjeux (cité dans Hargrove et al., 2004). Les évaluations standardisées sont aussi considérées comme une des causes du départ du métier des enseignants. Par exemple, dans l’étude américaine de Hoffman, Assaf et Paris (2001), 85 % des enseignants affirment que les meilleurs d’entre eux quittent la profession du fait des tests à forts enjeux. D’autres études américaines montrent qu’une proportion non négligeable des enseignants qui veulent demeurer dans cette activité a demandé à ne plus enseigner dans les années scolaires concernées par les évaluations (Tobin & Ave, 2006, cité par Jones, 2007).

74Ces phénomènes de démotivation semblent particulièrement importants dans les écoles accueillant des publics défavorisés et dont les résultats bruts apparaissent faibles, du fait de la non prise en compte des caractéristiques sociales de leurs élèves (Jones, 2007). La définition d’indicateurs sous forme de valeur ajoutée permettant d’évaluer les apports pédagogiques réels des établissements s’avère être une demande récurrente de la part des syndicats, notamment aux États-Unis et en Angleterre (Behrens, 2006). Ces écoles rencontreraient également, toujours selon les enseignants, des difficultés à recruter des professionnels de qualité. Jones (2007) souligne cependant que, au-delà de ces études qui portent sur la perception des enseignants, des enquêtes mesurant la réalité des difficultés de recrutement et l’importance du turn-over doivent être conduites. Ce phénomène de démotivation des enseignants s’expliquerait, selon certains chercheurs, par un profond sentiment de déprofessionnalisation de leur métier. C’est la thèse des chercheurs belges Maroy et Cattonar (2002) qui soulignent que la seule explication corporatiste ne peut expliquer l’opposition des enseignants à certains dispositifs de testing. Osborn (2006) pour l’Angleterre et Dupriez (2004), qui a comparé les cas anglais et belges, rejoignent également cette thèse. En effet jusque-là les enseignants s’intégraient dans ce que les sociologues des organisations ont appelé des bureaucraties professionnelles (Bidwell, 1965, cité par Maroy & Cattonar, 2002) : c’est un modèle d’organisation hybride alliant d’un côté les règles rigides, dépersonnalisantes mais rationnelles de la bureaucratie (dans le sens weberien) et de l’autre une latitude d’action qui résulte de la reconnaissance forte d’une expertise professionnelle de haut niveau. De par cette dernière caractéristique, les enseignants sont assimilés par les sociologues à une profession, dans l’acception anglo-saxonne du terme, ce qui pourrait se rapprocher dans l’univers francophone de l’expression « profession libérale ». En effet, si l’enseignant est bien soumis à des règles très contraignantes (organisation scolaire fixe, programmes scolaires à suivre dans de nombreux pays, existence d’un supérieur encadrant et notant son travail), par ailleurs il dispose d’une liberté importante dans la conduite pédagogique et l’activité au quotidien de sa classe, du fait de ses compétences reconnues. C’est cette latitude d’action et donc son statut de « semi-professionnel » que le développement de tests standardisés viendrait remettre en cause. Il ne serait plus considéré comme le seul acteur capable de poser un jugement souvent définitif et lourd de conséquences sur les compétences acquises par « ses » élèves.

75Pour Maroy et Cattonar (2002), « les récentes réformes touchant le curriculum (davantage centralisé et redéfini sur base d’une approche par compétences) et les pratiques d’évaluation (avec la diffusion des batteries d’épreuves étalonnées), qui sont davantage prescrits et échappent désormais en partie aux enseignants en exercice pour devenir le produit d’acteurs externes, limitent la sphère d’activité traditionnelle reconnue au groupe. On pourrait parler d’une certaine “déqualification” (Lessard, 1999) ». Demailly (2003) propose, quant à elle, d’élargir le cadre théorique permettant de « penser la résistance à l’évaluation […] et donc les ressorts du changement. » Elle propose de s’appuyer sur les théories sociologiques de la norme professionnelle pour présenter concrètement trois cadres explicatifs possibles : l’intérêt, les valeurs, la rationalité. « Selon le premier, la pratique d’évaluation est un processus stratégique (elle met en jeu des rapports de force) ; selon le second, c’est un processus politique (elle implique des luttes entre des visions du monde et entre projets de société) ; selon le troisième c’est un processus cognitif (elle produit des connaissances rationnelles). » Dans le premier cas, en s’opposant à l’évaluation, les enseignants organisent une défense de leurs intérêts individuels et collectifs. Individuellement, cette attitude s’appuie sur la peur d’une relation entre l’évaluation et le déroulement des carrières. « Collectivement, elle concernerait la défense de la professionnalité dans ses rapports de force salariaux, la défense de son caractère insubstituable (ineffable, incommensurable), un refus de l’ingérence dans une pratique professionnelle qui veut maintenir ses zones d’autonomie, un refus du contrôle rapproché des pratiques, une défense des marges de manœuvres. » (Demailly, 2003)

76Le second cadre théorique proposé pour cette analyse de la résistance des enseignants à l’évaluation se pense en termes de valeurs. Les enseignants seraient opposés aux évaluations du fait d’une nostalgie de l’univers bureaucratique qui assurait la sacralisation de l’école ; d’une méfiance politique devant une technologie qui est perçue comme liée au management privé ; d’une vision de l’École comme foncièrement inégalitaire. Le troisième point est à expliciter. Dans leurs discours en entretien, les enseignants réfutent l’idée d’une évaluation fondant des comparaisons, car elles seraient par nature injustes et inéquitables, les conditions de travail et les publics accueillis par les enseignants étant très différents. Tout se passe « comme si les enseignants ne croyaient absolument pas ou plus à l’égalité des chances entre enseignants, ni à l’unité du métier : le projet social d’amélioration de l’école ne serait plus crédible à leurs yeux. » (Demailly, 2003)

77Enfin, troisième cadre théorique, Demailly propose d’analyser la résistance à l’évaluation comme une distance cognitive face à l’usage de la mesure statistique : « L’exigence d’une évaluation critériée passant par la mesure serait en fort décalage avec les pratiques spontanées des terrains pour des raisons liées à la temporalité intrinsèque de l’action pédagogique. » En effet les enseignants insistent sur la nécessité de conduire une évaluation qualitative continue du travail des élèves et accordent peu de crédit aux évaluations standardisées, dont les résultats sont présentés sous forme statistique et décalés dans le temps. Conséquence de cette résistance à la culture de l’évaluation, quand les résultats des tests standardisés ne sont pas solidement ancrés dans la régulation du système scolaire, les enseignants leur opposent une farouche indifférence. Au total, la position des enseignants apparaît bien mitigée par rapport à l’évaluation standardisée : acceptation du principe général, mais dénonciation des mécanismes à forts enjeux qui orientent trop les démarches pédagogiques.

Une prise en main de l’outil par les cadres intermédiaires du système éducatif

78Même si la littérature sur le positionnement face aux évaluations standardisées des responsables opérationnels encadrant le service éducatif est à ce jour encore peu développée, des enquêtes qualitatives menées dans plusieurs pays, ainsi que des sondages, montrent que ce corps professionnel remet moins en cause que les enseignants à la fois le principe mais aussi les dispositifs concrets de testing qui leur sont proposés, même si les interrogations ne sont pas totalement absentes de la réflexion conduite sur le sujet.

82En Belgique, Maroy et Cattonar (2002) notent que le développement de l’évaluation standardisée, qui s’insère dans le cadre plus global de référentiel de compétences centralisées, a entraîné, dans ce pays historiquement décentralisé, la création d’une nouvelle techno-structure pédagogique. Experts en sciences de l’éducation ou anciens enseignants, ils sont chargés, entre autres, de développer les socles de compétences et les batteries d’épreuves standardisées : « On pourrait […] parler d’une knowledge elite, soit une élite intellectuelle ou techno-pédagogique au sein de la profession, qui n’est sans doute pas neuve mais qui tend au cours de la dernière décennie à s’étoffer considérablement. […] Les enseignants les perçoivent de manière ambivalente, simultanément comme des soutiens potentiels dans l’exercice de leurs tâches mais aussi comme des vecteurs d’une standardisation et d’une formalisation de leurs pratiques pédagogiques » (Maroy & Cattonar, 2002). Les réformes actuelles belges conduisent également, aux côtés de cette élite pédagogique, à l’accroissement des pouvoirs de l’élite administrative plus traditionnelle. Au total, ces phénomènes induiraient une redéfinition du contexte et des relations dans lesquels s’insère le travail enseignant : « Notre hypothèse est que la division du travail entre ces catégories s’accentue et que de plus en plus les enseignants se trouvent dans une situation de dépendance soit de nature “technique et professionnelle”, vis-à-vis de l’élite technico-pédagogique, soit de nature administrative et gestionnaire vis-à-vis des administrateurs des établissements ou du système scolaire. » (Maroy & Cattonar, 2002)

83Au total, paradoxalement, alors que les politiques d’évaluation standardisée s’inscrivent en rupture avec les régulations bureaucratiques antérieures, il semble qu’elles puissent conduire à un développement ou une régénération des encadrements intermédiaires et donc à un contrôle effectif accru des pratiques et méthodes pédagogiques, et non pas seulement des résultats académiques. Si les professionnels de l’éducation présentent face aux tests des positions variées, comment les élèves, principaux intéressés de ces réformes éducatives, perçoivent-ils ces dispositifs ?

Les élèves et le fardeau des tests

85Si les études sur la motivation des élèves demeurent rares, de nombreuses recherches au contraire ont porté sur le nouveau stress ressenti du fait du développement de ces dispositifs. À la fois les élèves et les enseignants ont témoigné, dans certains contextes marqués par des épreuves à forts enjeux, de phénomènes d’anxiété, d’irritation, de pleurs ou de douleurs liés au testing (Hoffman, Assaf & Paris, 2001 ; Debard & Kubow, 2002 ; Gregory & Clarke, 2003 ; House of Commons, 2007 ; Jones, 2007). En Suède, alors que les enseignants adhèrent majoritairement au principe de l’évaluation standardisée et qu’ils déclarent ne pas être contraints dans leur enseignement par cet instrument, un cinquième d’entre eux rapportent cependant que leurs élèves souffrent de stress à cause des tests nationaux (Agence nationale pour l’éducation, 2004, cité par Mons, 2009).

86Au-delà du stress, le testing peut également jouer négativement sur les carrières des élèves. Obligeant certains à redoubler, stigmatisant les difficultés scolaires des autres, ces dispositifs peuvent entraîner à terme une augmentation des abandons scolaires (Haney, 2000 ; Jacob, 2001 ; Amrein-Beardsley & Berliner, 2003…). Comme nous l’avons vu auparavant, le peu d’attention, dans certains cas, portée aux élèves en grande difficulté ne pouvant pas réussir aux tests finit par créer une démotivation qui conduit à des sorties plus précoces de la carrière scolaire. Ces phénomènes seraient aggravés dans le cas des élèves issus des milieux défavorisés (Lipman, 2004 ; Jones, 2007 ; Hong & Youngs, 2008). Disposant de peu de ressources pour préparer les tests, étiquetés comme en échec dans des écoles qui publient des performances médiocres, ces élèves subissent de plus un entraînement intensif aux tests et un rétrécissement du curriculum, qui seraient encore plus marqués que dans les écoles accueillant des publics favorisés. Cette centration sur les évaluations standardisées se ferait au détriment d’activités d’éveil et de culture générale dont le manque s’avère particulièrement préjudiciable pour ces élèves, car leurs familles ne peuvent prendre le relais sur ces terrains. En France, des analyses fines des résultats des évaluations standardisées ont aussi montré dans les zones d’éducation prioritaire des dérives dans les pratiques enseignantes : ces derniers tendent à se concentrer, en mathématiques par exemple, sur des techniques opératoires simples, au détriment de compétences plus complexes (Andrieux et al., 2001 ; Kherroubi & Rochex, 2004). Au total, si les tests peuvent avoir dans certains contextes des effets d’entraînement positifs sur le travail scolaire, dans les cas de dispositifs liés à de forts enjeux, la pression exercée sur les élèves ainsi que le nombre d’épreuves à subir (70 évaluations par exemple dans le parcours scolaire d’un jeune anglais) ont des conséquences négatives sur leur comportement vis-à-vis de l’école. Derniers acteurs que nous analysons ici, les parents semblent supporter l’idée de testing, même si les sondages effectués montrent clairement que les objectifs cognitifs visés par les tests ne constituent pas pour eux la totalité des missions assignées aux écoles.

Côté parents : une réaction positive face au testing mais des attentes pour l’école qui vont au-delà

88Un autre résultat est que les parents perçoivent le testing comme inséré dans des dispositifs d’accountability envers les autorités administratives plutôt qu’envers les parents et s’inquiètent de ce que ces mesures puissent de fait limiter les communications avec la communauté civile plutôt que les conforter. Enfin plusieurs sondages (comme par exemple Public agenda, 2006) montrent également que, pour les parents, les objectifs cognitifs qu’évaluent les tests ne sont qu’une des missions des écoles. Interrogées sur leurs principales inquiétudes face à l’école, les familles ne citent le bas niveau scolaire qu’en toute fin de classement loin derrière la sécurité, la discipline, le respect pour les enseignants et l’enseignement des valeurs.

89Au Canada, dans la province de la Colombie britannique, les sondages menés auprès des parents ont suscité davantage de polémique, suite à la vive controverse opposant le ministère de l’Éducation provincial et les syndicats d’enseignants autour des tests standardisés, et en particulier le Foundation skills assessment (FSA) et le classement du Fraser institute. L’Institut Fraser, think tank néolibéral soutenant le libre choix de l’école et l’évaluation standardisée à forts enjeux, a montré lors d’un sondage mené en avril 2008 que 83 % des parents soutenaient largement les tests et que 66 % d’entre eux ne s’opposaient pas à leur utilisation pour classer les écoles. Le syndicat d’enseignant a cependant remis en cause la formulation des questions jugées trop générales et ne portant pas sur le dispositif concrètement mis en œuvre (Vancouver Sun, 2008). Les sondages menés en Angleterre auprès des parents mettent en évidence des traits communs avec les autres pays (House of Commons, 2007). Si les parents consultent les résultats des palmarès, le choix de l’école de leurs enfants ne se fonde que très partiellement sur ces statistiques. De plus, ces indicateurs apparaissent peu clairs à leurs yeux.

Conclusion

90En conclusion, les réactions des différents acteurs impliqués dans le système éducatif (enseignants, cadres de l’éducation, élèves et parents) apparaissent fortement conditionnées par le contexte dans lequel se développent les dispositifs d’évaluation standardisée. Contrairement à d’autres politiques qui peuvent susciter des phénomènes de rejet ou d’adhésion de principe (la création de filières scolaires dans l’école unique, la décentralisation, l’autonomie scolaire…), il semble que cet instrument, certainement parce qu’il est associé à des pratiques traditionnelles de l’école comme l’évaluation et la notation, n’entraîne pas un positionnement (positif ou négatif) a priori. L’outil apparaît neutre au premier abord et semble le demeurer quand les conséquences qui y sont attachées demeurent minimes. Il semblerait que ce soit principalement le testing à forts enjeux qui suscite des réactions négatives des acteurs et conduise au développement d’effets pervers qui jouent négativement sur les processus d’apprentissage. Cette revue de la littérature féconde qui s’est développée autour du sujet polémique de l’évaluation standardisée met donc en évidence à ce jour plusieurs constats :

• le cadre théorique des effets de l’évaluation standardisée sur les performances des élèves, à la fois en termes d’efficacité et d’inégalités scolaires, demeure aujourd’hui faible. Les processus qui sont en jeu, les mécanismes intermédiaires par lesquels ces instruments sont censés pouvoir avoir un effet sur les acquis des élèves doivent davantage être détaillés et évalués empiriquement ;

• les recherches empiriques menées sur les effets des dispositifs de testing sur les performances des systèmes scolaires ne permettent pas de dessiner, à ce jour, un consensus, car elles présentent des résultats le plus souvent contradictoires. Les réformes fondées sur l’évaluation standardisée, soutenues par une rhétorique politique forte, se sont développées alors que les effets de ces instruments apparaissent encore largement aléatoires. De même, l’évaluation des coûts de ces politiques est encore peu explorée, alors que la filiation théorique de ces réformes les inscrit de façon privilégiée dans la veine économiste, qui se fait fort, à juste titre, de maximiser l’utilisation des ressources publiques, budgétaires en particulier ;

91Cependant les résultats empiriques obtenus à ce jour permettent déjà de mettre en évidence certains des paramètres cruciaux sur lesquels les décideurs politiques doivent s’interroger lors de la construction ou de la rénovation des dispositifs d’évaluation standardisée (pour une synthèse plus complète sur le sujet, voir Mons & Pons, 2006) :

• les productions des services publics sont mesurables ;

• elles doivent donc être mesurées grâce à des outils spécifiques dont la validité doit être scientifiquement assurée ;

• les acteurs publics opérationnels qui bénéficient de plus d’autonomie sont redevables de leurs actions devant les gestionnaires du système (c’est le modèle de l’évaluation gestionnaire) et/ou devant les citoyens (modèle de l’évaluation démocratique) ;

• l’organisation publique doit être régulée par les résultats (outputs) et non plus exclusivement par des contrôles procéduraux orientés sur les ressources (inputs).

• les résultats variables des effets du testing peuvent certainement en partie s’expliquer par le fait que cet outil peut s’intégrer dans des modèles d’accountability fort différents. De futures recherches sont encore nécessaires dans ce domaine.

• de façon générale, un questionnement de fond doit porter tout d’abord sur la liaison entre l’évaluation standardisée et d’autres réformes qui, si elles ne sont pas mises en relation, risquent de limiter les bénéfices potentiels du testing. En particulier, une articulation doit être pensée entre, d’un côté, les dispositifs d’évaluation standardisée et, de l’autre, les standards de contenus ou les programmes scolaires, les plans de formation continue des enseignants, le financement des écoles en difficulté et, de façon plus générale, le développement de politiques et de dispositifs visant à aider les établissements à mieux analyser leurs résultats aux tests et à les soutenir dans les opérations qu’ils souhaitent mettre en œuvre par la suite ;

• une interrogation est également nécessaire sur l’intensité et la nature des enjeux attachés aux tests, à la fois pour les écoles et les enseignants. Quelles sanctions et quelles récompenses peuvent être associées aux résultats des évaluations ? Combien de tests sont nécessaires pour donner une image sinon fidèle, ce qui ne sera jamais possible à travers des outils strictement quantitatifs, du moins la moins biaisée possible de la réalité du travail pédagogique réalisé par les écoles ? Ne prévoir qu’un seul test comportant de forts enjeux à la fois pour les élèves et les écoles semble porteur de forts effets pervers. Construire une épreuve unique pour atteindre des objectifs multiples (direction des carrières scolaires, promotion, obtention de diplôme pour les élèves, pilotage des établissements, évaluation générale du système scolaire) conduit à des dysfonctionnements majeurs ;

• les formes de participation des enseignants aux dispositifs d’accountability doivent aussi être pensées. Plus ceux-ci participent à la fois à la conception, à l’administration et à l’analyse des résultats, plus leur implication dans le processus s’en trouve développée et la culture d’évaluation assimilée. Une réflexion est donc nécessaire sur leur intervention dans le testing lui-même (conception, administration…) et, plus largement, dans le développement de modèles d’évaluation interne des établissements, qui doivent être mis en lien avec l’accountability externe quantitative ;

• une réflexion doit enfin être conduite sur la publicité des résultats des tests : les écoles doivent-elles être classées ? Quels indicateurs faut-il présenter aux parents et sur quelles bases : le résultat général du pays ou de la région, ceux des écoles, anonymes ou non, ou seulement ceux de leurs enfants ? Quels indicateurs doivent être mis en avant (taux bruts ou indicateurs de valeur ajoutée liés aux contextes qui permettent de tenir compte des publics scolaires accueillis dans les établissements) ?

92On perçoit à travers la longue liste des questions soulevées ici qu’il n’existe pas de recette toute faite qui permettrait de construire un dispositif d’évaluation standardisée associé uniquement à des effets vertueux. Les interrogations ouvertes présentées ci-dessus dessinent en creux des modèles multiples d’évaluation standardisée déjà mis en évidence dans les travaux sur les politiques publiques (Duran & Monnier, 1992) : à une évaluation gestionnaire (dispositif technique conçu majoritairement par les autorités supérieures administratives pour encadrer les agents dont elles ont la charge) peut très schématiquement s’opposer une évaluation démocratique dans laquelle la construction du dispositif et la lecture des résultats des épreuves sont majoritairement le fait du politique (par opposition à l’administration) et de la société civile. Un nouveau modèle d’« évaluation professionnelle » (dispositif d’évaluation formative donnant une large place à l’intervention des professionnels de l’éducation qui en sont les premiers utilisateurs) peut certainement compléter ce tableau traditionnel. Si les modèles peuvent être mixés dans le cadre de la construction concrète des dispositifs d’évaluation standardisée, l’un d’entre eux doit cependant prendre le pas sur les autres pour conduire la philosophie politique générale du projet dont découleront les réponses données aux questions posées précédemment (quels enjeux pour les tests ? Quelle publication des résultats des épreuves ? Quelle implication des enseignants ?).