Où en est l’évaluation des politiques publiques ?

2Les sept contributions de ce numéro spécial sont issues d’un séminaire de recherche organisé par l’Institut de la gestion publique et du développement économique en partenariat avec le Réseau des chercheurs en évaluation des politiques publiques et la Société française de l’évaluation. Ces rencontres, tenues au premier semestre 2012, s’attachaient à identifier et renforcer le dialogue interdisciplinaire et les échanges entre chercheurs et praticiens dans l’évaluation.

3Même si l’évaluation, en pratique, est encore l’objet de doutes, sa place et sa nécessité semblent désormais acquises. Le patient travail a fini par porter ses fruits et divers indices donnent même à penser que l’évaluation commence à sortir de l’enfance de l’art : comme le soulignent tour à tour Jean-Claude Barbier et Nicolas Matyjasik, l’évaluation est d’ailleurs aujourd’hui un marché prospère et un domaine bien établi, avec ses sociétés savantes, une communauté qui s’organise et se professionnalise ; ce sont aussi des méthodes plus diversifiées et mieux assurées ; enfin, c’est un champ de recherche en pleine expansion. Au vu des textes réunis dans ce volume, il apparaît donc que l’évaluation a incontestablement gagné en légitimité, en visibilité et sans doute aussi en validité. Encore que les préventions sur le sujet restent fortes et que les résistances sont loin d’être dissipées.

4Y a-t-il consensus sur le rôle que doit jouer l’évaluation ? Quel statut donner aux connaissances produites lors de l’évaluation ? Quelle crédibilité accorder à l’exercice tant au plan pratique que scientifique ? Telles sont quelques-unes des questions que permettent d’instruire ce recueil de textes, versant au débat quelques analyses et témoignages.

5Les textes sélectionnés attestent ainsi, à leur manière, les progrès accomplis dans la pratique de l’évaluation. Ils soulignent également quelques-unes de ses fragilités.

Vers un renouvellement de la pratique évaluative

7Il en résulte une pluralité des modèles d’évaluation, bien au-delà de l’alignement sur le modèle classique de l’imputabilité ministérielle. Du reste, la question de l’évaluation comporte des enjeux qui dépassent largement la mesure des coûts et des effets d’un programme et qui servent les besoins ou la cause d’utilisateurs parfois inattendus. Entre les deux modèles idéal-typiques formalisés par Gallié et al., le « modèle économiste» et le « modèle gestionnaire », ces textes permettent ainsi de dessiner un territoire de pratiques variées.

8Le point de convergence entre ces différents régimes d’évaluation est qu’ils évoluent vers davantage de réalisme  : plus attentive aux enjeux et intérêts des acteurs, l’évaluation prend également davantage en compte les spécificités des contextes, politiques et nationaux ; l’agenda de l’évaluation est aussi mieux articulé aux temporalités politiques. Comme le montre Agathe Devaux-Spatarakis, la conception processuelle de l’évaluation gagne du terrain, débouchant sur des évaluations plus dynamiques. Il s’agit également d’éviter d’engager des démarches trop lourdes pour les capacités de l’organisation, de mieux cibler les questions de l’évaluation, quitte à se limiter à des effets proximaux et de court terme. Affichant des protocoles apparemment plus modestes, ces pratiques d’évaluation n’en sont pas moins dépourvues d’ambition. L’effort est mis notamment sur l’importance de modes de diffusion des résultats, les évaluateurs s’efforçant de s’adapter à une grande variété de situations, avec des approches conçues pour des publics nombreux et diversifiés.

9Ces textes éclairent donc quant aux conditions de production de l’évaluation et aux nouvelles manières de pratiquer l’évaluation. Ils dénotent en définitive une meilleure maîtrise de l’activité évaluative. Il apparaît ainsi qu’au fil du temps et des expériences, l’évaluation a incontestablement perdu de sa distance et qu’elle a sans doute gagné en agilité. Peut-être parce que, comme le suggère Claire Tourmen, elle s’intéresse désormais moins aux résultats qu’aux processus ? Ce n’est pas seulement le rapport final qui peut être utilisé mais le processus lui-même. Il en résulte des approches moins planifiées s’efforçant de répondre à la variabilité des enjeux et des situations et également, de tirer parti de l’imprévisibilité d’événements qui surviennent au cours même de l’évaluation, notamment pour stimuler des apprentissages croisés entre les acteurs.

10Que l’on ne s’y méprenne pas. Pour encourageants qu’ils soient, ces progrès accomplis dans la pratique évaluative ne doivent pas occulter quelques incertitudes persistantes quant aux ambiguïtés de la démarche évaluative.

La connaissance évaluative au défi

11Doutes et questions demeurent, qui ont trait notamment aux fondements scientifiques de la démarche, au rôle de l’évaluateur et à la place de l’évaluation dans l’espace public. Ces interrogations se lisent plus ou moins explicitement, en filigrane des sept contributions réunies.

Premier problème : l’évaluation, une pensée à discipliner ?

16L’ensemble de ces difficultés fait que l’évaluation reste incertaine, à la fois quant à son objet et ses méthodes et qu’elle peine à démontrer sa scientificité, comme l’explique Philippe Warin. Il n’est donc pas étonnant que la recherche évaluative trouve difficilement à affirmer son unité et à exprimer un caractère programmatique.

Deuxième problème : quel rôle pour l’évaluateur ?

17Du mode de production de l’évaluation découlent des interrogations sur le statut même des connaissances ainsi produites. La connaissance évaluative prend selon les cas des tours très divers  : production de faits, modélisations théoriques, constructions de jugement, méthode de résolution de problèmes, etc. Il en résulte un savoir plus ou moins raffiné, avec des ambitions très différenciées : certaines démarches visent des éclairages ponctuels, privilégiant une approche locale et contingente ; elles s’inscrivent alors dans une perspective de résolution de problèmes, au plus près des acteurs, parfois dans une logique participative mais le plus souvent non généralisable et faiblement cumulative. Dans d’autres approches au contraire, l’évaluation vise des résultats plus globaux, sur la base de généralisations contrôlées. Selon les cas, le souci d’opérationnalisation est également diversement affirmé.

18Une telle diversité interroge sur le rôle des évaluateurs, avec différentes figures qui émergent : l’évaluateur artisan d’une action publique, plus pertinente et plus démocratique, au plus près des parties prenantes ; l’évaluateur critique révélant les logiques sous-jacentes à l’action publique ; enfin, l’évaluateur éclaireur qui s’attache à résoudre des problèmes liés aux mécanismes sociaux ou politiques, sans chercher à outiller directement les acteurs qu’il observe (Ph. Warin). Les expériences d’évaluation rapportées dans ce volume mettent ainsi bien en lumière la variété des liens que les professionnels de l’évaluation entretiennent avec la fabrique de l’évaluation, avec plus ou moins d’engagement et de distanciation selon les cas.

Troisième problème : quelle place pour l’évaluation dans l’espace public ?

20L’ensemble des contributions pose aussi, en creux, la question de la fonction sociale de l’évaluation. En creux car en réalité, aucune des contributions n’aborde de front le problème. Au-delà du simple constat, dressé par Jean-Claude Barbier, que l’évaluation progresse dans l’espace public, rien n’est véritablement analysé des effets de l’évaluation sur l’action publique. C’est même une limite explicitement pointée par certains auteurs (Gallié et al.).

22Les silences observés sur ces sujets délicats peuvent s’expliquer pour des raisons pratiques et des raisons de fond. Sur un plan pratique, il est difficile en effet d’explorer toutes les potentialités de la démarche évaluative. De surcroît, la connaissance évaluative est rarement directement praticable. Il n’est donc pas aisé de lier l’évaluation à l’action publique, par exemple en opérationnalisant les recommandations dans un exercice de réflexion stratégique post-évaluation. Sur un plan plus théorique, il s’avère difficile, comme le signale Agathe Devaux-Spatarakis, de fonder l’objectivité de l’évaluation et d’articuler, dans un même exercice évaluatif, objectivité des faits et subjectivité des parties prenantes.

24Sur ces différents points, qu’il s’agisse des liens à réaffirmer et à réinventer entre évaluation et action publique ou de la fonction sociale de l’évaluation, la recherche évaluative reste encore lacunaire, ce qui donne du grain à moudre aux jeunes générations de chercheurs qui s’intéressent à l’évaluation.

25Au final, le bilan qui se dessine à travers ces contributions est assez mitigé. Les approches suggèrent certes un renouveau des pratiques évaluatives. Encore que la tendance demande à être confirmée et que ce nouvel élan puisse être durablement soutenu par un effort de régénération théorique.

26L’image qui se dégage de l’évaluation est également tout en contrastes. En dépit d’une vigueur nouvelle et d’une diversification de ses approches, l’évaluation paraît comme assagie. Désormais plus attentive aux améliorations et aux adaptations de l’action publique, elle semble avoir quelque peu perdu de sa capacité de subversion. Les démarches présentées opèrent en effet plus sur le mode de l’apprentissage et du consensus qu’elles ne suscitent de mises en cause radicales. Du coup, il est loisible de se demander si l’évaluation, en gagnant en pertinence, n’a pas aussi perdu de son impertinence. C’est peut-être le prix à payer de son institutionnalisation.

27La lecture de sept contributions se construit comme un parcours discontinu parmi les diverses voies d’analyse qui balisent un champ de recherche en plein essor. Les articles qui suivent sont donc comme un aperçu de ce renouvellement, tant des gains de connaissance qu’il assure que des questions qu’il ne devrait pas manquer de susciter. L’intérêt est d’éclairer quelques-unes des problématiques de la recherche évaluative, de promouvoir certaines approches et méthodes nouvelles et de mettre en perspective ces évolutions récentes de l’évaluation.

28Ainsi, la naissance et le développement de la recherche en évaluation, la construction de son champ académique et les liens entre évaluation et action publique sont l’objet de l’article de Jean-Claude Barbier, consacré aux sources intellectuelles de l’évaluation des politiques publiques. L’auteur analyse les transformations de la notion d’évaluation des politiques publiques entre sa naissance à la fin des années 1990, et aujourd’hui. Au sein d’un ensemble d’influences disciplinaires internationales variées, se formant sur une longue période, il identifie deux sources essentielles  : une « ingénierie sociale » mettant en jeu des expérimentations de la décision publique, d’une part, et le management public, référence majeure de l’évaluation, de l’autre. Même si ses références internationales forment un ensemble décontextualisé assez homogène, l’évaluation ne s’inscrit pas dans un corpus disciplinaire unique, et s’exprime dans des pratiques nationales variables selon les cultures politiques et les cadres institutionnels.

29Deux interventions éclairent les apports de la recherche dans l’analyse des méthodes de l’évaluation. Nadia Okbani étudie, avec le cas du RSA, la démarche de l’expérimentation. Elle met en lumière un processus d’instrumentation, qui permet l’appropriation de la politique par les acteurs, mais aussi d’instrumentalisation de la méthode expérimentale, qui influe sur la conduite de l’action publique, et contribue ainsi à sa légitimation.

30Agathe Devaux-Spatarakis analyse les méthodes basées sur la théorie : celles-ci s’attachent à rendre compte des mécanismes mesure du non-recours aux prestations sociales. Nicolas Matyjasik retrace l’histoire de la Société française d’évaluation, créée en 1999, et sa contribution à la structuration d’un espace d’échanges et à la professionnalisation des acteurs.