Expérimentation, enquête, expérience : les politiques publiques à l’épreuve de la science
Résumé
L’article confronte la pratique de l’enquête de terrain dans certains secteurs des services publics avec les politiques evidence-based en tant que techniques de gestion.
Plan
Haut de pageTexte intégral
Introduction
1Dans le domaine des politiques publiques, l’expérimentation a fait son grand retour dans la plupart des démocraties occidentales.
- 1 Article 37-1 : « La loi et le règlement peuvent comporter, pour un objet et une durée limités, des (...)
En France, le droit à l’expérimentation est inscrit dans la Constitution depuis 2003 au titre de l’article 37-1, prévoyant une possibilité de dérogation à la loi et au règlement de façon limitée1.
2En octobre dernier, le Conseil d’État résumait le principe de l’expérimentation dans les politiques publiques en ces termes :
- 2 Cf. https://www.conseil-etat.fr/actualites/actualites/ameliorer-et-developper-les-experimentations- (...)
L’expérimentation est une méthode qui permet de tester sur le terrain, pendant une durée limitée, une mesure, une politique, un mode d’organisation, ou une nouvelle technologie, et d’en mesurer les effets de façon objective. L’expérimentation est un outil au service des politiques publiques innovantes et efficaces, qui permet d’associer le citoyen à leur élaboration. Elle a pour finalité d’éclairer les choix des décideurs publics2.
3Cet appel à expérimenter en vue d’éclairer la décision publique de façon objective tout en associant les citoyens ne semble pas déraisonnable, d’autant moins dans un contexte de défiance généralisée envers les experts et les différentes autorités publiques. En 2013, la journaliste britannique Caitlin Moran allait jusqu’à annoncer dans The Times la « fin de la croyance », invitant les décideurs à mettre de côté leurs idées préconçues pour tester ce qui fonctionne concrètement (« what works ») :
- 3 Caitlin Moran, « 2013 and the end of belief», in The Times, 28 Décembre 2013.
What we need to do is stop talking about our political feelings and beliefs and find out, once and for all, which one actually works (…). Run some experiments. Work out some figures. Do randomized, controlled trials in, say, local government. Perhaps neither method works. Great. Now we can abandon both and search for an original solution3.
- 4 Trudy Dehue, « Establishing the experimenting society: The historical origin of social experimentat (...)
Autrement dit, l’expérimentation se présente comme un puissant moyen de dépasser le clivage entre les décideurs et les populations visées par une intervention publique. S’inspirant des sciences expérimentales, elle permettrait de sortir des croyances dogmatiques pour tester des solutions innovantes validées sur et par le terrain, offrant ainsi la possibilité d’un apprentissage dynamique et réciproque entre les différentes parties prenantes d’une « experimenting society »4.
4Sans remettre frontalement en question cette orientation générale vers un « gouvernement expérimental », il n’est peut-être pas inintéressant d’esquisser les ramifications les plus structurantes de ces approches des politiques publiques, ne serait-ce que pour mieux en comprendre les motivations, les croyances et les formes que leurs réponses ont pu prendre à ce jour.
La doctrine du gouvernement expérimental
- 5 Catherine Laurent, Jacques Baudry, Marielle Berriet-Solliec, Marc Kirsch, Daniel Perraud, Bruno Tin (...)
- 6 Evidence-Based Medecine Working Group, «Evidence-Based Medicine A New Approach to Teaching the Prac (...)
5De nos jours, la notion d’expérimentation, au sens des politiques publiques, est indissociable de celle d’Evidence-based policy (EBP), souvent traduite en français par « politique fondée sur les preuves ». De très nombreux travaux portent sur l’EBP, il ne s’agit pas ici d’en faire ici la recension. Pour en donner toutefois une compréhension minimale, il peut être utile de rappeler que les approches de type d’Evidence-based policy (EBP) sont nées dans le secteur médical5. En 1992, un texte fondateur publié par une trentaine de chercheurs annonçait l’avènement d’un nouveau paradigme : l’« Evidence-based medicine »6.
- 7 Ibid., p. 854.
6En fait, il s’agissait plutôt d’un plaidoyer pour une pratique médicale où les cliniciens feraient « un usage consciencieux, explicite et judicieux des connaissances scientifiques disponibles pour décider des soins à donner à leurs patients »7.
- 8 Ibid.
Ainsi, partant du constat que de nombreux médecins ne parvenaient pas à se tenir informés des avancées scientifiques de leur domaine, les tenants de l’EBM préconisaient plusieurs actions sur la production et la diffusion des connaissances médicales8. L’idée générale était de faciliter l’accès pour les médecins aux connaissances validées par les communautés scientifiques du moment via des « états de l’art systématiques » et d’établir un système de hiérarchie des preuves pour l’efficacité d’un traitement ou la fiabilité d’un protocole de diagnostic.
- 9 Randomised Controlled Trials
7Une orientation analogue a été retenue dans de nombreux domaines non médicaux, notamment celui des politiques publiques, les principes de l’EBP reprenant l’idée d’une mise à disposition des connaissances scientifiques du moment pour améliorer la pratique des décideurs publics. Comme l’EBM avant elle, l’EBP a ainsi favorisé le développement des techniques d’états de l’art systématiques et une hiérarchisation des niveaux de preuves, les niveaux de preuve les plus élevés étant obtenus par le biais d’essais randomisés contrôlés (RCT9) sur le modèle des essais cliniques :
- 10 Agence Nationale des Solidarités Actives, « What Works Centres britanniques : quels enseignements p (...)
Les approches de politiques fondées sur la preuve reposent sur le choix de s’appuyer sur les connaissances proposant le meilleur niveau de preuve. Dans le cadre de l’évaluation de l’impact d’un dispositif sur des bénéficiaires, il s’agira de rechercher ainsi le niveau de preuve le plus élevé disponible pour démontrer les effets produits par une action. Le niveau de preuve correspond au degré de confiance que l’on a dans la capacité de la conception et du protocole de recherche à identifier le lien de cause à effet10.
8Dans le domaine de l’expérimentation sociale, le Royaume-Uni a en ce sens créé des What Works Centres (WWC) à partir de 2011 sur le modèle de son National Institute for Health and Clinical Excellence (NICE) fondé en 1999 et pionnier de l’EBM. Couvrant différents domaines des politiques sociales, le but des WWC est de promouvoir les démarches d’EBP et de contribuer à l’appropriation de ses résultats par les professionnels et décideurs politiques du Royaume-Uni. Le rapport de l’Alliance for Useful Evidence résumait ainsi la philosophie du « gouvernement expérimental » :
- 11 Jonathan Breckon, Better public services through experimental government, United Kingdom, Alliance (...)
We are not interested here in «seat–of–the–pants innovations in public policy» trying out new policies and programs with no meaningful way of evaluating their impact. Our definition is not equivalent to «freewheeling trial and error or spontaneous policy diffusion». It’s best to see experimentation as a continuum, ranging from the messiness of all attempts by government to try something new, right through to experiments using the best available research, such as randomized controlled trials or other more appropriate techniques. In this paper we advocate moving to the right of this continuum11.
Le modèle du gouvernement expérimental s’inspire donc directement de la méthode d’expérimentation développée à partir des années 90 au sein du mouvement de l’EBP, elle en tire sa légitimité scientifique. Cependant, que cela soit dans le cas de l’EBM ou de l’EBP, l’idée d’une expérimentation procédant essentiellement via des méthodes de type RCT, ne va pas sans poser des difficultés théoriques et pratiques. Dans le cas de l’EBM, de nombreux débats ont émergé dès le départ sur les fondements épistémologiques de ces approches :
- 12 C. Laurent et al., « Pourquoi s’intéresser à la notion d’evidence-based policy ? », cit., p. 855.
Les échanges ont parfois pris la forme d’affrontements entre deux thèses également provocatrices, les uns dénonçant une médecine trop prompte à réduire la variabilité des situations rencontrées en voulant à tout prix la ranger dans les cases étroites de faits « scientifiquement établis », et qui, à force de viser une science universelle, en oublierait le patient singulier, les autres mettant à l’index une médecine trop persuadée de la supériorité de l’expérience clinique sur toute autre forme de production de connaissances et qui, à force de vouloir rester « un art », négligerait de réactualiser ses méthodes et ses traitements12.
- 13 Ibid.
9Des critiques comparables ont pu être formulées à l’endroit des politiques publiques fondées sur la preuve13. La notion d’ « evidence » peut par exemple recouvrir des sens très différents et leur rôle dans la prise de décision publique ne va pas sans poser de question. La construction d’états de l’art systématique, au sens de l’EBM, demeure également problématique, tout comme leur appropriation concrète par les décideurs. Enfin, en pratique, le gold standard des RCT reposerait sur une forme idéalisée d’intervention résistant difficilement à l’épreuve du terrain :
- 14 Aurélie Quentin et Isabelle Guérin « La randomisation à l’épreuve du terrain », in Revue Tiers Mond (...)
De plus en plus d’auteurs affirment que les RCT ne sont pas pertinentes dans toutes les situations, et que de multiples conditions sont nécessaires pour assurer leur validité (…). [Certains] considèrent qu’elles [ne] peuvent s’appliquer qu’aux projets « tunnels », aux projets dont les effets de causalité sont simples, linéaires dans le temps et suscitant une forte adhésion des populations concernées. [D’autres] affirment même que, finalement, on ne peut réellement attribuer un impact à un projet que dans très peu de cas (…) De la même manière que les conditions idéales posées pour la réalisation d’une méthodologie RCT sont largement malmenées par leur application aux contextes réels des projets évalués, elles sont également confrontées aux comportements des différents acteurs qui en sont parties prenantes, toujours porteurs d’objectifs – et parfois de contradictions – qui leurs sont propres14.
10Les défenseurs de la doctrine du gouvernement expérimental reconnaissent d’ailleurs eux-aussi la nécessité de ne pas être dogmatique sur la méthodologie des RCT, de la combiner à d’autres approches plus qualitatives, par exemple en amont d’une expérimentation, sur des projets de petite échelle permettant de mieux appréhender les situations et les risques. Il s’agirait aussi d’attendre la fin des expérimentations avant d’en tirer des conclusions trop hâtives, sans penser qu’il sera toujours possible de les généraliser ; les réplications et essais de grande taille seraient d’ailleurs préférables :
- 15 Jonathan Breckon, Better public services through experimental government, cit., p. 30.
It can be hard to generalize from a single experiment to the wider world. The unique context of one time and place means that it can be difficult to learn policy lessons to roll out nationally (…). The best way to respond to this is to replicate any trial in multiple locations (and even the same location to see that not a flash in the pan result). Replication is an important part of experimental science and social science. It should be an important part of experimental government (…). Another response to the limitations of context is to do much larger experiments15.
11Mais l’EBP est-elle le seul horizon pour penser une intervention publique éclairée, plus en prise avec les réalités locales ? N’y-a-t-il pas au sein des pratiques d’intervention contemporaines des approches permettant de penser l’expérimentation au-delà de la matrice originelle de la science expérimentale ? Certains acteurs, issus de domaines variés incluant la médecine, interprètent l’expérimentation comme un processus d’« enquête » partant d’une situation indéterminée pour accompagner une transformation plutôt que d’en évaluer l’impact ou son effet causal de façon objective.
De l’expérimentation à l’enquête : temporaliser et localiser les interventions ?
12Les promoteurs actuels du « gouvernement expérimental » se réclament d’une longue tradition d’expérimentalistes, depuis Francis Bacon jusqu’aux travaux plus récents des époux Webb, fondateurs de la London School of Economics, et surtout de la psychologie expérimentale de Donald T. Campbell (1973).
13Pour autant, face aux difficultés rencontrées sur le terrain et pour gérer les événements inattendus pouvant mettre en péril les conditions de contrôlabilité d’’une expérimentation sociale, ils appellent aujourd’hui à retenir une approche plus « pragmatique » :
- 16 Ibid., p. 25.
Experimental government needs an ethos of flexibility; to adapt to events and unexpected consequences (…). This approach means departing from purist experimental research methods – such as RCTs – towards something more iterative; learning from experience as you go along and adapting the program (…). This messier approach to experimentation may not be popular with researchers who want methodologically cleaner and valid experimental research, such as through RCTs. But the proponents of this «pragmatic» approach argue that some sort of compromise often has to be struck between «knowing everything» and «knowing something»16.
14Mais en quel sens faut-il entendre ici le terme « pragmatique » ? Il serait étonnant que ceux-là même qui promeuvent la rigueur et les plus hauts niveaux de preuve scientifiques appellent conjointement à s’adapter « aux événements et aux conséquences inattendues » sans définition claire des modes d’intervention adaptés aux situations complexes et incertaines.
Dans l’attente d’une telle caractérisation, qui fait encore défaut, il n’est pas inutile de se tourner vers d’autres chercheurs et praticiens qui proposent d’interpréter l’expérimentation sociale au sens d’une enquête (inquiry) :
- 17 Gareth Williams, Steve Cropper, Alison Porter, Helen Snooks, « Beyond the experimenting society », (...)
In this sense, [the] significance [of this experiment] is perhaps to be found in the consistent and sustained engagement in an active process of inquiry and of development with communities. This was a mutual and reciprocal process, one that understands these communities as embedded in history, society and culture (…). A shift away from an understanding of the use of evidence as purely instrumental (that is, «facts» directly informing a decision) towards one that emphasizes other mechanisms and outcomes (enriched social practice and dialogue, building social and political connections within policy communities, and indeed policy critique) is an important potential development in evidence-based policy17.
- 18 Horst W. J. Rittel et Melvin M. Webber, « Dilemmas in a General Theory of Planning », in Policy Sci (...)
Cette orientation postule que les problèmes sociaux ne se présentent pas comme les problèmes habituellement traités en science mais comme des « wicked-problems »18.
Cela signifie entre autres qu’il n’y a pas de formulation définitive des wicked-problems, qu’ils n’appellent pas de réponse logique de type « vrai-faux » ni de test immédiat ou définitif d’une solution.
15Toute solution à un wicked-problem est singulière, elle s’inscrit dans un ensemble non dénombrable de solutions potentielles et d’opérations admissibles pour définir un plan d’actions donné :
- 19 Ibid., p. 160.
The kinds of problems that planners deal with-societal problems-are inherently different from the problems that scientists and perhaps some classes of engineers deal with. Planning problems are inherently wicked. As distinguished from problems in the natural sciences, which are definable and separable and may have solutions that are findable, the problems of governmental planning - and especially those of social or policy planning – are ill-defined; and they rely upon elusive political judgment for resolution. (Not «solution». Social problems are never solved. At best they are only re-solved-over and over again)19.
L’idée que les situations sociales ne se donnent pas comme des problèmes « apprivoisés » (tame), mais plutôt comme des multiples indifférenciés dont on ne peut clore les propriétés une bonne fois pour toute, fait écho à une autre tradition de l’enquête, que beaucoup d’acteurs redécouvrent aujourd’hui.
16Cette tradition remonte notamment aux travaux du philosophe pragmatiste John Dewey qui définit l’enquête comme un processus, temporalisé et localisé, au cours duquel une situation indéterminée est progressivement déterminée par un groupe social, la communauté d’enquête :
- 20 John Dewey, Logic. The Theory of Inquiry, Read Books Ltd, 2013, p. 167.
Inquiry is the controlled or directed transformation of an indeterminate situation into one that is so determinate in its constituent distinctions and relations as to convert the elements of the original situation into a unified whole20.
Un tel processus d’enquête part d’une situation incertaine, qui génère un sentiment de doute ou de questionnement menant progressivement à l’institution d’un « problème ».
17Ce problème ne contient alors qu’une détermination partielle de la situation initiale, issue de l’observation de certaines de ses caractéristiques factuelles. Il ouvre vers des possibilités de solutions qui ne sont pas définitives, mais qui, chargées de contenus idéels, interagissant avec les faits observés pour contribuer à façonner de proche en proche le cours d’une expérimentation (experiment) :
- 21 Ibid., p. 180-181.
When the problematic situation is such as to require extensive inquiries to effect its resolution, a series of interaction intervenes. Some observed facts point to an idea that stands for a possible solution. This idea evokes more observation (…). The operative force of both ideas and facts is thus practically recognized in the degree in which they are connected with experiment. Naming them «operational» is but a theoretical recognition of what is involved when inquiry satisfies the condition imposed by the necessity for the experiment21.
Une telle définition de l’enquête contraste avec les dispositifs expérimentaux évoqués plus haut. Elle met davantage l’accent sur la temporalisation et la spatialisation des processus d’exploration. Faisant une place centrale au contenu expérientiel des procédures, elle n’écarte pas pour autant les moyens de confronter les hypothèses aux réalités de terrain.
En outre, loin de n’être qu’une utopie du passé, elle résonne avec l’apparition de nouvelles formes de laboratoires, nommés « Living Labs », qui tentent de dépasser la logique purement expérimentale pour l’articuler à une logique expérientielle :
- 22 Mathias Béjean et Jean-Claude Moisdon, « Recherche-intervention et Living Labs, une même lignée de (...)
Du côté des [Living Labs], la « paillasse » du laboratoire, qui confine habituellement le « réel » à certains aspects restreints du phénomène étudié, cherche à s’ouvrir pour mieux intégrer les aspects de la « vie réelle » des utilisateurs. L’idée est donc, là encore, d’essayer d’intégrer des observables et des paramètres qui n’étaient pas accessibles de l’« extérieur », mais qui s’identifient et s’explorent lorsque l’on se plonge dans l’arène du système d’utilisateurs étudié. Grâce à cette ouverture, les [Living Labs] semblent donc développer une logique d’immersion comparable à celle de la [Recherche-intervention]22.
18En France, par exemple, le Forum des Living Labs en Santé et Autonomie (FLLSA) est une association à but non lucratif regroupant près de 40 LLSA répartis sur l’ensemble du territoire national.
Ces LLSA s’attachent au développement d’une approche participative et citoyenne de la conception de nouveaux produits et services pour la santé et l’autonomie. Sensibles aux enjeux de démocratie sanitaire, ils promeuvent la notion de « patient expert », appelant à articuler les méthodologies d’essais cliniques avec des évaluations d’usage intégrant les « savoirs expérientiels » des patients :
- 23 Robert Picard, La santé connectée citoyenne, Londres, ISTE Editions, 2019, p. 25.
Nos connaissances concernant le fonctionnement du corps humains, les pathologies, la façon de les traiter, sont en forte croissance et les perspectives offertes par les « Big Data » ne font qu’amplifier le phénomène. Mais dans le même temps, les connaissances issues des citoyens malades tendent à s’exprimer, à prendre forme, à se partager et se développer. Le savoir expérientiel issu des essais et expériences de la vie avec une maladie chronique a ceci de particulier qu’il est construit à l’envers du savoir médical basé sur des savoirs constitués sur l’expérimentations. Savoir composer de manière constructive des vies avec des maladies chroniques à défaut de pouvoir les guérir c’est se donner les moyens de construire à « partir de » au lieu de « réagir à »23.
Sans préjuger des suites du mouvement des Living Labs, il semble que ces développements appellent une conception renouvelée de l’expérimentation dans les politiques publiques.
19Comme nous l’avons vu, une conception purement expérimentaliste se heurte à de nombreuses difficultés théoriques et pratiques, notamment du fait de la multiplicité et de l’indétermination des situations sociales. Prendre en compte ces caractéristiques oriente vers des régimes scientifiques où experience et experiment s’articulent de façon plus dynamique, c’est-à-dire peut-être vers des sciences immersives.
Notes
1 Article 37-1 : « La loi et le règlement peuvent comporter, pour un objet et une durée limités, des dispositions à caractère expérimental ».
2 Cf. https://www.conseil-etat.fr/actualites/actualites/ameliorer-et-developper-les-experimentations-pour-des-politiques-publiques-plus-efficaces-et-innovantes.
3 Caitlin Moran, « 2013 and the end of belief», in The Times, 28 Décembre 2013.
4 Trudy Dehue, « Establishing the experimenting society: The historical origin of social experimentation according to the randomized controlled design »,in American Journal of Psychology, 114, 2, 2001, p. 283‑302.
5 Catherine Laurent, Jacques Baudry, Marielle Berriet-Solliec, Marc Kirsch, Daniel Perraud, Bruno Tinel, Aurélie Trouvé, Nicky Allsopp, Patrick Bonnafous, Françoise Burel, Maria José Carneiro, Christophe Giraud, Pierre Labarthe, Frank Matose, Agnès Ricroch, « Pourquoi s’intéresser à la notion d’evidence-based policy ? », in Revue Tiers Monde, 4, 200, 2009, p. 853‑873.
6 Evidence-Based Medecine Working Group, «Evidence-Based Medicine A New Approach to Teaching the Practice of Medicine», in , Jama, 268, 17, 1992, https://www.cebma.org/wp-content/uploads/EBM-A-New-Approach-to-Teaching-the-Practice-of-Medicine.pdf.
7 Ibid., p. 854.
8 Ibid.
9 Randomised Controlled Trials
10 Agence Nationale des Solidarités Actives, « What Works Centres britanniques : quels enseignements pour des politiques fondées sur la preuve en France ? », rapport de mars 2017, https://www.solidarites-actives.com/fr/nos-actualites/publication/what-works-centres-britanniques-quels-enseignements-pour-des-politiques.
11 Jonathan Breckon, Better public services through experimental government, United Kingdom, Alliance for Useful Evidence, 2015, p. 11, https://media.nesta.org.uk/documents/better-services-through-experimental-government.pdf.
12 C. Laurent et al., « Pourquoi s’intéresser à la notion d’evidence-based policy ? », cit., p. 855.
13 Ibid.
14 Aurélie Quentin et Isabelle Guérin « La randomisation à l’épreuve du terrain », in Revue Tiers Monde, 213, 1, 2013, p. 198-199.
15 Jonathan Breckon, Better public services through experimental government, cit., p. 30.
16 Ibid., p. 25.
17 Gareth Williams, Steve Cropper, Alison Porter, Helen Snooks, « Beyond the experimenting society », in Community Health and Wellbeing: Action Research on Health Inequalities, Bristol, Policy Press, 2007, p. 201-203.
18 Horst W. J. Rittel et Melvin M. Webber, « Dilemmas in a General Theory of Planning », in Policy Science, 4, Amsterdam, Elsevier, 1973.
19 Ibid., p. 160.
20 John Dewey, Logic. The Theory of Inquiry, Read Books Ltd, 2013, p. 167.
21 Ibid., p. 180-181.
22 Mathias Béjean et Jean-Claude Moisdon, « Recherche-intervention et Living Labs, une même lignée de "recherches immersives" » ? », in Annales des Mines – Réalités industrielles, Mai 2017, 2, p. 59.
23 Robert Picard, La santé connectée citoyenne, Londres, ISTE Editions, 2019, p. 25.
Haut de pagePour citer cet article
Référence électronique
Mathias Béjean, « Expérimentation, enquête, expérience : les politiques publiques à l’épreuve de la science », Cahiers du GRM [En ligne], 16 | 2020, mis en ligne le 07 juillet 2020, consulté le 11 septembre 2024. URL : http://journals.openedition.org/grm/2251 ; DOI : https://doi.org/10.4000/grm.2251
Haut de pageDroits d’auteur
Le texte seul est utilisable sous licence CC BY-NC 4.0. Les autres éléments (illustrations, fichiers annexes importés) sont « Tous droits réservés », sauf mention contraire.
Haut de page