Navigation – Plan du site
Les professionnels de l’évaluation. Mise en visibilité d’un groupe professionnel

Qui sont les évaluateurs d’expérimentation sociale ?

Who are the evaluators of the french social experiments?
Jules Simha

Résumés

En croisant la sociologie des groupes professionnels et la sociologie de l’expertise, cet article s’intéresse aux évaluateurs d’expérimentations sociales. Il met en lumière les problèmes posés par la catégorie indigène des « évaluateurs », notamment en ce qui concerne les activités des acteurs qui la composent. À partir d’une interrogation focalisée sur une petite communauté d’économistes qui se sont faits évaluateurs, il montre leurs stratégies de différenciation qui les amène à se distinguer à la fois du groupe général des évaluateurs et de celui des économistes. L’article souligne également l’intérêt d’une approche par la catégorie sociologique de l’expertise qui met l’accent sur les positions multiples occupées par ces acteurs.

Haut de page

Texte intégral

Introduction

1Depuis le milieu des années 1980, l’évaluation des politiques publiques « à la française » a connu ses premiers balbutiements, avec des tentatives divergentes de définition (Deleau, 1986 ; Viveret, 1989), un début d’institutionnalisation à travers le décret du 22 janvier 1990 et la constitution d’une association, la Société française de l’évaluation (SFE) qui se donnait pour objectif de fédérer des acteurs diversifiés aux savoir-faire supposés communs : les acteurs de l’évaluation au sens large, mais surtout les chargés d’évaluation, ou les « évaluateurs », pour utiliser un vocable aujourd’hui plus courant et qui désigne de manière tautologique ceux qui pratiquent l’évaluation.

  • 1 Cette charte de deux pages énonce et définit les principes de l’évaluation auxquels adhèrent les me (...)

2En 1999, la création de la SFE cristallise en effet la volonté d’un certain nombre de « militants » de l’évaluation de se rassembler afin « de défendre leurs intérêts professionnels et de fédérer les individus, de plus en plus nombreux, qui se revendiquent sous cette bannière évaluative » (Matyjasik, 2010, p. 304). Au cours de ses premières années de fonctionnement, une partie de ses membres militants s’engagent afin de constituer un milieu professionnel de l’évaluation, d’élaborer des normes et une culture communes. Plusieurs tentatives, avortées pour la plupart, se succèdent comme, par exemple, la constitution d’un « référentiel métier », ou l’élaboration d’une certification des professionnels (Matyjasik, 2010). Il s’agit alors autant de fermer et de contrôler le marché de l’évaluation que d’obtenir une reconnaissance publique qui viendrait légitimer une identité d’évaluateurs, ou de professionnels de l’évaluation. Autant d’éléments qui ont commencé à être intégrés à une réflexion sociologique sur ces « évaluateurs » en termes de groupes professionnels (Ibid.). Toutefois, l’hétérogénéité constitutive de la SFE – qui regroupe aussi bien des commanditaires, des prestataires, des chercheurs que des acteurs associatifs aux statuts divers – semble avoir empêché ces tentatives de dépasser le statut de velléités. La rédaction et l’adoption compliquées de la Charte de l’évaluation 1 – censée contribuer à délimiter une identité de groupe – illustrent également à quel point ce milieu professionnel de l’évaluation s’est retrouvé confronté à des résistances internes qu’il n’a pas réussi à surmonter.

3Dès lors, s’intéresser aujourd’hui aux « évaluateurs », professionnels ou non, des politiques publiques pose un certain nombre de problèmes, au premier rang desquels se situe celui de l’identité. Qu’est-ce qu’un évaluateur ? S’agit-il de celui qui évalue, qui pratique l’évaluation ? S’agit-il de celui qui fait de l’activité d’évaluation son activité professionnelle principale, voire exclusive ? Ou bien l’évaluateur peut-il n’évaluer qu’épisodiquement ? S’agit-il encore de celui qui se dit lui-même évaluateur ? Ou bien s’agit-il de celui qui est désigné en tant qu’évaluateur ?

  • 2 À propos des débats qui ont traversé la SFE au moment de l’élaboration de la Charte de l’évaluation (...)
  • 3 Centre de recherche pour l’étude et l’observation des conditions et vie (CRÉDOC) et Centre d’études (...)

4Cet article ne vient pas répondre définitivement à l’ensemble de ces interrogations, même s’il participe nécessairement d’une approche de ce que sont les évaluateurs de politiques publiques. Il propose plutôt, à partir d’une recherche menée sur les « expérimentations sociales » françaises, de réinterroger cette catégorie des évaluateurs qui s’est propagée depuis quelques années 2. Il revient tout d’abord sur les expérimentations sociales françaises et sur leurs caractéristiques, afin de mieux cerner, ensuite, les éléments qui peuvent qualifier leurs évaluateurs. Enfin, il propose de réinterroger cette catégorie à partir de trois cas exemplaires d’évaluateurs d’expérimentation sociale : l’École d’économie de Paris, le CÉREQ et le CRÉDOC 3.

Que sont les « expérimentations sociales » ?

5Les « expérimentations sociales » se sont développées en France depuis la deuxième moitié des années 2000 et, après une période d’effervescence, continuent, dans une moindre mesure, de constituer un dispositif d’évaluation des politiques publiques manié par les responsables politiques. L’expérimentation « Territoires zéro chômeur de longue durée 4 » celle de la « Garantie jeunes 5 », ou encore l’annonce récente d’une éventuelle expérimentation du « revenu de base » 6 en illustrent l’actualité. À ce titre, il convient de les distinguer des « expérimentations aléatoires », afin de mieux saisir leurs implications en ce qui concerne les évaluateurs qu’elles mobilisent et qui font l’objet de la présente analyse.

Expérimenter pour évaluer les politiques publiques

  • 7 HCSA (Haut-commissariat aux solidarités actives contre la pauvreté) (2007), Appel à projets « Expér (...)

6C’est en 2007, avec l’expérimentation du revenu de solidarité active (RSA) et l’appel à projets du Haut-commissariat aux solidarités actives contre la pauvreté, que les expérimentations sociales trouvent une vitrine politique et une définition aujourd’hui encore usitée. Une expérimentation sociale désigne alors « une innovation de politique sociale initiée dans un premier temps à petite échelle, compte tenu des incertitudes existantes sur ses effets, et mise en œuvre dans des conditions qui permettent d’en évaluer les effets dans l’optique d’une généralisation » 7. Dans cette perspective, l’expérimentation sociale constitue, avant tout, un dispositif d’évaluation des politiques publiques. Elle répond, en outre, à plusieurs caractéristiques.

7Tout d’abord, en articulant un dispositif à son évaluation, l’expérimentation sociale acte la synchronisation de ces deux dimensions. Alors que, jusqu’à présent, les évaluations de politiques publiques avaient plutôt tendance à favoriser une évaluation qui intervenait en amont afin d’étudier, par exemple, les coûts impliqués par un nouveau dispositif, ou en aval pour en mesurer les résultats – dans le cadre des expérimentations sociales, c’est le principe de la simultanéité de l’évaluation par rapport au dispositif à évaluer qui prime. L’évaluation débute en même temps que le projet à évaluer, ce qui n’est pas sans poser un certain nombre de problèmes relatifs, notamment, à la posture de l’évaluateur (Divay, 2013 ; Dubois, 2015 ; Simha, 2015) puisque ce dernier peut être amené à agir sur le projet lui-même. Cette temporalité particulière est liée à l’encastrement des expérimentations dans le politique qui leur confère une certaine urgence (Bureau, Sarfati, Simha & Tuchszirer, 2013) : lorsqu’elles sont liées à des agendas politiques spécifiques (comme pour le RSA ou la Garantie jeunes, par exemple), il est attendu des expérimentations (ou plutôt de leurs évaluateurs) qu’elles apportent des réponses rapidement (par exemple : le RSA incite-t-il à la reprise d’emploi ?), ce qui ne laisse pas toujours au dispositif le temps d’être totalement opérationnel avant d’en commencer l’évaluation.

Le modèle expérimental au cœur des expérimentations sociales

  • 8 Le modèle de l’expérimentation n’a, en réalité, pas attendu Martin Hirsch ou Esther Duflo pour se d (...)

8Une deuxième caractéristique des expérimentations sociales renvoie au modèle expérimental sur lequel elles sont construites. Ce dernier est calqué sur celui des sciences de laboratoire pour lequel un traitement n’est diffusé ou généralisé qu’après avoir été testé et approuvé. Les dispositifs publics expérimentés sont ainsi bornés (dans le temps et dans l’espace) et leur généralisation est censée être tributaire des résultats de leur évaluation. Or, ce modèle expérimental est largement emprunté, dans le discours de promotion des expérimentations, à celui suivi dans le cadre des essais cliniques (Hirsch, 2010 ; Duflo, 2009). C’est ici que l’amalgame avec les « expérimentations aléatoires » peut commencer à se former 8.

  • 9 Le contrefactuel renvoie à la situation qui aurait pu avoir lieu, mais qui ne s’est pas réalisée. O (...)
  • 10 J-PAL (Abdul Latif Jameel Poverty Action Lab) : laboratoire de recherche sur la pauvreté spécialisé (...)

9En effet, parmi les facteurs qui peuvent expliquer le développement des expérimentations sociales en France, les actions du J-Pal sont premières. Ce laboratoire, qui prend la forme d’un réseau d’envergure internationale, a remis au goût du jour la méthode de l’assignation aléatoire, d’ores et déjà utilisée en psychologie, en agronomie, en médecine et en économie (Jatteau, 2013a ; Labrousse, 2016), afin de lutter contre la pauvreté dans le monde. Elle consiste à reconstituer le contrefactuel 9 d’une situation donnée en affectant de manière aléatoire la population sujette à l’expérimentation en un groupe test et un groupe témoin. Le caractère aléatoire de l’expérimentation est alors primordial parce qu’il permet de s’assurer que les deux groupes constitués présentent, en moyenne, les mêmes caractéristiques (aussi bien observables qu’inobservables). Par conséquent – et dans la mesure où seul un des groupes a reçu le traitement – l’effet de ce dernier est déductible par comparaison des résultats obtenus sur chaque groupe. Appliquée à l’action publique, la méthode de l’assignation aléatoire donne lieu aux « expérimentations aléatoires », dans lesquelles le J-Pal 10 s’est spécialisé.

10Si elles s’appliquent toutes deux à l’action publique, « expérimentations sociales » et « expérimentations aléatoires » ne désignent pour autant pas une seule et même réalité. Contrairement aux expérimentations aléatoires, les expérimentations sociales mobilisent un éventail large de méthodes, aussi bien qualitatives (entretiens, observations), que quantitatives (statistiques, modèles économétriques). De ce point de vue, les expérimentations sociales renvoient à une réalité plus large que celle des expérimentations aléatoires, non seulement au sens où elles font appel à différentes méthodes et pratiques – et donc à différents types d’évaluateurs – mais aussi au sens où les dispositifs qu’elles testent et évaluent ne doivent pas nécessairement rentrer dans le carcan de la méthode de l’assignation aléatoire.

Des évaluateurs majoritairement issus du milieu académique

11La troisième caractéristique des expérimentations sociales renvoie précisément aux évaluateurs. Ils constituent le point nodal des expérimentations dans la mesure où le résultat de leur activité, l’évaluation, est censé amener le responsable politique à prendre la décision, ou non, de la généralisation du dispositif expérimenté.

12C’est en premier lieu leur nombre considérable qui frappe, puisque sur la période 2008-2012, qui a constitué la période la plus foisonnante en termes d’expérimentations sociales réalisées, nous avons répertorié 333 évaluateurs distincts, répartis au sein de 170 structures (Simha, 2015). En deuxième lieu, le profil de ces évaluateurs est particulièrement intéressant : à côté des consultants, la majorité des évaluateurs d’expérimentations sociales est constituée de chercheurs et enseignants-chercheurs en économie, sociologie, science-politique, sciences de l’éducation, etc., qui ont joué – un temps au moins – ce rôle d’évaluateur et devaient, à ce titre, se prononcer sur les résultats des dispositifs expérimentés. Le milieu académique semble donc s’être massivement mobilisé en tant qu’évaluateur d’expérimentations sociales tranchant ainsi avec une forme de défiance, voire de « réticence académique » de la sociologie et de la science politique en ce qui concerne leur contribution à la pratique de l’évaluation des politiques publiques (Barbier & Matyjasik, 2010). Cette mobilisation du milieu académique consomme par ailleurs la rupture avec une certaine tradition française d’internalisation de l’évaluation au sein des administrations d’État, rupture d’ores et déjà entamée avec l’apparition de « consultants en évaluation des politiques publiques » à partir des années 1990 (Matyjasik, 2013). Enfin, cette diversité des disciplines académiques impliquées dans l’évaluation des expérimentations sociales tranche de nouveau avec l’uniformité disciplinaire caractérisant les expérimentations aléatoires, ces dernières étant exclusivement mises en œuvre par des chercheurs en économie.

13Alors que les chercheurs s’étaient déjà interrogés sur le processus de professionnalisation de certaines catégories d’acteurs en matière d’évaluation des politiques publiques (Spenlehauer, 1998 ; Matyjasik, 2013) et concluaient à la difficulté d’évoquer une réelle identité professionnelle de ces derniers en raison de leur fragmentation trop importante, les expérimentations sociales permettent de poser cette question à nouveaux frais, en se focalisant sur les « évaluateurs » qu’elles ont mobilisés et qu’elles continuent de mobiliser.

Qualifier les évaluateurs d’expérimentation sociale

  • 11 Les interactions entre ces deux groupes d’acteurs sont en partie organisées et gérées par un troisi (...)

14Le dispositif d’expérimentation sociale ayant été décrit, il convient à présent de définir plus précisément la catégorie d’évaluateur. Dans la terminologie indigène de l’expérimentation sociale, deux types d’acteurs forment un binôme en constante interaction : les « porteurs » qui proposent des projets « innovants » en matière de politique sociale et les « évaluateurs » qui ont pour mission d’expertiser les projets et d’estimer leurs effets aux fins d’une éventuelle généralisation 11.

15Or, l’évaluateur, comme le porteur, constitue une figure modélisée et mobilisée par le sens commun pour décrire un ensemble de pratiques considérées comme professionnelles. Mais, contrairement à l’uniformisation qu’induit la catégorisation, ces pratiques, de même que les groupes qui les adoptent, renvoient rarement à un ensemble homogène. Ceci ne vient d’ailleurs pas s’opposer à une approche en termes de groupes professionnels, si l’on considère ces derniers comme « des ensembles flous soumis à des changements continus, caractérisés à la fois par des contours évolutifs et une hétérogénéité interne » (Demazière & Gadea, 2009, p. 20).

Évaluateurs et activités d’évaluation

16Un des intérêts de la sociologie des groupes professionnels consiste à donner, dans l’analyse, une place fondamentale à l’activité des individus. Celle-ci participe même de la définition des groupes professionnels (Demazière & Gadea, 2009). Si l’on s’interroge sur la réalité sociologique des « évaluateurs », sur les éléments constitutifs de cette catégorie, l’activité ne nous fournit qu’une définition tautologique : est évaluateur celui qui évalue. Or, nous avons rappelé que cette catégorie, tout comme les pratiques qui la définissent, est loin d’être homogène. Plus encore, l’activité d’évaluation n’a pas le même sens pour tous les « évaluateurs » d’expérimentation sociale.

  • 12 Par exemple, le CÉREQ, comme le CEE (Centre d’études de l’emploi), associent recherche académique e (...)

17Notre base de données permet d’identifier plusieurs types d’évaluateurs d’expérimentations sociales, à partir de leurs rattachements institutionnels : les évaluateurs de type académique, les évaluateurs de type cabinet de conseil et les évaluateurs publics mais non académiques. Ainsi, sur les 350 évaluations recensées, 181 (51,7 %) ont été réalisées par une structure académique, 142 (40,6 %) par un cabinet de conseil, et 27 (7,7 %) par une structure publique mais non académique. Si ces catégories sont forcément poreuses 12, elles offrent néanmoins l’opportunité de distinguer les « évaluateurs » non seulement au regard de leurs identités et activités professionnelles, mais aussi à celui de la place qu’occupe l’évaluation dans ces dernières. Ainsi, l’évaluation qui peut constituer l’activité centrale pour certains consultants (Matyjasik, 2013) n’est considérée que comme une activité parmi d’autres pour les chercheurs et enseignants-chercheurs, voire comme une activité que l’on pourrait qualifier de « non professionnelle » au sens où elle ne pourrait se conjuguer à l’activité de recherche et à ses obligations (Divay, 2013). Pourtant, l’investissement du milieu académique en matière d’évaluation des expérimentations sociales a été très variable, quelles que soient d’ailleurs les disciplines considérées et les méthodes mobilisées.

Encadré méthodologique
Ce travail s’appuie sur divers matériaux récoltés au cours de notre recherche doctorale :
- une observation participante de 36 mois au cours de laquelle nous avons revêtu les habits de l’évaluateur pour participer à l’évaluation d’une expérimentation sociale. Celle-ci a été l’occasion d’échanger aussi bien avec les membres du Fonds d’expérimentation pour la jeunesse (FEJ) et du Conseil scientifique qu’avec d’autres évaluateurs (scientifiques ou non) d’expérimentations sociales ;
- la constitution d’une base de données recensant l’intégralité des expérimentations sociales financées par le FEJ entre 2007 et 2012. Les données, publiques, sont issues des rapports finaux et intermédiaires rédigés par les évaluateurs d’une part, et les porteurs de projet d’autre part, et publiés sur le site internet du Fonds d’expérimentation pour la jeunesse. La base de données présente, pour chaque expérimentation, les caractéristiques nécessaires à une analyse agrégée et en particulier les identités et structures de rattachement de chaque évaluateur et porteur de projet, ainsi que le nombre d’équipes d’évaluation mobilisées.

18Reste que les pratiques d’évaluation, qui peuvent varier d’une catégorie d’évaluateurs à l’autre, ne sont pas non plus uniformisées au sein des catégories elles-mêmes. L’évaluation telle qu’elle est comprise et pratiquée par les promoteurs des expérimentations aléatoires peut, en effet, difficilement être comparée à celles que proposent, par exemple, sociologues et politistes. Parfois hiérarchisées, souvent présentées comme complémentaires – les premières permettraient de déterminer quantitativement les effets des dispositifs expérimentés quand les secondes, à l’appui de méthodes dites qualitatives, permettraient de les expliquer – les différences propres à ces pratiques et méthodes n’en restent pas moins fondamentales et liées, pour la plupart, aux identités disciplinaires de ceux qui les portent.

Des évaluateurs mandatés

19À côté de l’activité d’évaluation, un autre élément concerne tous les évaluateurs d’expérimentation sociale : ils ont été reconnus et institués en tant qu’évaluateurs par autrui. En l’occurrence, les projets candidats étaient examinés, en ce qui concerne la dimension scientifique de leurs évaluations, par le Conseil scientifique du Fonds d’expérimentation pour la jeunesse (FEJ), qui avait pour mission de juger aussi bien de la pertinence que de la qualité scientifique des évaluations. Ainsi, si l’on considère les seuls évaluateurs académiques, leur « qualité » d’évaluateur leur est avant tout reconnue par et du fait du mandat qu’ils ont reçu par une institution tierce et ce, qu’ils soient devenus évaluateurs malgré eux (Divay, 2013 ; Simha, 2015) ou qu’ils revendiquent cette activité d’évaluation en tant que chercheurs (L’Horty & Petit, 2011).

20À ce titre, la figure de l’évaluateur vient s’ajouter à celle de l’expert qui mobilise ses connaissances et ses compétences (du moins celles supposées par le mandant) dans le cadre d’un mandat (Delmas, 2011). L’expert, ou ici l’évaluateur, peut alors être défini comme un professionnel institué par un profane en demande. Dans le cadre des premiers appels à projets d’expérimentations sociales, les évaluateurs étaient ainsi mandatés à la fois en amont par les porteurs de projets à la recherche de partenaires pour la constitution des dossiers de candidature et en aval par le FEJ qui sélectionnait les projets d’expérimentations. La question du mandat conduit alors à poser celle de la légitimité. Plus généralement, il s’agit de se demander sur quels critères les évaluateurs sont désignés, et ce d’autant plus pour les évaluateurs académiques qui ne font pas de l’évaluation leur activité première. S’il paraît compliqué d’approcher cette question en étudiant, cas par cas, les 350 évaluations recensées, il est néanmoins possible de raisonner, à partir de notre base de données, en croisant ces évaluations avec le nombre de structures d’évaluation mobilisées.

  • 13 Par exemple, les signatures apposées au bas des rapports d’évaluation ne correspondent pas toujours (...)

21Il est toutefois nécessaire d’opérer ici un changement de focale. En effet, les développements suivants mobilisent non pas des données portant sur les évaluateurs individuels, mais sur des structures (en l’occurrence d’évaluation) auxquelles ils sont rattachés. S’il n’est dès lors plus possible d’analyser les parcours socioprofessionnels individuels, ce changement de focale permet d’éviter un certain nombre d’obstacles liés, par exemple, aux règles de fonctionnement variables des laboratoires et centres de recherche 13. Se concentrer sur ces structures d’évaluation permet, en retour, de s’intéresser aux mécanismes réputationnels qui ont structuré le marché des expérimentations sociales et finalement de réinterroger le vocable même d’« évaluateur ».

Distinguer les évaluateurs d’expérimentation sociale

Des pluri-évaluateurs aux ressources spécifiques

22Afin de réaliser les 350 évaluations que nous avons recensées pour la période 2008-2012, 170 structures d’évaluation ont été mobilisées, ce qui suggère que plusieurs d’entre elles ont été mandatées à plusieurs reprises pour réaliser une évaluation. En réalité, la distribution des évaluations par structure d’évaluation est loin d’être linéaire puisque 122 structures n’ont réalisé qu’une seule évaluation, quand 48 en ont réalisé 228 (figure 1). Au sein de ces dernières, on constate par ailleurs une forte disparité dans la mesure où les trois structures les plus mobilisées, à savoir l’École d’économie de Paris associée au J-Pal, le CRÉDOC et le CÉREQ, ont respectivement réalisé 17, 22 et 32 évaluations.

Figure  : Nombre de structures d’évaluation en fonction du nombre d’évaluations réalisées

Figure  : Nombre de structures d’évaluation en fonction du nombre d’évaluations réalisées

Lecture : 122 structures d’évaluation n’ont réalisé qu’une seule évaluation, et une seule structure d’évaluation a réalisé 32 évaluations différentes.

23Cette distribution fortement asymétrique suggère que l’École d’économie de Paris, le CRÉDOC et le CÉREQ sont apparues, aux yeux des mandants qui ont eu recours à leurs services, comme des structures d’évaluation particulièrement légitimes, et nous pouvons faire l’hypothèse que sur le marché des expérimentations sociales, organisé selon la procédure des appels à projets, certaines ressources sont davantage valorisées que d’autres, permettant ainsi à quelques structures de se démarquer des autres et ainsi de bénéficier d’une position majoritaire.

« Tout le monde n’est pas l’École d’économie de Paris ! »

24Le cas de l’École d’économie de Paris est le plus exemplaire. En effet, associée au J-Pal, elle constitue un acteur institutionnel de premier rang quant à l’émergence et au développement des expérimentations aléatoires et des expérimentations sociales en France. Impliquée dans les expérimentations relatives au recours aux opérateurs privés de placement (Vivès, 2013), comme dans celle du RSA, elle a fait partie des premiers promoteurs de l’application de la méthode de l’assignation aléatoire à l’action publique. À ce titre, elle apparaît – et ses membres avec elle – comme spécialiste de l’expérimentation aléatoire. Au sein du Conseil scientifique et de la mission d’animation du FEJ, elle bénéficie d’une réputation solidement ancrée, celle d’être un acteur incontournable en matière d’expérimentation sociale. La lecture que propose l’extrait d’entretien suivant en ce qui concerne les considérations ayant présidé à la création du FEJ est éloquente à ce sujet :

« D’une certaine façon, Martin Hirsch a créé le Fonds d’expérimentation pour la jeunesse… […] Il a dit : "Voilà, j’ai un reliquat d’argent, je peux avoir un paquet de sous publics-privés etc., ça va être… c’est pas simplement votre [à l’École d’économie de Paris] bac à sable pour faire, enfin, de l’expérimentation sociale dans les règles de l’art". Mais quelque part, c’est un peu ça, c’est se dire : maintenant, on va vraiment faire de l’expérimentation sociale à un niveau d’État avec un Conseil scientifique, avec de l’argent sonnant et trébuchant et avec la capacité d’agir. Et donc, c’est le Fonds d’expérimentation pour la jeunesse » (Membre du FEJ).

25Annoncer que la création du FEJ sera « enfin » l’occasion pour l’École d’économie de Paris de « vraiment » développer l’expérimentation sociale (avec toute l’ambiguïté de l’amalgame que nous avons déjà évoqué avec l’expérimentation par assignation aléatoire), revient à lui accorder une place de droit sur ce qui peut apparaître comme un marché en constitution, place d’ailleurs confirmée ensuite par sa présence dans les instances du FEJ (Conseil scientifique, jury de sélection, etc.). L’École d’économie de Paris se distingue alors des autres évaluateurs d’expérimentations sociales en raison de son savoir-faire spécifique, sa pratique de l’assignation aléatoire, ce qui, dans le cadre d’un mandat, renvoie à l’expertise au sens sociologique du terme.

26Mais, cette position particulière sur le plan scientifique ou méthodologique se double d’un positionnement particulier sur le plan institutionnel. Dans la procédure de sélection des candidatures adressées par les porteurs de projets et les évaluateurs au FEJ, plusieurs instances sont mobilisées. Un Conseil de gestion, constitué de représentants des administrations centrales et des partenaires privés, sélectionne les candidats tout en étant assisté d’un Conseil scientifique et de jurys. Ces derniers sont constitués de « chercheurs experts en la matière » pour le premier et « de représentants des administrations centrales en charge des thématiques, d’experts du sujet, d’acteurs de terrain ainsi que, pour le volet évaluation, des représentants du Conseil scientifique et d’experts en matière d’évaluation des politiques publiques » pour les seconds. La dimension d’expertise y est donc centrale et renvoie ici indifféremment à une thématique spécifique de politique publique ou à un domaine méthodologique propre à l’évaluation des politiques publiques.

27Or, parmi les douze membres qui composent le Conseil scientifique pendant la période observée, trois (dont le président) sont rattachés à l’École d’économie de Paris ou au J-Pal. Ces derniers font également partie de plusieurs jurys de sélection ainsi que le prévoient les missions de cette instance. Si cette situation ne se restreint pas au cas de l’École d’économie de Paris, elle est un élément de plus révélant la place d’expert accordée à cet établissement et à ses représentants sur le marché de l’expérimentation sociale par le FEJ. Que l’on considère les institutions ou les discours de leurs représentants, l’École d’économie de Paris est considérée comme experte sur les questions qui intéressent le FEJ, ce qui permet de justifier la position particulière qu’elle occupe sur le plan institutionnel.

28L’expertise reconnue et revendiquée par l’École d’économie de Paris participe par ailleurs d’une stratégie de différenciation qui s’inscrit dans une analyse en termes de groupes professionnels (Vézinat, 2016). En l’occurrence, il s’agit pour cet établissement de se distinguer à la fois des autres évaluateurs d’expérimentation sociale et de la communauté plus large des économistes. À lui seul, le guide méthodologique conçu par le FEJ et destiné aux porteurs de projet d’expérimentation sociale illustre cette double stratégie de différenciation. Ce guide propose effectivement une différenciation des savoirs et des méthodes articulée à une hiérarchisation de ces dernières :

« Deux grands types d’évaluations coexistent : les méthodes qui s’appliquent sur des échantillons représentatifs (de quelques centaines à quelques milliers d’individus, voire davantage), ou méthodes quantitatives et les investigations approfondies sur des petits échantillons raisonnés de l’ordre de quelques dizaines d’individus, ou méthodes qualitatives. Au sein des méthodes quantitatives, les approches les plus fiables sont les méthodes d’expérimentation contrôlée et randomisée qui reposent sur l’observation d’un groupe test et d’un groupe témoin ne bénéficiant pas du dispositif, ces groupes étant construits en y affectant les personnes par tirage au sort. Lorsqu’une expérience randomisée ne peut être envisagée, d’autres méthodes quantitatives peuvent être mobilisées qui consistent à tenter de reproduire artificiellement les conditions d’une expérience randomisée à l’aide de techniques statistiques adaptées aux caractéristiques de l’expérimentation » (Guide méthodologique pour l’évaluation des expérimentations sociales, FEJ).

29Ce propos liminaire suffit à déterminer la teneur du document dans son ensemble : la méthode de l’assignation aléatoire (les méthodes d’expérimentation contrôlée et randomisée) est à distinguer de toutes les autres formes d’évaluation, de toutes les autres méthodes pratiquées par les évaluateurs et cela qu’il s’agisse d’évaluateurs professionnels au sens où peuvent l’être certains consultants, ou d’évaluateurs non professionnels au sens où peuvent l’être les chercheurs et enseignants-chercheurs. Plus encore, ce guide constitue un outil élaboré par les promoteurs de l’assignation aléatoire afin d’asseoir une forme de « dominance » : la double différenciation par l’expertise que nous venons d’évoquer s’adosse aux discours que ces acteurs portent sur eux-mêmes, c'est-à-dire à une « différenciation par la rhétorique » (Vézinat, 2016). Celle-ci est d’autant plus précieuse à leurs yeux que leur savoir-faire spécifique – l’application de l’assignation aléatoire à l’action publique – se veut rare et singulier, ce que ce membre du Conseil scientifique, non rattaché à l’École d’économie de Paris résume en ces termes : « Tout le monde n’est pas l’École d’économie de Paris ! » Un autre de ses membres, rattaché, lui, à cet établissement explique :

« Mais ceci dit, pour reprendre les termes de [un autre évaluateur et membre du Conseil scientifique], il dit : "Finalement, ces évaluations… si on veut un peu de biodiversité dans l’évaluation, ces évaluations-là [celles qui mobilisent l’assignation aléatoire], c’est quand même l’espèce rare". Donc, c’est aussi pour ça qu’on insiste là-dessus. C’est pour préserver la biodiversité qu’on insiste un peu en disant : "Regardez, il y a quand même ça, ce serait bien d’en faire". Moi, ce que je pense c’est que… moi, je suis pour la biodiversité dans ce truc-là. Mais, ce que je pense c’est que, à la marge, les évaluations qui ont le plus gros rendement, simplement parce qu’on en fait très, très peu, c’est celles-là. Celles qui sont à promouvoir pour qu’il y en ait, pour qu’elles s’installent un peu dans le paysage à côté des autres, c’est celles-là. […] Et… c’est clair que le Fonds d’expérimentation… Martin Hirsch, il a poussé pour diverses raisons. Du point de vue du Fonds d’expérimentation, moi je trouve que c’était bien à un certain moment de mettre ça en avant. Et si on l’avait pas mis en avant, il y aurait juste eu aucun intérêt pour ça… Évidemment, si on veut changer des choses, on est obligé d’appuyer un peu sur les trucs qui sont le moins présents, que les gens ne savent pas faire etc., donc on a appuyé un peu » (Entretien avec un évaluateur, membre du Conseil scientifique du FEJ).

30La création du FEJ n’est donc plus à appréhender dans une seule perspective fonctionnaliste en lien avec les politiques publiques, mais également comme l’opportunité de défendre, de faire adopter et de développer en France une « nouvelle » méthode d’évaluation des politiques publiques, dont l’École d’économie de Paris (et le J-Pal) serait le héraut. La différenciation opérée par les promoteurs de l’assignation aléatoire se fonde alors sur un certain nombre de mythes relatifs notamment à l’histoire internationale et scientifique de cette méthode (Labrousse, 2016) ou à sa réalité pratique (Jatteau, 2013b).

31Dans le cadre de la procédure de sélection des projets d’expérimentation sociale par les administrations du FEJ, l’École d’économie de Paris est ainsi fortement « armée » face aux autres structures d’évaluation. Non seulement elle dispose d’une expertise spécifique distinctive, mais encore elle participe à l’édiction des règles de sélection. Tout d’abord parce qu’elle siège dans les instances de sélection (Conseil scientifique et jurys) et ensuite parce qu’elle partage, avec le FEJ, un certain nombre d’objectifs, ce qui contribue d’ailleurs à la démarquer des autres évaluateurs.

Le CRÉDOC et le CÉREQ, ou l’expertise thématique

32Les cas du CRÉDOC et du CÉREQ se distinguent de celui de l’École d’économie de Paris au regard du type d’expertise mobilisée. Contrairement à l’École d’économie de Paris, ces deux établissements ne revendiquent pas une expertise méthodologique. Pourtant, ils ont respectivement participé à 22 et 32 évaluations, ce qui suppose que les jurys et le Conseil scientifique du FEJ ont estimé que les protocoles d’évaluation proposés correspondaient aux exigences institutionnelles. C’est que l’expertise du CÉREQ, tout comme celle du CRÉDOC, ne se situe pas sur le même plan que celle de l’École d’économie de Paris. Alors que cette dernière présente une expertise d’ordre technique, les deux autres structures avancent sur un terrain plus thématique. Le CÉREQ revendique lui-même une « expertise au service des acteurs de la formation et de l’emploi », il se présente comme « un acteur majeur dans ce domaine depuis quarante ans » et rappelle que l’évaluation des dispositifs et des politiques publiques figure parmi les missions qu’il doit assurer 14. De ce point de vue, il s’inscrit dans les thématiques du FEJ (insertion professionnelle, orientation, etc.) et répond aux besoins d’évaluation des politiques publiques recherchés par ce dernier.

33Ainsi, le CÉREQ a très largement évalué des expérimentations relatives à l’insertion professionnelle (21,9 %) et à l’orientation (28,1 %), deux thèmes qui figurent parmi ses objets de prédilection. Le décrochage (28,2 % en combinant décrochage scolaire et universitaire), considéré comme une thématique à part entière pour le FEJ, s’inscrit également pleinement dans son champ d’expertise. L’importance du CÉREQ en matière d’évaluation s’apprécie d’autant mieux dans le détail de chaque thématique : il a ainsi évalué 16 % de l’ensemble des expérimentations portant sur le décrochage, 13,5 % de celles relevant de l’insertion professionnelle et 18,8 % de l’orientation. Il figure en outre parmi les trois évaluateurs ayant pris en charge les deux évaluations nationales du « Revenu contractualisé d’autonomie » (avec le CRÉDOC et l’École d’économie de Paris).

Figure 2 : Nombre d’évaluations par thématique et par structure pluri-évaluatrice

Figure 2 : Nombre d’évaluations par thématique et par structure pluri-évaluatrice

Lecture : le CEREQ a évalué neuf expérimentations relatives à la thématique « orientation »

  • 15 Par ailleurs, au moins dix-sept Net.doc, dix Bref, huit Brèves, deux Relief et un numéro spécial de (...)

34Par ailleurs, les multiples évaluations prises en charge par le CÉREQ lui ont donné l’occasion d’afficher son expertise dans le domaine des expérimentations sociales au travers de publications exclusivement consacrées à ces dernières (Romani, 2011 ; Gasté & Loumé, 2012) 15 : « [L]édition de cet ouvrage traduit la volonté du CÉREQ de faire part de son expertise à travers une expérimentation qui mobilise jusqu’en 2013 six de ses seize centres associés régionaux » (Gasté & Loumé, 2012). De la même manière, les deux publications du CRÉDOC proposant une analyse « transversale » des expérimentations sociales auxquelles ses membres ont contribué mettent en avant l’expertise de la structure en ce domaine : « [L]’expérience acquise par le CRÉDOC dans le cadre du FEJ permet ainsi de formuler un certain nombre de recommandations sur les conditions de réussite des expérimentations et de leur évaluation » (Aldeghi, Jauneau & Muller, 2012, p. 4). Le CÉREQ et le CRÉDOC sont alors indirectement présentés dans ces supports comme les structures françaises les plus impliquées en matière d’expérimentation sociale et, partant, comme des acteurs (voire les seuls acteurs) disposant des informations nécessaires pour en proposer une analyse transversale.

  • 16 Le Centre de recherche en économie et statistique (rattaché au Groupe des écoles nationales d’écono (...)

35Le cas du CÉREQ se différencie de celui de l’École d’économie de Paris en cela qu’il ne s’impose pas, a priori, comme l’acteur incontournable d’une méthode d’évaluation. Il intervient plutôt en tant que fin connaisseur des questions qui animent le FEJ. Son expertise en matière d’expérimentation sociale se développe alors au fur et à mesure des évaluations réalisées et des publications qui viennent en ponctuer l’analyse. Par ailleurs, tout comme l’École d’économie de Paris, il dispose d’une ressource rare sur ce marché : la présence de son directeur dans le Conseil scientifique du FEJ lui donne accès à des informations dont ne disposent pas l’ensemble des candidats. Le CRÉDOC, mais aussi le CREST et la fédération TEPP 16 – qui complètent tous trois, avec l’École d’économie de Paris et le CÉREQ, le tableau des plus gros pluri-évaluateurs académiques – ne font pas non plus exception à cette règle : chacune de ses structures a pu bénéficier, à un moment ou un autre, de la présence d’au moins un de ses membres au sein du Conseil scientifique du FEJ et des jurys de sélection. Ces positions stratégiques sont une illustration supplémentaire de ce que l’un de nos enquêtés formule à la manière d’un regret :

« Quand, il y a un mois, il [un membre du Conseil scientifique] me dit "au Conseil scientifique, on cherche des gens qui seraient en capacité de lire…" […] Forcément, on manque tellement de bras ! Donc sur tous les appels à projets, on mobilise tous les gens qui ont des connaissances sur un sujet donné ! On ne peut plus tenir » (Membre du Conseil scientifique du FEJ).

36En matière d’expérimentation sociale, l’expertise est rare et cette rareté conduit à multiplier les présences des mêmes individus et structures, considérés comme détenteurs de l’expertise requise dans toutes les étapes qui concourent à l’élaboration d’une expérimentation sociale : de la réalisation des dossiers de candidature à leur sélection, de la mise en œuvre des expérimentations à leur réception. Mais, on l’a vu, cette expertise est en réalité multiple : elle peut être concentrée sur une méthode particulière comme pour l’École d’économie de Paris et elle peut aussi concerner les thématiques abordées dans le cadre des appels à projets comme pour le CÉREQ et le CRÉDOC.

Conclusion : des experts aux positions multiples

37Que l’on regarde du côté de l’École d’économie de Paris, de celui du CRÉDOC ou encore de celui du CÉREQ, c’est-à-dire des trois structures qui ont su le mieux tirer parti de la période d’effervescence des expérimentations sociales, il ressort clairement que la qualification d’évaluateur ne suffit pas à caractériser leurs activités, leurs pratiques en matière d’expérimentation sociale. S’ils ont été sélectionnés en tant qu’évaluateurs et placés au cœur de la mécanique du FEJ, c’est bien finalement en raison de leurs expertises respectives, et ce qui les caractérise au premier chef relève moins de leur qualité d’évaluateur que de leur expertise et de leur multipositionnalité.

38Ces acteurs sont, en effet, bien plus que de simples évaluateurs qui ne seraient définis que par leur seule activité d’évaluation. Le risque de la terminologie propre à l’évaluation des politiques publiques renvoie aux critiques formulées à l’endroit d’une vision séquentielle des politiques publiques dans laquelle l’évaluation est à distinguer de la décision et plus encore de la conception de la politique publique (Hassenteufel, 2008). En ce qui concerne les expérimentations sociales, qualifier l’École d’économie de Paris d’évaluateur, ou de structure d’évaluation, conduit à prendre le risque d’occulter, ou d’oublier, le rôle fondamental d’une partie de ses membres dans la conception de ces expérimentations, mais également dans celle des dispositifs publics qui en ont découlé ou qui, à tout le moins, s’inscrivent dans leur continuité.

  • 17 CREST/EEP, CREDOC, Revenu contractualisé d’autonomie. Rapport d’évaluation, Fonds d’expérimentation (...)

39La « Garantie jeunes » est à ce titre exemplaire. Ce dispositif d’action publique, expérimenté en France depuis 2013, se situe dans la droite ligne des expérimentations sociales et en applique les principes. S’il est toujours risqué de désigner une parenté directe (et unique) entre un dispositif et un individu, il est néanmoins possible d’établir plusieurs axes de continuité. À ce titre, la « Garantie jeunes » est issue d’un groupe de travail co-présidé, d’une part, par l’ancien président du Conseil scientifique du FEJ, membre de l’École d’économie de Paris, Marc Gurgand et, d’autre part, par une déléguée générale à l’emploi et à la formation professionnelle, Emmanuelle Wargon, qui a par ailleurs dirigé le cabinet de Martin Hirsch au sein du Haut-commissariat aux solidarités actives. En outre, la « Garantie jeunes » trouve sa source dans un dispositif expérimenté dans le cadre du FEJ entre 2011 et 2013, le « Revenu contractualisé d’autonomie » qui a fait l’objet d’une expérimentation aléatoire évaluée par le CREST et l’École d’économie de Paris. Leur rapport d’évaluation établissait clairement le lien avec la « Garantie jeunes », aussi bien en ce qui concerne la filiation théorique des deux dispositifs qu’en ce qui concerne, de manière plus concrète, la présentation des résultats intermédiaires du « Revenu contractualisé d’autonomie » « aux cabinets ministériels, et au groupe de travail sur la "garantie jeunes" » 17. Enfin, en tant que dispositif expérimental, la « Garantie jeunes » fait l’objet de plusieurs évaluations (l’une d’entre elles faisant appel à la méthode de l’assignation aléatoire) supervisées par un Conseil d’évaluation au sein duquel siège, en sa qualité d’expert, Marc Gurgand.

  • 18 Celles du recours aux opérateurs privés de placement, du RSA, de la mallette des parents, de l’inte (...)

40Si, après avoir participé à l’évaluation de plusieurs expérimentations 18 et après avoir présidé le Conseil scientifique du FEJ, l’on retrouve ce directeur scientifique de l’antenne Europe du J-Pal au sein du groupe de travail et du Conseil d’évaluation de la « Garantie jeunes », c’est bien qu’il représente plus qu’un simple évaluateur et son corollaire, qu’il ne peut être désigné comme évaluateur sans pour autant tronquer l’analyse de son action. Il se caractérise finalement surtout à l’aune des positions multiples qu’il occupe à la frontière de deux sphères d’activité.

  • 19 La publication récente de l’ouvrage de Pierre Cahuc et André Zylberberg, intitulé Le Négationnisme (...)

41Le terme d’évaluateur de politiques publiques pose en définitive une série de problèmes, en tout cas au regard des expérimentations sociales conduites par le FEJ, s’il est utilisé afin de désigner un groupe professionnel spécifique. Il regroupe une hétérogénéité de pratiques dont la place au sein de l’activité professionnelle des acteurs concernés est elle-même loin d’être homogène. Par ailleurs, au sein même de ces acteurs désignés comme évaluateurs, nous avons vu que les promoteurs de l’assignation aléatoire étaient inscrits dans des stratégies de différenciation notamment par le biais des savoirs scientifiques. Celles-ci sont en réalité davantage l’occasion d’une démarcation par rapport à la communauté plus large des économistes 19, que par rapport à celle, dont l’existence resterait à prouver, des évaluateurs des politiques publiques. En définitive, les expérimentations sociales du FEJ peuvent être analysées comme une tentative institutionnalisée de régulation de l’activité d’évaluation en faveur d’un petit groupe d’acteurs qui y ont puisé prestige et légitimité.

Haut de page

Bibliographie

Aldeghi I., Jauneau P. & L. Muller (2012), « Bilan méthodologique des évaluations conduites par le CREDOC dans le cadre du fonds d’expérimentation pour la jeunesse », Cahier de recherche du CREDOC, n° 300.

Barbier J.-C. & N. Matyjasik (2010), « Évaluation des politiques publiques et quantification en France : des relations ambiguës et contradictoires entre disciplines », Revue française de socio-économie, n° 5, pp. 123-140.

Cahuc P. & A. Zylberberg (2016), Le Négationnisme économique et comment s'en débarrasser, Paris, Éditions Flammarion.

Bureau M.-C., Sarfati F., Simha J. & C. Tuchszirer (2013), « L’expérimentation dans l’action publique. Usages, pratiques et jugements des acteurs », Travail et Emploi, n° 135, pp. 41-55 [En ligne] http://journals.openedition.org/travailemploi/6070.

Deleau M., Nioche J.-P., Penz P. & R. Poinsard (1986), Évaluer les politiques publiques. Méthodes, déontologie, organisation, Commissariat général du plan, La Documentation française.

Delmas C. (2011), Sociologie politique de l’expertise, Paris, Éditions La Découverte.

Demazière D. & C. Gadea (2009), Sociologie des groupes professionnels, Paris, Éditions La Découverte.

Devaux-Spatarakis A. (2014), La Méthode expérimentale par assignation aléatoire : un instrument de recomposition de l’interaction entre sciences sociales et action publique en France ?, Thèse pour le Doctorat en Science politique, Université de Bordeaux, octobre.

Divay S. (2013), « Être sociologue et évaluateur. Faire des compromis sans se compromettre », Genèses, vol. 1, n° 90, pp. 133-146.

Dubar C., Tripier P. & V. Boussard (2011), Sociologie des professions, Paris, Éditions Armand Colin.

Dubois J.-M. (2015), « La place de l’évaluateur au sein des expérimentations sociales », Agora débats/jeunesses, n° 69, pp. 115-127.

Duflo E. (2009), Expérience, science et lutte contre la pauvreté, Leçon inaugurale au Collège de France, le 8 janvier 2009, www.college-de-france.fr

Gasté D. & D. Loumé (dir.) (2012), « Le Portefeuille d’expériences et de compétences. De l’université à la vie active », Relief du CEREQ, n° 29.

Gomel B. & E. Serverin (2009), « Expérimenter pour décider ? Le RSA en débat », Document de travail du CEE, n° 118, juin [En ligne] http://www.cee-recherche.fr/publications/document-de-travail/experimenter-pour-decider-le-rsa-en-debat

Hassenteufel P. (2008), Sociologie politique : l’action publique, Éditions Armand Colin

Hirsch M. (2010), Secrets de fabrication. Chroniques, Paris, Éditions Grasset.

Jatteau A. (2013a), Les Expérimentations aléatoires en économie, Paris, Éditions La Découverte.

Jatteau A. (2013b), « Expérimenter le développement ? Des économistes et leurs terrains », Genèses, n° 93, pp. 8-28.

L’Horty Y. & P. Petit (2011), « L’évaluation aléatoire : un succès qui ne doit rien au hasard », La Vie des idées, 11 mai [En ligne] http://www.laviedesidees.fr/L-evaluation-aleatoire-un-succes.html .

Labrousse A. (2016), « Apprendre des expérimentations aléatoires. Promesse de scientificité, complications pratiques, expériences historiques », La Vie des idées, 4 mars [En ligne] http://www.laviedesidees.fr/Apprendre-des-experimentations-aleatoires.html

Matyjasik N. (2010), L’Évaluation des politiques publiques dans une France décentralisée. Institutions, marchés et professionnels, Thèse de doctorat en science politique, Université Montesquieu-Bordeaux IV / Sciences-Po Bordeaux.

Matyjasik N. (2013), « Des évaluations de politiques publiques et des consultants. Émergence d’un champ professionnel et segmentation des rôles », Revue française d’administration publique, n° 148, pp. 907-921.

Romani C. (2011), « Le CEREQ et l’évaluation des expérimentations sociales », Net.Doc n° 84.

Simha J. (2015), Les Expérimentations sociales en France. Une sociologie de l’évaluation des politiques publiques, Thèse de doctorat en sociologie, Université Paris Ouest Nanterre La Défense.

Spenlehauer V. (1998), « Quel développement, quelle professionnalisation de l'évaluation ? », Pouvoirs Locaux, n° 38, pp. 46-52.

Vézinat N. (2016), Sociologie des groupes professionnels, Paris, Éditions Armand Colin.

Viveret P. (1989), L’Évaluation des politiques et des actions publiques, Rapport au Premier ministre, Paris, La Documentation française.

Vivés C. (2013), L’Institutionnalisation du recours aux opérateurs privés de placement au cœur des conflits de régulation du service public de l’emploi (2003-2011), Thèse de doctorat en sociologie, Université de Paris Ouest Nanterre La Défense.

Haut de page

Notes

1 Cette charte de deux pages énonce et définit les principes de l’évaluation auxquels adhèrent les membres de la SFE et qu’ils s’engagent à appliquer et promouvoir « tant dans le milieu professionnel qu’auprès des personnes et institutions concernées par l’évaluation et la délibération publique » (www.sfe-asso.fr) : pluralité, distanciation, compétence, respect des personnes, transparence, opportunité, responsabilité.

2 À propos des débats qui ont traversé la SFE au moment de l’élaboration de la Charte de l’évaluation, Nicolas Matyjasik souligne qu’à ce moment le « corps d’activité » des évaluateurs de politiques publiques « est à peine en train de se stabiliser » (Matyjasik, 2010, p. 342).

3 Centre de recherche pour l’étude et l’observation des conditions et vie (CRÉDOC) et Centre d’études et de recherches sur les qualifications (CÉREQ).

4 La loi « d’expérimentation territoriale visant à résorber le chômage de longue durée » a été promulguée le 29 février 2016 et un appel à candidatures a été publié six mois plus tard.

5 Le décret n° 2013-880 du 1er octobre 2013 relatif à l'expérimentation de la « garantie jeunes » est le premier d’une longue série qui est venu cadrer sa mise en œuvre.

6 http://www.lemonde.fr/politique/article/2016/10/19/revenu-de-base-une-mission-d-information-du-senat-recommande-une-experimentation-dans-des-territoires-volontaires_5016593_823448.html

7 HCSA (Haut-commissariat aux solidarités actives contre la pauvreté) (2007), Appel à projets « Expérimentation sociales 2008 ».

8 Le modèle de l’expérimentation n’a, en réalité, pas attendu Martin Hirsch ou Esther Duflo pour se développer. Bernard Gomel et Evelyne Serverin ont déjà rappelé que l’« expérimentation normative » existe depuis plus de 40 ans en France (Gomel & Serverin, 2009).

9 Le contrefactuel renvoie à la situation qui aurait pu avoir lieu, mais qui ne s’est pas réalisée. On peut, par exemple se demander quelle aurait été la situation des bénéficiaires du RSA s’ils n’avaient pas bénéficié de ce dernier.

10 J-PAL (Abdul Latif Jameel Poverty Action Lab) : laboratoire de recherche sur la pauvreté spécialisé dans l’évaluation des politiques sociales, de développement et de lutte contre la pauvreté, en France et dans le monde.

11 Les interactions entre ces deux groupes d’acteurs sont en partie organisées et gérées par un troisième groupe d’acteurs intégrés aux structures destinées à administrer les expérimentations sociales (Haut-commissariat aux solidarités actives, Haut-commissariat à la jeunesse, Fonds d’expérimentation pour la jeunesse, etc.).

12 Par exemple, le CÉREQ, comme le CEE (Centre d’études de l’emploi), associent recherche académique et réponse à la demande sociale, tandis que certains cabinets de conseil accueillent parmi leurs membres des chercheurs et enseignants-chercheurs.

13 Par exemple, les signatures apposées au bas des rapports d’évaluation ne correspondent pas toujours aux informations délivrées sur le site du FEJ. Soit par erreur, soit parce que l’équipe d’évaluation a changé entre le début et la fin de l’expérimentation, soit parce certains patronymes apparaissent dans les candidatures (en raison de leur réputation) alors même qu’ils ne participeront pas à l’expérimentation, soit parce qu’il est de coutume d’associer le nom du directeur de service, de département ou de laboratoire à la liste de ceux qui ont effectivement réalisé l’évaluation, etc.

14 Site du CÉREQ : www.cereq.fr

15 Par ailleurs, au moins dix-sept Net.doc, dix Bref, huit Brèves, deux Relief et un numéro spécial de la revue Formation Emploi ont été consacrés aux expérimentations sociales.

16 Le Centre de recherche en économie et statistique (rattaché au Groupe des écoles nationales d’économie et statistique de l’INSEE) et la Fédération « Travail, emploi et politiques publiques » (qui rassemble huit laboratoires de neuf universités) ont également participé à la promotion des expérimentations aléatoires en France.

17 CREST/EEP, CREDOC, Revenu contractualisé d’autonomie. Rapport d’évaluation, Fonds d’expérimentation pour la jeunesse, octobre 2014.

18 Celles du recours aux opérateurs privés de placement, du RSA, de la mallette des parents, de l’internat d’excellence de Sourdun, etc.

19 La publication récente de l’ouvrage de Pierre Cahuc et André Zylberberg, intitulé Le Négationnisme économique, qui place au cœur de sa démonstration l’expérimentation aléatoire, a bien suscité des réactions dans une large partie de la communauté des économistes, dépassant la frontière entre hétérodoxie et orthodoxie économique (Cahuc & Zylberberg, 2009).

Haut de page

Table des illustrations

Titre Figure  : Nombre de structures d’évaluation en fonction du nombre d’évaluations réalisées
Légende Lecture : 122 structures d’évaluation n’ont réalisé qu’une seule évaluation, et une seule structure d’évaluation a réalisé 32 évaluations différentes.
URL http://journals.openedition.org/sociologies/docannexe/image/6715/img-1.png
Fichier image/png, 22k
Titre Figure 2 : Nombre d’évaluations par thématique et par structure pluri-évaluatrice
Légende Lecture : le CEREQ a évalué neuf expérimentations relatives à la thématique « orientation »
URL http://journals.openedition.org/sociologies/docannexe/image/6715/img-2.png
Fichier image/png, 36k
Haut de page

Pour citer cet article

Référence électronique

Jules Simha, « Qui sont les évaluateurs d’expérimentation sociale ? », SociologieS [En ligne], Dossiers, Les professionnels de l’évaluation. Mise en visibilité d’un groupe professionnel, mis en ligne le 13 mars 2018, consulté le 25 juin 2018. URL : http://journals.openedition.org/sociologies/6715

Haut de page

Auteur

Jules Simha

CNAM, Lise et Centre d'études de l'emploi et du travail (CEET), Paris - Chercheur associé à l'IDHE.S (France) - julesimha@gmail.com

Haut de page

Droits d’auteur

Licence Creative Commons
Les contenus de la revue SociologieS sont mis à disposition selon les termes de la Licence Creative Commons Attribution - Pas d’Utilisation Commerciale - Pas de Modification 3.0 France.

Haut de page