1En France, les années 2000-2014 sont encore des années d’avancées partielles, d’hésitations entre trois modèles de réforme de l’État. D’un côté persiste un ancien modèle d’administration bureaucratique avec le modèle de gestion des ressources humaines qui lui est associé. Un deuxième modèle, plus récent et productiviste, orienté vers la performance publique, lie le contrôle de gestion et la performance sociale en introduisant l’audit interne dans le secteur public. Enfin, un troisième modèle alternatif se dessine, orienté par le service à rendre au public, la participation, l’exigence de transparence et de « redevabilité ».

3Les instances d’évaluation et les méthodes évaluatives, de leur côté, ont fait débat en France, tant du point de vue de la gouvernance de l’évaluation que du point de vue de leurs outils et techniques de savoirs évaluatifs (Baslé, 2009). Le débat a été focalisé sur la nature de la commande (commande et mise en marché ou bien auto-saisine et instance), sur le champ du cahier des charges (efficacité, efficience, effectivité et impact) et sur la nature de la mise en débat (initiale, avec l’évaluation participative, chemin faisant, avec l’évaluation pluraliste). Une des tensions majeures a porté sur la quantification dans l’évaluation (Barbier, Matyjasik, 2010) et sur la course à l’indicateur de performance (indicateurs de type LOLF – loi organique relative aux lois de finance) par exemple (Brunetière, 2010) qui compare des résultats à des cibles ou des résultats à des moyens.

4Un véritable dialogue de sourds entre disciplines mais aussi entre corpus prend la place d’analyses plaidant l’évaluation au service de la nouvelle gouvernance publique ; celle qui promeut une évaluation pluraliste, participative et aussi plus managériale de l’évaluation des politiques publiques (Berthet, 2008).

6Toutes ces dimensions d’intérêt et toutes ces fractures se retrouvent dans la nature et la qualité des grandes évaluations récentes de politiques publiques françaises, dans le domaine des politiques de la jeunesse et de la relation Formation-Emploi. Ainsi, la méta-évaluation des évaluations (Baslé, 2013) des expérimentations financées par le Fonds d’expérimentation pour la jeunesse montrera sans doute, dans quelques années, cette dépendance au sentier et au contexte.

Encadré 1 : Le Fonds d’expérimentation pour la jeunesse (FEJ)
Le Fonds d’expérimentation pour la jeunesse (FEJ), créé en 2009, est présenté comme une innovation de politique sociale : « Il peut s’agir de tester un nouveau dispositif d’accompagnement, une incitation financière plus favorable ou un supplément d’information, voire tous ces éléments à la fois ; dans tous les cas, il semble essentiel que l’innovation testée soit porteuse de sens pour les politiques sociales, c’est-à-dire qu’on puisse la situer dans les perspectives d’évolution des politiques sociales, qu’on en connaisse les présupposés et qu’on identifie les questions auxquelles elle est susceptible de répondre ; plus l’innovation testée est sophistiquée, plus il sera difficile de déterminer la part relative de chacune de ses composantes dans les résultats obtenus. Cette initiative est initiée dans un premier temps à une échelle limitée, compte tenu des incertitudes existantes sur ses effets (...) : l’expérimentation est une mesure transitoire sur un petit groupe de population défini géographiquement ou sur la base d’autres critères ; elle doit aboutir à une décision politique. L’initiative est mise en œuvre dans des conditions qui permettent d’en évaluer les effets (...) : cela suppose que n’existent pas de biais dans la sélection des bénéficiaires et que ces bénéficiaires soient comparables à un groupe de non bénéficiaires ; cela suppose également que le groupe des bénéficiaires ait atteint une taille critique ; le tout dans l’optique d’une généralisation. » Cf. http://www.experimentation.jeunes.gouv.fr/​IMG/​pdf/​Livre_vert.pdf.
Son conseil scientifique, arrêté le 12 janvier 2012, est présidé par Marc Gurgand. Il définit les modalités d’évaluation des différents programmes thématiques. Il émet des avis et fait des recommandations méthodologiques concernant les évaluations menées dans le cadre des appels à projets ou en dehors. Dans le cadre d’un rapport annuel, il donne son avis sur la qualité scientifique et la pertinence des évaluations des projets mis en œuvre avec le soutien du FEJ.

8Le rassemblement des travaux publiés dans ce numéro fait apparaître que les auteurs ont investi les terrains d’évaluation qui leur ont été ouverts aux côtés des expérimentateurs pour lieu de révélation de leurs préférences. Il apparait aussi que ces « terrains » ont été des lieux de parti pris méthodologiques pour les chercheurs de différentes disciplines autour de la sociologie politique, d’adaptation à des mises en œuvre expérimentales, souvent tâtonnantes, et aussi de véritables créations de savoirs évaluatifs au plus près des expérimentateurs, dans une logique de recherche-action. Le parti pris est l’évitement ou le constat d’impossibilité de mettre en place les conditions de production d’un contrefactuel évaluatif. Le comportement innovant est visible dans le soin apporté à la recherche elle-même sur le contexte et les dispositifs, dans la qualité des analyses longitudinales et dans l’extrême fidélité aux techniques traditionnelles de l’entretien semi-directif.

9En revenant maintenant au thème général de ce dossier, « Qu’apprend-t-on des expérimentations sociales dans le champ des relations formations-emplois ? », les différents articles de ce numéro apportent une série de réponses critiques et informatives.

10De l’article d’Agathe Devaux-Spatarakis, tiré d’une thèse en cours sur l’introduction de la méthode d’évaluation aléatoire contrôlée ou RCT (randomized controlled trial), en France, on apprend, en premier lieu, que l’utilisation de la méthode expérimentale d’évaluation par assignation aléatoire contrôlée a été finalement peu utilisée : 15 % des évaluations, 33 % des projets et 49 % des fonds engagés. D’un point de vue interactionniste, les évaluations RCT sont avant tout enjeu de négociations entre acteurs de la triangulation (expérimentation/évaluation/financement). Cette négociation intervient à trois moments : la conception, la mi-parcours et la fin de l’expérimentation. Sur les trois études de cas qui fondent l’analyse, un seul est présenté « comme un succès », un n’est pas probant et pour le troisième, l’évaluateur n’a pas « préconisé la généralisation ». Concernant la dimension innovatrice, deux logiques sont à l’œuvre, l’une de création d’un nouveau dispositif, l’autre de déploiement de projets existants.

11On apprend également que l’expérimentation sociale constitue une opportunité étonnante d’utilité sociale pour la sphère académique, en l’occurrence et de manière somme toute paradoxale, ici une des disciplines les plus modélisatrices et affichant les ambitions scientifiques (sous la double acception théorique et méthodologique) les plus hautes.
Cet engagement a eu aussi des visées plus prosaïques : « un moyen de réunir des fonds pour les équipes et centres de recherche dans une période de réduction des dotations d’État. »

12On apprend aussi que la mise en œuvre de la méthode groupe test/témoin est complexe et peut heurter les pratiques des professionnels de la RFE, tout en produisant des résultats d’une robustesse modérée, voire contestée par les opérateurs de l’expérimentation. Ceci, au demeurant, peut témoigner de la vigueur des constats évaluatifs, les résultats trop consensuels pouvant prêter à questionnement.

13Au final, la leçon à tirer de cette lecture critique des évaluations basées sur la méthode d’évaluation aléatoire contrôlée renvoie aux différences de temporalités entre production de l’action publique, développement de l’innovation sociale et production d’une connaissance scientifique solide utile aux deux premiers.

14Pour répondre à la question « En quoi les conditions expérimentales sont innovantes pour les acteurs ? », Céline Vivent propose de revenir sur trois niveaux d’interaction : le contexte institutionnel où se développe l’expérimentation (niveau décisionnel), la place de l’expérimentation dans la gamme des interventions du/des porteur(s) de projet (niveau organisationnel) et la relation aux bénéficiaires (niveau opérationnel).

15En rappelant que ces expérimentations et leur évaluation se déroulent « en situation “naturelle” et non en laboratoire », l’auteure dégage un premier enseignement tenant au fait que les leçons de l’expérience se tirent d’abord au plan des relations sociales qu’elle engage. En observant deux expérimentations liées à la problématique de la déscolarisation, l’une dans le champ médico-social et l’autre dans le champ éducatif, elle confirme également le caractère structurant des logiques sectorielles dans la conduite de l’action publique, fut-elle expérimentale, et dans l’abord de la problématique complexe du décrochage scolaire.

16Sur cette dernière dimension, les expérimentations étudiées par Céline Vivent témoignent d’un phénomène social plus large visant à « externaliser la question du décrochage scolaire et tenter de prendre en compte son caractère multidimensionnel », phénomène dont il est encore difficile de mesurer la portée symbolique et pratique.

17Enfin, cet article propose deux enseignements sur la question du décrochage scolaire. Le premier renvoie à la problématique de l’externalisation et pose clairement la question « de la nécessité de la déscolarisation temporaire » pour certains publics décrocheurs. Le second, lié au premier, repose d’une autre manière la question de la temporalité en l’axant sur les besoins et les capacités individuelles, pour souligner l’intérêt de prendre le temps nécessaire dans l’intervention sociale pour construire l’adhésion du bénéficiaire à la remédiation qui lui est proposée. La leçon de ces expérimentations serait ainsi la suivante : c’est au niveau de l’individu que réside la complexité de l’enchevêtrement des causes du décrochage. Faute de dénouer ou a minima de prendre en considération cette complexité, la réussite de l’action publique peut être durablement inefficace.

18Mettant la question de l’importance de la division sectorielle du travail gouvernemental au cœur de l’analyse, Gérard Boudesseul propose d’analyser les 41 expérimentations soutenues par le FEJ, et relatives au décrochage scolaire, à partir des objectifs, instruments et systèmes d’acteurs sur lesquels elles s’appuient.

19De cette lecture inspirée par l’analyse des politiques publiques à la française, on retiendra que l’expérimentation y est présentée comme un instrument « destiné à convoquer les acteurs » et à promouvoir l’innovation même si « cet instrument se superpose à de nombreuses initiatives antérieures qui se sont sédimentées sous le registre de l’innovation ». Les projets ainsi analysés offrent une image de la recherche de solutions à un problème social particulièrement prégnant sur l’agenda politique et opérationnel.

20On en retiendra que la majorité des projets s’inscrivent dans une perspective où l’insertion sociale et professionnelle apparaît comme un sésame immédiatement suivi d’un ensemble de projets destiné à outiller le comptage et le suivi des décrocheurs. En guise d’innovation, on serait en fait dans un phasage assez net avec les préoccupations gouvernementales de repérage et une orientation globale vers la mise en emploi comme remède social à la désaffiliation de la jeunesse.

21Sur le plan des systèmes d’acteurs, les expérimentations témoignent d’un élargissement des acteurs et donc d’une ouverture vers des problématiques considérées comme liées au décrochage (logement, santé, justice notamment). C’est au regard de cette ouverture des perspectives que les changements les plus ostensibles semblent à l’œuvre.

22C’est également sur les ruptures dans le processus de formation que porte l’article de Jean Bourdon, Christine Guégnard et Claire Michot. L’article traite en effet d’un type particulier de décrochage, les ruptures de contrat d’apprentissage, et d’une expérimentation singulière visant à en réduire le nombre. Cette expérimentation sociale visait à introduire une tierce-partie, en l’occurrence un conseiller de mission locale, dans « l’accompagnement des apprentis et des employeurs dès la signature du contrat ».

23Un des constats premiers de cette étude rejoint le propos de Gérard Boudesseul, à savoir que « l’expérimentation a permis de nombreux rapprochements et la (re)connaissance des divers acteurs et institutions habituellement cloisonnés s’en trouve améliorée ». Le propos d’Agathe Devaux-Spatarakis concernant l’adaptation de la méthode de constitution des groupes témoin et test dans le respect de l’éthique professionnelle des opérateurs de terrain trouve également ici un écho.

24Concernant l’appropriation des résultats positifs de l’évaluation, cet article révèle toute la complexité du passage de l’expérimentation à une politique publique généralisée et pérenne. Les enjeux deviennent plus lourds et prégnants, les positions d’acteurs évoluent, se cristallisent au long d’un clivage entre mondes de l’entreprise et de l’éducation avec comme résultat que « au final, la construction d’une représentation commune de l’intervention auprès des apprentis et des entreprises n’a pu être réalisée ». Au cœur de ce clivage se loge un désajustement dans la compréhension du « concept et des motifs » de la rupture aboutissant à une défense bien habituelle de pré-carré par les « parties prenantes » en présence. La décision politique qui en émerge prend alors les allures d’un statu quo destiné à assurer « le maintien d’une relative paix politique », caractéristique des processus de soft gouvernance.

25Au final, la question qui émerge est bien celle de l’impact réel de l’évaluation comme processus d’objectivation des effets sociaux d’une expérimentation, au regard du poids des enjeux stratégiques locaux. Autrement dit, une bonne évaluation ne suffit pas à construire la légitimité nécessaire pour transformer une expérimentation en politique publique.

26L’expérimentation n’est pas que l’apanage du local, c’est ce que nous rappellent Isabelle Borras et Nathalie Bosse. L’expérimentation du Revenu Contractualisé d’Autonomie (RCA) qu’elles analysent constitue en effet une innovation descendante de source législative et réglementaire.

27Ce qui n’est, semble-t-il, en rien une garantie de succès. En témoigne la difficulté à atteindre la cible des 500 bénéficiaires qui se réduira au final à 276 contrats signés !

29Il n’empêche que ce dispositif visant à dépasser un modèle de protection sociale familialiste qui laisse au final les jeunes sans statut propre, a porté ses fruits pour ceux qui en ont bénéficié. Effet d’aubaine d’abord, lié à l’allocation qui a, entre autres, appuyé leur démarche de recherche d’emploi par quelques subsides et un peu d’indépendance. Effet relationnel également que pointent les observations qualitatives des auteures autour du rôle, pour certains décisif, de l’accompagnement à la recherche d’emploi proposé.

30On retrouve donc ici, comme enseignement de premier ordre, l’importance du soutien que les professionnels de l’orientation et de l’intermédiation sur le marché du travail devraient apporter aux individus à risque, fussent-ils injoignables ou peu participatifs.

31Les étudiants sont également la cible du dernier dispositif étudié dans ce dossier. Sous la plume de Philippe Lemistre, Nathalie Beaupère et Nathalie Bosse, la mise en œuvre expérimentale du Portefeuille d’Expériences et de Compétences (PEC) est étudiée au triple prisme de la méthodologie d’évaluation de ce dispositif, de son contexte institutionnel de déploiement et de son appropriation par les bénéficiaires, les opérateurs et les décideurs publics.

32On retiendra du premier niveau que la seule approche de mesure d’impact « ne dit rien en revanche des conditions de production de ces effets et ne répond pas à la question de la transférabilité du dispositif ».

33On apprend que l’importance du portage politique (présidence des universités) sur ou en sus du portage technique (SUIO – Service universitaire d’information et d’orientation) fait la différence et « l’essaimage s’effectue alors dans des proportions sans commune mesure ».

34S’agissant des opérateurs enseignants, la culture professionnelle académique peu tournée vers la préoccupation de l’insertion professionnelle et la logique « compétence » explique une mobilisation en demi-teinte.

35Quant aux bénéficiaires, ils se sont peu approprié un dispositif souvent relégué au second plan des préoccupations face à des performances scolaires surdéterminantes.

36Dispositif d’autant plus relégué que les effets sur l’insertion sont difficilement mesurables du fait d’effectifs là encore trop réduits. Enfin, l’expérimentation PEC, comme le RSA, constitue un exemple intéressant de désynchronisation des temps politiques et évaluatifs. En effet, comme le rappellent les auteur(e)s, l’essaimage du dispositif s’est réalisé sans attendre les résultats de son évaluation et par une « convergence des options politiques des acteurs du réseau PEC, des ministères et services impliqués ».

37Au final, les leçons des évaluations des expérimentations référées ici sont diverses et assez nombreuses. Ceci montre toute la difficulté de produire une action publique de préfiguration d’une véritable innovation sociale transférable à d’autres contextes avec d’autres acteurs. Ce numéro spécial de la Revue Formation Emploi complète ainsi utilement, sur le volet « contextes-choix et usages des outils d’évaluation », d’autres travaux plus institutionnels (dont les rapports publiés sur le site du Fonds d’expérimentation pour la jeunesse) ou académiques ayant choisi d’autres angles de vue ou de mettre la focale sur d’autres outils.

38De nombreux freins à l’expérimentation et à la production de savoir évaluatif ont été ainsi identifiés dans cette série d’articles. Dans la conduite de l’expérimentation, on a pu relever le rôle inhibiteur de la solidité des cloisonnements institutionnels et statutaires, la difficulté à faire face à la complexité des systèmes de gouvernance pluraliste, l’irruption de l’effet « soufflé trop vite retombé » de ces expérimentations qui survivent rarement à la phase expérimentale, les télescopages des agendas locaux et nationaux, et enfin la robustesse des cultures et routines professionnelles.

39Du côté des modalités des évaluations, il est possible de mettre en exergue notamment les concurrences méthodologiques et académiques, la difficulté à constituer des terrains d’observation significative, la force des managers des dispositifs, et la différenciation des temporalités politique, opérationnelle et scientifique.

40Pour autant, le bilan des apprentissages liés à ce diptyque expérimentation/évaluation comporte des aspects positifs. Les controverses scientifiques et méthodologiques sont stimulantes pour la recherche, le retour à des mécanismes de financement de l’innovation ont réintroduit une logique ascendante dans un monde professionnel dominé par les logiques d’achat de prestations, l’innovation a mobilisé et élargi le cercle des acteurs traditionnels sur certains champs d’intervention (le décrochage scolaire notamment).

41Le « moment FEJ » a ancré la question de la vulnérabilité des jeunes sur l’agenda politique. Plus encore, l’expérimentation a fait également bouger les lignes cognitives et a ouvert de nouvelles manières d’appréhender certaines questions sociales.

42Ce dernier point soulève cependant une vaste question sur les pratiques démocratiques. En effet, l’expérimentation permet de prendre des libertés avec les compromis sociaux antérieurs et de déstabiliser les systèmes d’acteurs et instruments traditionnels, et c’est là tout son intérêt.

43Mais la transformation de l’expérience en programme d’action publique suppose en premier lieu d’accorder le temps nécessaire à la mesure des effets de l’expérimentation. La production d’une action publique basée sur la preuve (evidence-based policy) supposerait de laisser le temps à l’administration de la preuve et à l’acculturation aux nouveaux dispositifs nécessaires, ce qui n’est pas toujours le cas.

44Enfin, avant de généraliser et pérenniser une innovation sociale et politique, et tout en s’appuyant sur une production scientifique attestée, il convient également de prendre le temps de la délibération publique sur la construction de nouveaux objectifs partagés, la mise en place d’instruments mieux ciblés et des systèmes d’acteurs renouvelés. Faute de quoi on prend le risque d’institutionnaliser sans délibérer, ce qui peut compromettre gravement la construction de compromis sociaux durables.