1Un objectif explicite des politiques de formation professionnelle est de pourvoir aux besoins en qualifications et compétences que nécessitent déjà ou vont nécessiter dans l’avenir les mutations de l’emploi et des marchés du travail. Elles visent donc à développer aussi bien la formation initiale des jeunes que la formation tout au long de la vie des adultes et des salariés. Ces politiques reposent sur un large consensus entre tous les acteurs de la formation, l’État, les individus et les employeurs (Béduwé & Espinasse, 1995 ; OCDE, 2014), qui voient dans la formation, notamment celle des jeunes, le meilleur moyen de donner aux individus des compétences professionnelles durables qui, au-delà d’une insertion professionnelle réussie, leur permettront d’évoluer et de s’adapter aux évolutions du travail et des organisations. On attend donc des politiques de formation professionnelle qu’elles aient des effets de court, de moyen et de long terme sur la production des qualifications (Askenazy, 2009 ; Lemistre, 2009). Se donner les moyens d’élever le niveau d’éducation général des populations, développer la formation professionnelle, réduire l’échec scolaire et les sorties sans qualifications de nos systèmes éducatifs sont autant de manifestations de ces politiques de formation volontaristes, portées par l’ensemble des pays européens (OCDE, 2013). En dépit de succès incontestables et mesurables en termes de progression du nombre d’individus diplômés ou dotés de certifications professionnelles, force est de constater les échecs en matière d’accès à l’emploi de tous les jeunes : les écarts socio-économiques se creusent entre les moins instruits et les plus instruits (OCDE, 2014), les inégalités sociales demeurent pour l’accès aux filières les plus valorisées (Calmand & Epiphane, 2012), le chômage s’accroît, y compris parmi les jeunes les plus diplômés (Ménard, 2014), et, enfin, la question de la qualité des emplois occupés – contenu du travail, stabilité, salaires, satisfaction… – se pose pour tous les diplômés (Moncel, 2012). Ainsi, il semble que le paradoxe perdure voire s’amplifie : les nouvelles générations, pourtant de mieux en mieux formées, c’est-à-dire formées à la fois plus longtemps et de manière plus professionnalisée, s’insèrent de plus en plus difficilement (Giret, Lopez & Rose, 2005 ; Barret, Ryk & Volle, 2014).

2Ces constats apparaissent comme des dysfonctionnements des politiques de formation professionnelle. Ils interrogent les chercheurs engagés dans l’analyse des relations entre formation et emploi (Gautié & Gurgand, 2006) ou entre éducation et mobilité sociale (Peugny, 2007). Le débat n’est pas tranché entre ceux qui comme Marie Duru-Bellat (2006) voient dans la poursuite de l’élévation des niveaux de formation une inflation des diplômes qui contribue, via le déclassement des jeunes diplômés, à leur dévalorisation sur le marché du travail et ceux qui au contraire, comme Éric Maurin (2007), voient dans le développement de la formation le moyen déterminant pour lutter contre le chômage, l’obsolescence des qualifications et les inégalités sociales. De nombreuses études et recherches sur les relations entre formations et emplois (RFE désormais), en particulier celles qui utilisent les données du dispositif d’observation de l’insertion professionnelle des jeunes du Céreq (Centre d’études et de recherches sur les qualifications), s’inscrivent dans ce débat et tentent d’y apporter leur pierre. Toutes s’accordent pour dire que l’offre de formation est extrêmement diversifiée – y compris la formation professionnelle initiale – et que l’évaluation de l’efficacité d’une politique doit en tenir compte. L’évaluation devient alors relative et nombre d’études s’attachent à montrer que certaines formations atteignent mieux leurs objectifs d’insertion et de réussite professionnelle que d’autres (OCDE, 2013 ou par exemple Calmand, Giret & Guégnard, 2014, pour les formations professionnelles et Ilardi & Sulzer, 2014, pour les formations par apprentissage). C’est ainsi que les enquêtes d’insertion professionnelle, conçues à l’origine pour analyser et comprendre la complexité des relations qui s’établissent entre une formation (ou diplôme ou encore cursus) et le système d’emploi, sont de plus en plus souvent sollicitées pour mesurer la performance de cette formation à l’aune des réussites professionnelles de ceux qui l’on suivie. Ceci dans le but de comparer les formations entre elles, voire de les classer (Epiphane & Jugnot, 2011).

Peut-on mesurer la réussite professionnelle ?

4L’évaluation d’une formation à travers les résultats d’insertion professionnelle de ceux qui l’ont suivie est une évaluation externe au système éducatif faisant appel au fonctionnement du marché du travail. Cette évaluation repose essentiellement sur la théorie du capital humain qui voit la formation comme un investissement que l’individu (avec l’aide de sa famille et de la société) consent à faire dans le but d’accroître les revenus de son travail futur. En modifiant et développant ses compétences, l’individu devient capable d’accomplir efficacement certaines tâches pour lesquelles il accroît sa productivité et donc le salaire reçu et donc le rendement de son investissement. Ainsi, l’efficacité d’une formation se mesure aux rendements privés que les individus vont tirer des compétences acquises en formation. Mais d’une part la relation de causalité éducation-salaire s’avère plus difficile qu’il n’y paraît à vérifier (Gurgand, 2005) et d’autre part le salaire n’est pas le seul critère pour évaluer une formation à travers ses résultats sur le marché du travail (Vincens, 2014).

5Se demander si les résultats d’insertion professionnelle observés sur le marché du travail peuvent servir à l’évaluation d’une formation nécessite de traiter simultanément trois dysfonctionnements majeurs que sont le chômage, la suréducation ou le déclassement et l’inadéquation entre spécialités de formations et spécialités professionnelles. L’explication de ces dysfonctionnements dépend du cadre théorique que l’on se donne pour représenter les relations entre les formations et les emplois. Les différentes théories économiques mobilisables, capital humain, signal, concurrence pour l’emploi et assignement, se caractérisent chacune par une représentation particulière du fonctionnement du marché du travail et allouent un rôle spécifique à la formation dans l’accès à l’emploi. Ainsi, l’éducation accroît les compétences disponibles et donc la productivité du travailleur pour la théorie du capital humain mais ne constitue qu’un signal de sa productivité potentielle ou de ses aptitudes à se former à moindre coût pour les deux suivantes. La théorie de l’assignement considère elle que la productivité du travailleur va dépendre à la fois de ses compétences et des spécificités de l’emploi qu’il occupe. Toutes convergent sur l’idée que la poursuite d’études accroît l’espérance de rémunération du travail futur. Mais aucune n’apporte de réponse à l’ensemble des questions posées (notamment celle sur l’inadéquation entre spécialités de formation et d’emploi) et les réponses elles-mêmes sont parfois contradictoires (Vincens, 2014). Le cadre théorique que l’on se donne est donc essentiel pour expliquer les phénomènes observés, mais, d’emblée, ce choix restreint l’efficacité à certains paramètres de la réussite professionnelle. Il faut donc avancer pas à pas dans l’explication des différences de résultats très importantes observées empiriquement entre les formations.

6L’insertion professionnelle est un processus parfois long, complexe, multidimensionnel, dont la définition même fait débat et dont l’étude repose sur des conventions (Giret, Vincens, Vernières, Rose…). La réussite professionnelle peut être considérée comme l’aboutissement de ce processus et fait également l’objet de choix conventionnels. Réussir professionnellement c’est, par exemple, obtenir rapidement un emploi stable, correspondant à ses compétences professionnelles, dont on tire un revenu élevé et une forte satisfaction. Les dimensions mobilisées ici débordent – sans les ignorer – les indicateurs classiques de chômage, de suréducation et d’inadéquation. Elles mettent en avant la notion de qualité de l’emploi qui est aujourd’hui au cœur des comparaisons et des évaluations internationales des politiques de formation ou d’emploi faites par les économistes (Davoine & Erhel, 2007). Multidimensionnelle, la qualité de l’emploi permet de dépasser l’appréhension strictement quantitative de l’emploi (combien d’actifs occupés à l’issue d’une formation) par une approche plus qualitative des conditions d’emploi et de travail (sécurité, précarité, formation continue…) et même subjective en faisant appel au point de vue des salariés (satisfaction…). Ces nouvelles dimensions de l’emploi, importantes pour évaluer la réussite professionnelle, ne se laissent cependant pas facilement mesurer à l’aide d’indicateurs statistiques (Guergoat-Larivière & Marchand, 2012). Les mettre en œuvre oblige à faire des choix – théoriques et pratiques – qui peuvent conduire à des analyses différentes.

7Pour appréhender statistiquement la réussite professionnelle, il faut disposer de données d’enquêtes individuelles mettant en regard la formation reçue et les conditions d’accès à l’emploi ensuite. On se focalisera ici sur le dispositif de suivi professionnel des sortants de formation initiale développé par le Céreq. Depuis plus de 40 ans, ces enquêtes nationales, longitudinales, portant sur de gros échantillons représentatifs de tous les niveaux de formation, s’attachent à décrire de manière détaillée les parcours de formation et d’emploi en début de carrière.

8Une étape décisive est donc celle du choix des indicateurs pertinents. Ce choix n’est jamais neutre (Lascoumes & Le Galès, 2004). Il suppose d’entrée de hiérarchiser les critères que l’on juge nécessaires pour mesurer l’objectif de réussite professionnelle. La sélection des indicateurs apparaît souvent comme une opération technique, laissée à l’appréciation des experts, alors que leur rôle est déterminant et structurant pour la définition et la mesure de l’objectif. Un des dangers signalés par Salais (2010, p. 512) est celui de la « normativité cachée au sein des batteries d’indicateurs » qui « offre à l’avance une description du monde tel qu’il devrait être, tel qu’il devrait fonctionner ».

9Un exemple est donné par l’évaluation de l’efficacité d’une formation à atteindre sa cible professionnelle. Il s’agit évidemment d’une dimension fondamentale des RFE, celle du rapport entre connaissances acquises en formation et connaissances requises dans l’emploi. Pour ce faire, de nombreuses études empiriques utilisent le taux d’adéquation entre domaine de formation et domaine professionnel (Giret, Lopez & Rose, 2005). Bien que les auteurs de ces analyses se défendent d’une approche « adéquationniste » des RFE (Tanguy, 2002), ces indicateurs y font référence, ne serait-ce qu’implicitement. Selon ce paradigme, et la théorie du capital humain qui le soutient, l’emploi optimal (ou adéquat) pour un individu est un emploi conforme au métier appris qui, seul, permet de rentabiliser l’investissement éducatif. L’efficacité d’une formation est ainsi mesurée par le taux d’emplois adéquats sur lesquels elle débouche. Or toutes les études empiriques montrent que ces taux sont faibles, y compris parmi les jeunes issus de formations professionnelles valorisées par le marché. Ce résultat invalide l’idée qu’il existe un emploi optimal défini a priori. La diversité des emplois occupés à l’issue de toutes les formations est grande et nombre de ces emplois, pris en dehors du domaine de spécialité, s’avèrent qualifiés, de qualité et satisfaisants pour les jeunes (Béduwé & Giret, 2009). Ainsi l’atteinte de la « cible métier » d’une formation s’avère bien délicate à mesurer (Fourcade & Ourtau, 2010) et échappe manifestement au principe de correspondance postulé a priori. C’est pourtant celui qui préside à la plupart des études, témoignant soit de cette « normativité cachée » soit d’un « adéquationnisme méthodologique » indépassable (Frétigné, 2006).

10Reste que l’évaluation du lien entre une formation professionnelle et les emplois auxquels elle conduit est incontournable si l’on veut mesurer son rôle effectif. Béduwé, Espinasse et Vincens (2007), Dumartin (1997) ou encore Chardon (2005) ont proposé une mesure basée sur la concentration des débouchés professionnels pour les premiers, des spécialités de formation pour le dernier, s’affranchissant d’une approche normative a priori. Mais ces indicateurs de concentration, fortement contextualisés, n’ont que peu de valeur intrinsèque. Ils guident utilement l’analyse et la compréhension des relations entre formations et emplois, mais demandent à être associés à d’autres indicateurs pour être interprétés, ce qui complique leur utilisation pour des approches opérationnelles (Pierron, 2011).

11Face à ces difficultés, la tentation est grande de simplifier et de ne retenir que les indicateurs les plus aisés à se procurer, ou les plus faciles à traiter. Salais (2010, p. 510) parle du danger que « les mauvais indicateurs chassent les bons ». Prenons l’exemple de la stabilisation dans l’emploi comme critère d’insertion professionnelle (Vernières, 1997). Une mesure courante de cette stabilité est celle de la proportion de jeunes en emploi à durée indéterminée à l’issue de leur formation. Or Eckert et Mora (2008) ont montré l’existence de situations paradoxales dès lors que l’on croise le statut juridique du contrat de travail (CDD, CDI...) et la continuité de la relation d’emploi (par exemple 18 mois d’emploi consécutifs). Certains jeunes réussissent à se maintenir continûment en emploi en enchaînant des contrats temporaires. Les auteurs mettent ainsi en lumière, grâce à l’exploitation de données longitudinales, l’existence de « zones grises à la périphérie de l’emploi continu » (Eckert & Mora, 2008, p. 45), dont ne rend pas compte l’indicateur simple de « taux de CDI à l’issue de la formation ».

12Posséder des données longitudinales, coûteuses à produire et techniquement difficiles à exploiter, permet également de montrer que les résultats de moyen terme ne confirment pas toujours ceux de court terme. Ainsi Gehin et Palheta (2012) montrent que l’avantage des diplômés de CAP-BEP, comparativement aux jeunes qui ont suivi le cursus sans obtenir le diplôme, tient davantage à leur titre qui leur permet un accès plus rapide à l’emploi (effet de signal dans un marché des emplois d’ouvrier ou d’employé qualifié hautement concurrentiel) que dans l’expertise donnée par leur formation. En effet, à expérience professionnelle identique, les situations professionnelles entre titulaires et non-titulaires du CAP-BEP se rapprochent. Selon ce que l’on décide de choisir comme indicateur, le diplôme ou l’expérience, l’effet du titre ou l’effet de l’expertise acquise mais non certifiée, la conclusion quant à l’efficacité du diplôme de CAP ne sera pas la même.

13Ainsi, plus l’exigence de bien cerner la réussite professionnelle est grande, plus on est tenté d’augmenter le nombre d’indicateurs pour appréhender cette réalité complexe. Mais c’est aussi accroître le risque de produire des résultats contradictoires, comme le montrent les deux recherches suivantes.

14Dans le but de mieux comprendre les comportements des individus sur le marché du travail, les économistes s’intéressent de plus en plus aux indicateurs « subjectifs » faisant référence aux préférences, aux perceptions ou aux attitudes des individus. Béduwé et Dupray (2014) montrent qu’une part importante des jeunes s’estiment mal payés alors même que leur salaire est supérieur au salaire moyen des jeunes dans une situation professionnelle comparable (même type d’emploi, de qualification, de secteur...), et, réciproquement, qu’une part tout aussi significative de jeunes s’estiment bien voire très bien payés alors que leur salaire est objectivement inférieur au salaire moyen d’individus ayant un emploi statistiquement comparable. Ces écarts peuvent s’expliquer par des phénomènes de compensation entre rémunération et conditions ou intérêt du travail. Mais quel indicateur choisir au moment de mesurer la réussite professionnelle ? Le salaire objectif ou l’appréciation qu’en ont les jeunes ? Retenir l’un plutôt que l’autre relève d’un choix qui, même explicité et justifié, simplifie la réalité des attentes en matière de salaire ; ne pas choisir conduit à ne pas conclure.

15De bons résultats mesurés sur un indicateur à l’issue d’une formation peuvent s’accompagner de moins bons résultats sur d’autres indicateurs. La plus classique de ces alternatives est celle qu’on observe entre taux d’emploi et niveau de qualification : les diplômés d’une formation accèdent très rapidement à l’emploi mais une part importante de ces emplois sont non qualifiés (ou sans rapport avec le niveau de diplôme) tandis que ceux d’une autre formation ont un moins bon taux d’emploi mais de meilleures qualifications (par exemple Calmand, Giret & Guégnard [2014] à propos des licences professionnelles qui offrent une insertion plus rapide que les licences générales mais un accès moins fréquent aux emplois de cadre). Dotés du même diplôme et à la recherche des mêmes emplois, les jeunes n’ont pas tous les mêmes opportunités d’emploi (réseaux différents, marché local particulier...) et leurs comportements, leurs priorités mais aussi leurs contraintes diffèrent. L’agrégation de cette hétérogénéité individuelle conduit à une faible corrélation des indicateurs, chacun véhiculant sa part irréductible et parfois contradictoire d’information.

Peut-on mesurer l’efficacité d’une formation ?

16Évaluer l’efficacité d’une formation à l’aune de la réussite professionnelle des individus qui en ont bénéficié, c’est pouvoir dégager le rôle (l’effet propre ou la part de responsabilité) de la formation dans cette réussite. Les facteurs autres que la formation mais susceptibles d’influencer cette réussite sont de fait nombreux. Certains sont repérables dans les enquêtes (le genre, l’origine sociale, le passé scolaire, la nature du parcours de formation, le mode de recherche et d’obtention du premier emploi...), d’autres non (les traits de personnalité, les préférences individuelles mais aussi l’état de santé…). Ont également beaucoup d’importance les caractéristiques de l’environnement économique au moment de l’observation, dont certaines sont connues (secteur d’activité, accès à la formation continue, mobilités...) mais d’autres beaucoup plus difficilement (conjoncture économique locale, modes de gestion sectoriels de la main-d’œuvre, politiques d’emploi en faveur des jeunes…). La recherche d’un effet net s’avère ainsi extrêmement technique, voire irréaliste (Baudelot & Leclercq, 2005). Peut-on au moins dire que le rôle de la formation est déterminant ?

17Une difficulté majeure vient de ce qu’une formation n’existe pas en dehors des individus qui l’ont suivie. Et leur formation (l’ensemble des compétences ou savoirs acquis sur les bancs de l’école ou de l’université) n’est qu’un des éléments du portefeuille de compétences qu’ils vont faire valoir sur le marché du travail, et qui les différencie aux yeux des employeurs. Béduwé et Giret (2005) ont ainsi montré l’impact positif de certains jobs étudiants (travail qualifié, en relation avec les études) sur l’accès à l’emploi ultérieur et les salaires obtenus par les étudiants. Bien que l’objectif de ces activités parallèles aux études soit d’abord financier et que le risque d’un échec universitaire en cas de travail trop intense existe, elles apportent aux étudiants des compétences valorisables sur le marché du travail et/ou l’accès à des réseaux professionnels efficaces. De même, si toute formation professionnelle prévoit une période de stage en entreprise, Giret et Issehnane (2012) ont montré que, à l’issue d’une même formation, les stages longs, bien payés et formateurs ainsi que les stages facultatifs avaient une plus forte valeur professionnelle. Par ailleurs, on ne peut écarter l’hypothèse d’un accès sélectif aux emplois étudiants intéressants ou aux bons stages : ils peuvent être le fait d’étudiants plus performants scolairement, par ailleurs sélectionnés à l’entrée des formations réputées les plus efficaces (certains masters, écoles de commerce ou d’ingénieur). Ne pas tenir compte de ces éléments revient à attribuer à la formation une (part d’) efficacité qui vient en partie d’apprentissages sur le tas et/ou d’une performance scolaire individuelle dont on sait qu’elle est, par ailleurs, le fait des meilleurs profils sociaux (Calmand & Epiphane, 2012).

18Les individus dotés du même diplôme peuvent avoir connu des parcours de formation antérieurs très différents. Ces parcours, extrêmement diversifiés, ne sont pas toujours repérés dans les enquêtes. Quand ils le sont, on montre que leur spécificité (double diplôme, sélection à l’entrée, contrat d’apprentissage...), leur longueur (redoublements, réorientations…) ont un impact propre sur les indicateurs d’insertion professionnelle suffisant pour nuancer significativement l’impact du diplôme (par exemple Dauty & Lemistre, 2010 ; Béduwé & Giret, 2014). Ces auteurs ont par ailleurs montré – sur une population de diplômés de master de sciences – que l’existence d’un projet professionnel précis au moment du Bac avait à son tour joué sur le choix d’un parcours de formation supérieure, notamment les parcours les plus sélectifs, et donc sur la qualité de l’insertion professionnelle ultérieure. Mais le fait d’avoir un projet (ce qui peut témoigner d’une plus forte motivation) avait également assuré une insertion plus cohérente (accès aux emplois d’ingénieurs et emplois scientifiques) à ceux qui ont fait le choix du parcours universitaire classique. Si l’effet propre du master reste déterminant (et notamment sa spécialité), sa mesure est entachée d’interactions projet/parcours qui sont loin d’être négligeables.

19Certaines caractéristiques individuelles telles que le genre (Epiphane, Moncel & Mora, 2011 ; Couppié, Dupray & Moullet, 2012), l’origine ethnique (Brinbaum & Guégnard, 2012), le lieu de résidence (Couppié, 2013)… vont également avoir une influence propre sur l’accès à l’emploi. Ces travaux, nombreux et récurrents, témoignent de pratiques discriminatoires dans l’embauche des jeunes. Ils prouvent à eux seuls que la notion d’efficacité d’une formation à travers les résultats d’insertion ne peut se mesurer que de manière très relative puisqu’elle n’a pas la même valeur pour tous les formés. Pour mettre en évidence ces effets et/ou dégager l’efficacité propre de la formation, les chercheurs utilisent des modèles « toutes choses égales par ailleurs ». Mais ces méthodes ne règlent pas le problème car les biais de sélection et les interactions entre facteurs faussent la mesure des causalités. De plus, ces modèles ne tiennent compte que des variables introduites parce que présentes dans l’enquête. Il s’agit d’un résultat « certaines choses égales par ailleurs » qui ne tient pas compte des variables omises parce qu’inobservées ou inobservables. On sait pourtant que les comportements, les stratégies, les préférences et les contraintes individuelles, les parcours parfois stigmatisants (Lollivier, 2000) vont jouer sur la capacité de chacun à trouver vite un emploi satisfaisant, à bénéficier ou à savoir profiter d’opportunités d’emploi qui sont – elles aussi – inégalement distribuées.

20L’économétrie, pour peu que l’on dispose de données riches, peut cependant aider à produire des résultats étonnants. On citera l’étude menée par Arrighi et Mora (2011) sur la mesure de l’efficacité d’un retour en formation, très rapidement après leur sortie de formation initiale, pour les jeunes en difficulté d’insertion. Pour les jeunes qui accèdent à ces formations « curatives » après avoir connu chômage et inactivité, l’analyse économétrique montre un effet très négatif du passage en formation sur le retour en emploi. Les auteurs expliquent ainsi ce résultat inattendu, en tous cas contraire à la théorie capital humain : « les jeunes les moins dotés socialement, ceux qui disposent de faibles réseaux interpersonnels ou qui peinent à les mobiliser [choses inobservables mais que la technique économétrique permet de “contrôler”] pourraient plus souvent que d’autres mieux dotés sur ces plans-là, avoir recours à la formation pour tenter de répondre à leurs difficultés d’accès à l’emploi. Leur moindre accès ultérieur à l’emploi suggérerait alors que la formation n’est pas parvenue à compenser significativement ce déficit initial “inobservé” de chances d’accès à l’emploi » (Arrighi & Mora, 2011, p. 28). Il ne s’agit donc ni de conclure à la détérioration de l’employabilité de ces jeunes, ni à l’inefficacité de leur formation (que seraient-ils devenus sans elle ?), mais de montrer la puissance des biais de sélection à l’entrée en formation. Et, en conclusion, les dangers d’un discours globalisant et comparatif sur l’efficacité comparée d’actions de formation.

21Si les résultats d’insertion montrent qu’une formation est plus performante que l’autre, il faut, avant de parler d’efficacité supérieure, regarder du côté de la demande et de l’accueil réservé aux jeunes par les employeurs. Ainsi Giret et Moullet (2008, p. 18) ont montré que « le succès d’une formation professionnelle au regard de l’insertion de ses diplômés dépend nécessairement des caractéristiques des emplois et du marché du travail vers lesquels se dirigent les diplômés ». C’est moins alors la qualité de la formation qui est en jeu (la formation est bien pensée et bien construite) que la quantité de jeunes formés (marchés très concurrentiels). Béduwé et Vincens (2011) ont tenté de montrer que l’insertion professionnelle dépendait de la position concurrentielle d’une formation (c’est-à-dire de ses formés) sur le marché du travail. Celle-ci va dépendre tout à la fois de l’offre de formation (rareté et spécificité des compétences offertes par ces formés), des modes de recrutement et de gestion de main-d’œuvre sectoriels (place réservée à ces jeunes diplômés), de la spécificité des marchés locaux du travail (les jeunes ne sont pas totalement mobiles) et enfin de la conjoncture économique. Tous ces éléments contribuent à déterminer les conditions et la qualité d’accès à l’emploi des jeunes issus d’une formation donnée et, par agrégation des comportements individuels, à fixer la position concurrentielle de chaque diplôme sur le marché du travail. Certains diplômes ont ainsi une forte valeur concurrentielle (ils sont très recherchés par les employeurs, sur un territoire et à un moment donnés) quand d’autres auront une valeur plus faible (ils sont pris en second choix). Pour décider si une formation est plus efficace que l’autre, il faudrait être capable de comprendre comment se forme cette valeur concurrentielle, c’est-à-dire sur quels marchés particuliers les diplômés se trouvent.

22Il est donc très difficile d’isoler l’effet « formation » des effets « individus » et « marché concurrentiel ». Si toutes les études s’accordent pour dire que le rôle de la formation est déterminant dans l’accès à l’emploi, il faut garder à l’esprit qu’on n’occupe pas un emploi parce qu’on a telle formation, mais sachant qu’on a telle formation : la formation n’est jamais à elle seule responsable ni des mauvais ni des bons emplois. Ceci fait que le rôle intrinsèque d’un diplôme dans les résultats observés d’insertion professionnelle (et donc sa « valeur » décontextualisée) est difficile pour ne pas dire impossible à dégager.

De l’efficacité à la valeur professionnelle d’une formation

23La mesure de l’efficacité d’une formation à travers ses résultats d’insertion professionnelle est au cœur de l’évaluation d’une politique de formation. Si on peut mesurer l’efficacité, on pourra, en retour, trier et classer les formations afin d’améliorer les performances de celles qui marchent mal et encourager les étudiants à suivre celles qui marchent bien. Cette utilisation, louable pour la gestion des deniers publics, ne se fait pourtant pas si facilement. En effet, les éléments développés dans les deux parties précédentes montrent qu’on ne peut décider de l’efficacité d’une formation sans prendre deux décisions : la première concerne les indicateurs à retenir pour évaluer la réussite des formés, et la seconde la part de responsabilité de la formation dans les résultats observés à l’aide de ces indicateurs. Pour prendre ces deux décisions, il est (sans doute) nécessaire de s’appuyer sur des travaux scientifiques afin de comprendre la relation qui s’établit entre les bénéficiaires de cette formation et les emplois qu’ils occupent. Mais cette condition nécessaire, à laquelle s’attelle depuis quarante ans la recherche sur les RFE, n’est pas suffisante. Il faut également mettre en œuvre un protocole d’évaluation qui va décider si les objectifs de réussite professionnelle assignés à la formation sont atteints : outre l’élaboration d’un cadre d’analyse (ou hypothèses), le choix d’une méthode d’analyse (données et traitement statistique) et la sélection des indicateurs de résultats, il doit proposer une interprétation et la mise en valeur des résultats. C’est-à-dire porter un jugement sur ces résultats. En effet, comme le souligne Perret (2001, p. 17), « le questionnement évaluatif n’est pas motivé par la seule curiosité scientifique : il est sous-tendu par des préoccupations sous-jacentes d’ordre normatif (porter un jugement sur la politique) et opérationnel (contribuer pratiquement à ce que l’action publique réponde plus efficacement aux besoins de la société) ». Par ce questionnement évaluatif, l’évaluateur (l’équipe responsable de l’évaluation, souvent composée d’un réseau d’acteurs) est amené à établir un diagnostic et de ce fait à fixer la valeur professionnelle d’une formation.

24Pour fixer la valeur professionnelle d’une formation, l’évaluateur se sert de son expertise des RFE mais, surtout, d’un système de valeurs de référence (Baslé, 2014). La réussite professionnelle et la qualité de l’emploi sont des valeurs de référence, à définir, et qui vont sous-tendre l’interprétation des résultats. Établir un diagnostic est un travail à la fois technique et savant, qui puise dans les travaux de recherche mais qui prend le risque d’une interprétation. « Car la question centrale de l’évaluation des politiques publiques reste celle de l’interprétation, qui sous-tend la construction, la mise en forme et la délibération des arguments quantitatifs, a fortiori quand on se place à un certain niveau d’agrégation » (Guillaume, 2009, p. 109).

25Ainsi, pour tenir compte de l’aspect multidimensionnel de la qualité de l’emploi, l’évaluateur choisit les indicateurs qu’il juge pertinents (selon le cadre théorique retenu et la représentation du fonctionnement du marché du travail associée). Ces indicateurs seront ensuite hiérarchisés en fonction de ses valeurs de référence, ou celles du commanditaire de l’évaluation : par exemple, 1. le taux de chômage à moyen terme ; 2. le niveau de salaire ; 3. la qualification de l’emploi ; 4. les conditions de travail ; etc. Chaque formation sera ensuite évaluée au vu de ses résultats sur ces indicateurs ordonnés (par exemple : 1. le taux de chômage est acceptable [compte tenu de…] ; 2. le salaire observé est inférieur au salaire attendu [compte tenu de…] ; 3. la qualification n’est pas en relation avec le niveau de la formation ; 4. le taux d’emplois stables est satisfaisant [sachant que…] ; etc.). Le diagnostic porté sur les performances de la formation reflétera ces priorités et le jugement des résultats. Chaque diagnostic conserve une part d’arbitraire. Il est évidemment daté et contextualisé.

26Il se peut que le diagnostic bute sur des résultats contradictoires portés par différents indicateurs. Il est alors tentant d’établir un classement plus systématique des formations, à l’aide d’un indicateur synthétique ou composite. Giret et Moullet (2008) établissent ainsi le degré de professionnalisation d’une formation à partir de différents indicateurs d’insertion professionnelle dûment choisis et justifiés (forte adéquation formation-emploi, faible mobilité en début de vie active, éventail restreint des salaires, importance des compétences acquises en stage…). Pertinent pour sortir d’une vision binaire de la professionnalisation d’une formation, cet indicateur composite est évidemment très dépendant des critères retenus et de leur pondération. Qui plus est, si une formation se trouve être classée devant une autre, on ne peut savoir à quel indicateur attribuer ce score sans revenir aux données de départ. Son utilité pour la préconisation des actions à mener en vue d’améliorer la professionnalisation d’une formation est donc faible.

27Ainsi, l’évaluation à l’aide d’indicateurs multiples oblige à choisir entre, d’un côté, garder un système d’indicateurs cohérent avec la multi-dimensionnalité de l’emploi mais difficile à interpréter et donc complexe à utiliser dans le cadre d’une aide à la décision politique, et, de l’autre côté, utiliser des indicateurs synthétiques qui, tout en permettant de comparer l’efficacité économique des formations, obligent à pratiquer des choix forcément « réductionnistes ». Dans les deux cas, on ne peut fixer la valeur professionnelle d’une formation sans établir des hiérarchies, entre hypothèses, entre indicateurs, entre méthodes, qui toutes reposent sur des choix qui sont autant de jugements de valeur.

Conclusion

28Mesurer l’efficacité d’une formation à l’aune de la réussite professionnelle de ses formés nécessite un arsenal technique répondant à une certaine rigueur méthodologique et un cadre théorique approprié afin de disposer d’indicateurs fiables pour décrire le processus d’insertion sur le marché du travail. Ces indicateurs sont divers et nombreux parce que la durée d’obtention du premier emploi et plus encore la qualité des emplois à l’aune desquels on veut jauger les relations entre formations et emplois sont complexes et multidimensionnelles. Par ailleurs, la recherche des causalités entre ces résultats et la nature intrinsèque de la formation (les savoirs enseignés) n’a rien d’évident, tant les facteurs contribuant à différencier l’accès à l’emploi des individus formés sont nombreux.

29La mesure de l’efficacité économique d’une action de formation est un travail de recherches exigeant, fait de tâtonnements, de résultats partiels, segmentés, parfois contradictoires, toujours sujets à discussion en fonction du cadre théorique que l’on choisit et des outils de mesure que l’on se donne. Il n’existe donc pas de mesure de cette efficacité qui, pour être utile à la prise de décision ou la recommandation politiques, puisse s’affranchir d’un travail d’évaluation des résultats. Ce travail est un travail d’interprétation qui se fait en référence à un système de valeurs. Il vient en plus du travail d’explication des phénomènes observés qui dépend du cadre théorique dans lequel on se place. L’évaluation va permettre de hiérarchiser les résultats observés sur le marché du travail et de décider de la valeur professionnelle d’une formation. Ainsi, aussi rigoureusement que soient construits les indicateurs, leur usage pour une évaluation requiert inévitablement une opération de jugement, comparable à celle que met en œuvre le recrutement d’un salarié (Eymard-Duvernay & Marchal, 1997). C’est à cette condition que la mesure de l’efficacité d’une formation peut servir au pilotage d’une politique de formation, comme un élément parmi d’autres de la prise de décision raisonnée (Ourliac, 2014).

30On est ainsi conduits à l’idée que la connaissance scientifique de l’insertion professionnelle et des relations formations-emplois ne peut conduire à la recommandation pour la décision, contrairement à l’évaluation. La recherche tente de donner forme à la complexité et de l’expliciter, sans se préoccuper des contraintes de la décision politique. L’évaluation, elle, est réductionniste par nécessité, et son travail d’ordonnancement des résultats est au service de la décision dont elle épouse la logique.