Navigation – Plan du site

Expérimenter pour généraliser le Portefeuille d’Expériences et de Compétences à l’université : le sens de l’évaluation

Realize a social experimentation in order to generalize the Portfolio of Experiences and Skills at the University : the meaning of the evaluation
Experimente zur allgemeinen Einführung des « Portefeuille d’Expériences et de Compétences » („Erfahrungs- und Kompetenzbestand“) an den Universitäten: Sinn der Evaluierung
Experimentar para generalizar el Portafolio de Experiencias y Competencias en la universidad: el sentido de la evaluación
Nathalie Beaupère, Nathalie Bosse et Philippe Lemistre
p. 99-117

Résumés

Alors que l’expérimentation du Portefeuille d’Expériences et de Compétences porte sur treize universités au niveau licence, le dispositif a été déployé dans vingt-cinq universités à tous les niveaux, ceci avant la remise d’un rapport final d’évaluation qui devait précéder une éventuelle généralisation du dispositif. Dans ce contexte particulier, l’évaluation associant méthodes quantitative et qualitative permet de proposer un regard critique sur ce type d’expérimentations sociales, et notamment sur les logiques économiques et politiques qu’elles sous-tendent.

Haut de page

Texte intégral

  • 1 Dans cette perspective, nous ne produisons que les principaux résultats. Pour l’ensemble des résult (...)

1L’objet de cet article est d’interroger les méthodes et finalités des évaluations des expérimentations sociales à travers une recherche menée dans le cadre de l’évaluation du Portefeuille d’expériences et de compétences (PEC)1.

2Le PEC est présenté par ses concepteurs comme une démarche et un outil numérique, dont la finalité est d’aider et d’accompagner les étudiants à identifier et valoriser leurs compétences. Ainsi, le PEC a pour objectif de permettre aux individus de valoriser et d’orienter leurs parcours en cours d’études et sur le marché du travail. Sa spécificité repose sur une « démarche réflexive », les étudiants étant invités à mettre en perspective leurs projets, leurs parcours de formation et leurs expériences professionnelles et/ou bénévoles.

3Une autre dimension originale concerne la formation des « accompagnateurs », amenés à former les étudiants à l’usage de l’outil numérique et à les accompagner dans la mise en œuvre de la démarche (cf. encadré 1). Cette formation n’a pas été étudiée dans le cadre de l’évaluation, cette dernière portant sur la seule efficacité du dispositif.

Encadré 1 : Le PEC (le portefeuille d’expérience et de compétences) et la méthode d’évaluation définis par leurs concepteurs
Le Portefeuille d’expérience et de compétences selon ses concepteurs
« L’idée est d’ancrer dans tout le parcours LMD (*) la construction du projet (de formation et professionnel), à la suite de la démarche PPPE (Projet Personnel et Professionnel de l’Etudiant) initialisée en L1 (licence 1)… ceci en apportant à l’étudiant des possibilités de réflexion sur ses acquis expérientiels tout au long de son parcours de formation – puis professionnel ; des possibilités d’actualiser son projet tout au long du LMD ; de meilleures possibilités d’agir et de communiquer sur ses expériences, sa formation, son/ses projet(s). » Très rapidement, la démarche va s’appuyer sur un outil numérique dans le cadre de l’émergence des e-Portfolio, « le PEC doit être accessible sur l’ENT (**) (…) L’étudiant y intégrera toutes ses expériences, actualisera ses compétences, son ou ses projets, et communiquera enfin en exportant « son PEC » ou « ses PEC » (jobs, stages, emplois, formations...) vers les environnements de formation ou professionnels (***). » En outre, « la démarche doit être accompagnée, pour que l’individu s’approprie une méthodologie de l’analyse et de la valorisation des expériences et arrive progressivement à l’autonomie. » (Faudé et Loumé, 2012).
Méthodes d’évaluation préconisées par le FEJ (Extraits du guide de l’évaluateur
« Après avoir défini les objectifs visés par l’expérimentation, il importe de vérifier si ces objectifs ont été atteints en réalisant une étude d’impact (p. 7) » ; « Pour mener à bien ce type d’étude, qui constitue le cœur de l’évaluation, il est indispensable d’adopter une approche quantitative, c’est-à-dire de mobiliser des données statistiques et des moyens de traitement adaptés aux caractéristiques des données » (p. 16).
« Au sein des méthodes quantitatives, qui permettent de se prononcer sur l’efficacité du programme, il y a lieu de hiérarchiser les approches qui peuvent être retenues. Les méthodes les plus fiables, celles qui apportent la mesure la plus précise et la plus robuste de l’impact du programme sur les variables d’intérêt (outcomes), sont les méthodes d’évaluation randomisée. Elles tiennent leur appellation de l’anglais random (hasard, aléatoire). Elles reposent sur l’observation d’un groupe test et d’un groupe témoin qui ne bénéficie pas du dispositif. Les deux groupes doivent être construits en y affectant les personnes au hasard, à l’aide par exemple d’un tirage aléatoire simple dans une liste préétablie. L’affectation aléatoire des personnes est le meilleur moyen de constituer des groupes identiques en tous points, avant l’expérimentation, ce qui permet de mesurer son effet « toutes choses égales par ailleurs. » (p. 5)
« La phase quantitative peut toutefois être précédée d’une phase qualitative, permettant par exemple de repérer dans les propos des acteurs des effets non attendus, qui seront ensuite mesurés (…) Si les méthodes quantitatives ont un fort pouvoir d’objectivation, et sont indispensables pour une approche comparative, elles ne peuvent pas toujours prendre en compte tous les aspects de l’évaluation. L’approche qualitative peut alors être utilisée soit en combinaison avec une approche quantitative, soit dans une démarche d’investigation spécifique » (p. 16) ; « Les méthodes qualitatives... doivent faire l’objet d’une grande rigueur dans leur mise en œuvre, selon un protocole écrit, partagé, et avec des outils soigneusement élaborés, et soumis à validation auprès d’une instance d’évaluation. Dans ces approches faisant davantage appel à la subjectivité de l’évaluateur, le contrôle par cette instance est d’autant plus indispensable » (p. 20).
(*) : Licence, Master, Doctorat.
(**) : Espace numérique de travail.
(***) : Le PEC peut, par exemple, servir de support de présentation lors d’une candidature pour un emploi, un stage, ou une formation.

4Le PEC est initialement conçu, à partir de 2005, par un groupe de travail composé des directeurs de SUIO (Service universitaire d’insertion et d’orientation) de quatre universités (Grenoble 1, Poitiers, Toulouse 1 et 3). C’est dans ce cadre que la démarche est initiée et qu’une première version de l’outil numérique verra le jour. La cooptation via les SCUIO rencontrera plusieurs manifestations d’intérêt qui se concrétiseront en 2009.

  • 2 L’article 25 de la loi généralisant le RSA du 1er décembre 2008 prévoit la création d’un « Fonds d’ (...)

5En 2009, les créateurs du PEC soumettent une proposition d’expérimentation dans le cadre des appels à projet du Fonds d’expérimentation pour la Jeunesse2 (FEJ). L’expérimentation va permettre de développer le PEC dans un plus grand nombre d’établissements. Cette dernière concerne en effet treize universités. Sept vont mettre en œuvre le PEC au cours de l’année universitaire 2009-2010 : Montpellier 1, Paris 12 et Cergy-Pontoise s’ajoutent ainsi aux quatre pionnières. Six autres universités entrent dans le dispositif en 2010-2011 : Bordeaux 1, Bordeaux 2, Lille 1, Toulon, Pau et Valenciennes. Néanmoins, au sein de ces universités, toutes les unités de formation (UFR) ne sont pas concernées, le PEC peut être expérimenté dans une ou plusieurs filières.

6L’expérimentation fait évoluer la gestion du projet avec la nomination de correspondants PEC dans les universités, la formation de nouveaux accompagnateurs, le développement et l’amélioration du site internet, une structuration en réseau avec la création d’un conseil scientifique, d’un Comité d’orientation, et de trois groupes de travail nationaux (ingénierie informatique, ingénierie de formation, ingénierie pédagogique). Dans chaque établissement, les accompagnateurs mobilisés sont formés – le plus souvent par les membres du réseau – à l’outil PEC, à la posture d’accompagnement et à la déontologie liée à une telle démarche.

  • 3 Loi n° 2007-1199 du 10 août 2007 relative aux libertés et responsabilités des universités.
  • 4 Trente-cinq sur un total de soixante-quatorze universités ou soixante-dix-neuf si l’on compte les é (...)

7Parallèlement, le contexte de la loi relative aux libertés et responsabilités des universités (LRU)3, qui introduit, depuis 2007, comme nouvelle mission l'orientation et l'insertion professionnelle des étudiants, contribue à l’essaimage du PEC, non seulement au sein des composantes des treize universités mais en dehors du cadre de l’expérimentation : douze autres universités ont ainsi adopté le PEC de 2011 à 2013, soit près d’une sur deux4.

8Dans ce contexte singulier, l’évaluation de cette expérimentation s’appuie sur une méthodologie mixte, mêlant enquêtes qualitative et quantitative. Cette approche permet d’apprécier les effets du dispositif sur l’environnement (universités, accompagnateurs, etc.), les perceptions et les parcours des étudiants. Cette méthodologie traduit également une posture qui remet en cause une hiérarchie des méthodes au sommet de laquelle se situerait la méthode expérimentale randomisée, méthode qui sous-tend une approche économiciste (première partie).

9Les résultats des différentes phases d’enquêtes ne permettent pas d’attribuer un effet tangible du PEC à partir des indicateurs retenus ; en revanche, ils rendent compte d’une appropriation progressive des finalités du dispositif par les acteurs. Son déploiement demeure néanmoins étroitement lié au portage politique par les instances universitaires, dans un contexte où sa mise en œuvre expérimentale ne le situait pas parmi les priorités de la grande majorité des étudiants et des enseignants (deuxième partie).

10Cette appropriation des objectifs du PEC par les acteurs, dans le cadre d’un essaimage conséquent, alors même que l’évaluation est en cours, interroge les finalités de l’évaluation. Elle illustre aussi ce que certains décrivent comme un mode de gouvernement par les instruments (Lascoumes et Le Gales, 2004), ici, le PEC tel qu’abordé dans l’expérimentation (troisième partie conclusive).

Des limites d’une méthodologie au choix d’une approche mixte

  • 5 Document accessible en ligne http://www.experimentation.jeunes.gouv.fr/IMG/pdf/guide-pour-l-evaluat (...)

11L’évaluation de l’expérimentation PEC doit répondre à certaines préconisations définies dans le « Guide méthodologique pour l’évaluation des expérimentations sociales » (cf. encadré 1)5. Dans le cas des méthodes quantitatives, un degré de confiance supérieur est accordé aux enquêtes randomisées. Les approches qualitatives sont aussi recommandées mais elles restent manifestement subordonnées aux approches quantitatives. Pour les auteurs du guide, ces deux approches répondent à deux principales questions : « Est-ce que le programme délivre les effets attendus ? » (méthode quantitative) et « Comment le dispositif permet d’atteindre des effets ? » (méthode qualitative).

  • 6 Voir Bourgeois (2010) pour une mise en perspective historique de l’expérimentation sociale soutenue (...)
  • 7 « Les données non expérimentales, à quelques exceptions près, ne fournissent pas de résultats suffi (...)

12Ainsi, d’une part, le quantitatif déterminerait seul la validité du dispositif expérimenté. D’autre part, il serait seul à permettre une posture externe de l’évaluateur. En effet, la proximité entre évaluateur et expérimentateur lors des investigations qualitatives (entretiens en face à face, notamment) nuirait à la neutralité de l’évaluateur. De plus, les interprétations des résultats seraient empreintes d’une telle subjectivité qu’il serait nécessaire de recourir à une instance externe pour valider le protocole (cf. encadré 1). La primauté accordée aux méthodes quantitatives paraît aller de soi, les expérimentations initiées par le FEJ s’inscrivant très clairement dans la filiation des travaux d’Ester Duflo6. L’évaluation randomisée via un test statistique à partir d’indicateurs est en effet considérée par l’économiste comme un idéal quasi indépassable7, où les résultats obtenus via les indicateurs constitueraient les éléments « scientifiques » à l’appui d’une éventuelle généralisation du dispositif, décidée par la puissance publique (démarche scaling up, Duflo, 2004).

  • 8 Tous les économistes n’ont pas cette posture, y compris au sein du courant dominant néoclassique ; (...)
  • 9 C’est de la confrontation aux faits observés que l’on peut juger de la pertinence d’une théorie éco (...)

13Or, un usage exclusif de l’approche statistique expérimentale pourrait procéder d’une approche économique radicale où seul le test statistique expérimental est réputé « rigoureux »8, posture inspirée de Friedman pour qui « […] le seul test pertinent de la validité d’une hypothèse [i.e un modèle de la théorie économique] est la confrontation de ses prévisions avec l’expérience » (Friedman, 1995, in Gautié, 2009). Selon Gautié, « Une implication forte de cette posture méthodologique est notamment que, pour un économiste, cela n’a aucun sens d’interroger directement les individus pour essayer d’expliquer leur comportement » (Gautié, op.cit.)9.

14Une approche expérimentale mobilisant uniquement ou prioritairement des indicateurs quantitatifs sous-entend a minima ce type de posture, en supposant une possible préconisation d’une généralisation à partir d’une évaluation test-témoin.

15Or, la principale limite à l’extension d’un dispositif public à partir d’une unique approche expérimentale, via les indicateurs, repose sur le fait que la généralisation se déroulerait dans les conditions de l’expérimentation, sans évolution ni du contexte, ni des normes et représentations sociales. Mais s’il est possible d’identifier les effets du dispositif sur le public avec une comparaison d’un groupe test et d’un groupe témoin, cette méthodologie ne dit rien en revanche des conditions de production de ces effets et ne répond pas à la question de la transférabilité du dispositif, pourtant centrale dans la commande.

  • 10 Karl Popper préconise une approche ou l’empirie se doit d’être fondée sur des protocoles expériment (...)
  • 11 Les indicateurs sont toujours quantitatifs dans une logique coûts-bénéfices, relayée par un modèle (...)

16Si les recommandations du FEJ pour l’évaluation ne s’inscrivent pas dans une posture aussi radicale que celle de Friedman, la priorité accordée au quantitatif souligne l’origine commune de leurs perspectives théoriques et épistémologiques. La méthode expérimentale tend en effet à se rapprocher des « sciences dures », dans le cadre d’un réfutationnisme poppérien10. Les références théoriques qui sous-tendent ces méthodologies sont souvent passées sous silence ; elles sont néanmoins toujours explicites par le choix des indicateurs et leurs interprétations, inscrites dans le courant économique néoclassique (Lemistre, 2013)11.

17On serait tenté de dissocier l’évaluation de dispositifs tel que le PEC d’une approche de type réfutationniste. Mais ce serait, d’une part, faire l’hypothèse que les dispositifs d’évaluation sont « athéoriques ». Ce qui n’est pas le cas, de manière explicite pour le PEC qui s’inspire, selon ses concepteurs, de certains courants de psychologie sociale favorables à une « logique compétence » (Beaupère, Bosse et Lemistre, 2014). D’autre part, même s’il n’y a pas un modèle théorique clairement explicité, les indicateurs eux-mêmes – soit les méthodes d’évaluation préconisées ou retenues – sont souvent révélateurs des hypothèses fondamentales d’une théorie, ce qu’Imre Lakatos (1984) appelle le « noyau dur » d’une théorie.

18Dans ce domaine, si le vaste champ disciplinaire de l’économie néoclassique recouvre des postures parfois éloignées, il conserve, pour toutes les conceptualisations qui y sont proposées, une hypothèse fondamentale : celle d’un marché régulateur à l’aune duquel se déploient des modèles théoriques réfutables. Ainsi, un mode de régulation invariant (le marché) constituerait le principal déterminant du contexte. Le « référentiel global » au marché est de fait largement invoqué par les politistes pour la méthode expérimentale reposant sur des indicateurs économiques (Muller, 2008). Ce référentiel est qualifié, par certains sociologues et politistes, de néolibéral dans le cadre du new public management et considéré comme un construit social historiquement situé (Jobert, 1995, notamment).

  • 12 Les deux courants (structuraliste et constructiviste) ne sont pas nécessairement antagonistes. Par (...)
  • 13 Pour des développements sur ces aspects épistémologiques, voir Gautié (2009) et Lemistre (2013).

19Pour les sociologues, le contexte est premier (structuraliste) ou/et résulte des jeux d’acteurs12. Dans les deux cas, c’est un construit social. Par exemple, pour l’approche constructiviste, le social est « une construction élaborée par des acteurs et non une réalité objective en soi, ni un produit de rationalités subjectives pour soi » (Dubar, 2010). Sur le plan empirique, privilégiant une approche compréhensive des phénomènes sociaux, cette posture revendique que le qualitatif prime sur le quantitatif. Dans ce cadre, un dispositif public tel que le PEC n’a alors de sens que resitué dans ses contextes (celui de sa genèse, de son expérimentation et de son éventuel essaimage) via une approche au moins en partie qualitative13. Le rôle des différents acteurs est alors central : « En déplaçant le regard sur les pratiques des opérateurs, [est transformé] en objet de recherche ce qui n'était qu'un “biais” dans le modèle expérimental, à savoir la diversité des intérêts poursuivis (…) et des moyens mis en œuvre. » (Gomel et Séverin, 2009, p. 24)

20L’équipe d’évaluation pluridisciplinaire (sociologie et économie), considérant le contexte et les jeux d’acteurs comme des éléments essentiels, a donc privilégié une approche compréhensive, l’évaluation combinant investigations quantitatives et qualitatives (cf. encadré 2). La méthode test-témoin a été mobilisée aux côtés d’investigations qualitatives.

21L’évaluation se déroule parallèlement à la mise en place du PEC dans les treize universités. Elle concerne donc un dispositif en cours de développement. Elle a produit des informations au fil de l’expérimentation, en partie restituées lors des comités de pilotage (résultats intermédiaires validés). Plus qu’une évaluation qui conduirait à préconiser une généralisation, les résultats intermédiaires peuvent remettre en cause le dispositif PEC ou accompagner un « essaimage » de ce dispositif.

22Au regard de ces constats et positions, il semble qu’une expérimentation d’un dispositif devrait être évaluée sur plusieurs périodes, voire en continu. Les effets observés en cours de mise en œuvre ne sont souvent pas les mêmes que ceux observés après une appropriation du dispositif par tous les acteurs. Les temporalités sont une donnée importante du contexte.

23La méthodologie retenue a permis d’évaluer les résultats du dispositif avec une approche qui mobilise des indicateurs d’usage plus que d’impact (perception et appréciation des aides proposées par l’université : service insertion des étudiants, TD (travaux dirigés) projet professionnel, TD orientation, etc…, cf. tableau 1). Quant au contexte institutionnel et aux jeux d’acteurs, ils ont été examinés pour tenter de mieux saisir les enjeux locaux de l’expérimentation dans les établissements et mettre en évidence l’ancrage institutionnel du PEC, ses contraintes et opportunités associées. L’évaluation s’est articulée autour de plusieurs champs d’investigation complémentaires. Elle s’est intéressée à trois groupes d’acteurs : les porteurs du PEC à l’université, les enseignants et les étudiants (cf. encadré 2).

Encadré 2. Méthodologie de l’évaluation
Les onze membres de l’équipe d’évaluation, économistes et sociologues, sont tous rattachés à un Centre Associé Régional (laboratoires universitaires et/ou CNRS) du Céreq (Centre d’études et de recherches sur les qualifications), institution évaluatrice (*).
Avant son expérimentation financée par le FEJ (Fonds d’expérimentation pour la jeunesse), le PEC (portefeuille d’expériences et de compétences) a été testé à petite échelle, dans des disciplines et niveaux de formation parfois différents (L ou licence et/ou Master et/ou Doctorat et/ou IUT et/ou VAE (respectivement Institut universitaire de technologie, Validation des acquis de l’expérience). C’est le cycle de formation commun aux treize universités de l’expérimentation, le L général (L1, L2 et L3), qui a été retenu pour observer les effets du PEC.
L’évaluation s’articule autour de trois volets complémentaires :
Le premier volet « institutionnel » est destiné à mettre en évidence les conditions et modalités de mise en œuvre du dispositif PEC, au sein d’une variété de disciplines et formations universitaires. La méthode consiste en une collecte d’informations et 36 entretiens conduits dans les 13 sites universitaires auprès des principaux acteurs concernés (élus et directions d’établissements, SCUIO (Services communs universitaires d’insertion et d’orientation) et éventuellement services informatiques, porteurs de projet locaux, principalement). Ce volet s’est enrichi d’une mise en perspective par le point de vue de neuf membres des Conseils d’Orientation et Conseil scientifique du réseau PEC : experts du conseil scientifique, universitaires (4) et représentants de la Délégation à l'information et à l'orientation auprès du Premier ministre (DIO - 1) et ministère de l’Enseignement supérieur et de la Recherche (MESR - 4).
Le deuxième volet étudie la manière dont les accompagnateurs s’approprient et diffusent le dispositif et s’appuie sur 37 entretiens semi-directifs menés en 2010 et 2011. Ce volet apporte, entre autres, des éclairages sur le profil des accompagnateurs (statuts et disciplines). Il vise aussi à caractériser la nature, les modalités (type de module, notation) et l’intensité de l’accompagnement.
Le dernier volet concerne les étudiants et évalue l’impact du PEC sur la construction des parcours d’études et professionnels, selon ses deux finalités : améliorer l’orientation en cours de cursus (afin notamment d’éviter le décrochage), préparer et accompagner l’insertion professionnelle (construire son projet professionnel, aide à l'orientation ou à la réorientation). Ce volet se compose d’une enquête qualitative auprès d’étudiants participant au dispositif et d’une enquête quantitative auprès d'un large échantillon d’étudiants.
- 50 entretiens semi-directifs ont été menés auprès d’étudiants inscrits dans le dispositif. Il s’agit notamment d'observer la mise en place et l'accompagnement effectif du PEC auprès des étudiants et d'apprécier les modalités d'appropriation de la démarche et les usages de l'outil numérique, ainsi que leur intérêt pour un tel dispositif.
- une enquête par questionnaires en deux vagues auprès d'un échantillon de 6 000 étudiants de licence générale a été réalisée en mars 2011 et mars 2012 (**). L'objectif est de procéder à la comparaison « d'indicateurs » construits à partir des questions posées aux étudiants, entre deux populations identiques en termes de filières de formation : un groupe test (bénéficiaires du PEC) et un groupe témoin (non bénéficiaires). Des questions spécifiques étaient posées au seul groupe test afin de connaître son opinion sur l'outil numérique et la démarche d'accompagnement. Les interrogations de 2011 et 2012 ont permis de recueillir respectivement 2 413 et 2 293 questionnaires à répartir en parts quasi égales entre groupe test et témoin. Les résultats produits ici concernent l’échantillon empilé des deux enquêtes (2011 et 2012), soit les 13 universités qui ont pu être test ou témoin selon la présence ou non du PEC dans chaque niveau et spécialité. Les questionnaires exploités concernent 4 714 étudiants répartis à égalité entre groupe test et groupe témoin.
Les enquêtes ont été co-traitées entre le Céreq et les Observatoires des 13 universités participant à l'expérimentation. L'homogénéité des modes opératoires était assurée par un cahier des charges, établi avec les observatoires.
Les étudiants du groupe test bénéficiaires n’ont pas été tirés aléatoirement au sein des universités. Ce sont les responsables de formations (UFR – unité de formation par la recherche) qui ont le plus souvent été sollicités et qui ont accepté de mettre en place le dispositif. Le groupe témoin a été constitué par appariement (niveau et spécialité), et les étudiants de ce groupe ont été choisis aléatoirement. La méthode n’est donc pas randomisée, même si la sélection des bénéficiaires peut être considérée comme pseudo-aléatoire (cf. argumentaire et test de biais de sélection, rapport d’évaluation PEC). Cette méthode est en tout point comparable à celle mobilisée pour l’expérimentation du revenu de solidarité active (RSA). Elle est, selon certains (Allègre, 2010, notamment), le meilleur compromis possible pour une expérimentation dans le champ du social où la randomisation est difficile à mettre en œuvre. En effet, une sélection aléatoire des bénéficiaires n’est souvent pas du tout envisageable, la mise en œuvre d’un dispositif ne pouvant être imposée, mais soumise à la bonne volonté de chefs de services, directeurs d’UFR responsables de formation, par exemple pour le PEC.
Filière, niveau, université
Les niveaux concernés sont L1, L2 et L3. Les filières concernées : AES (Administration économique et sociale), Economie, Biologie, Droit, Géographie aménagement, Informatique mathématiques et mécanique, Biologie, Physique chimie, Sciences de l’ingénieur, STAPS (Sciences et techniques des activités physiques et sportives), Langues étrangères appliquées, Psychologie (sciences de l’éducation), Sociologie.
Nous n’évoquons que très partiellement, dans cet article, les différences entre spécialités et niveaux, l’objet de l’expérimentation étant le déploiement d’un dispositif censé être généralisable à toutes les filières et tous les niveaux. La méthode test-témoin répond à cette demande. A noter néanmoins, les résultats sur les indicateurs persistent par ailleurs, quel que soit le niveau, d’une part, et les investigations toutes choses égales par ailleurs ont été réalisées en plus du descriptif, d’autre part. Les différences apparaissent plus marquées entre spécialités qu’entre niveaux. Les investigations statistiques dans ce domaine ont été limitées par les effectifs pour certaines spécialités. Quant aux effets universités, ils sont très liés aux spécialités.
Pour le détail de l’ensemble des résultats, voir Lemistre (2014).
(*) : Le présent article doit évidemment beaucoup au travail de tous pour la partie empirique, les autres éléments restent de la seule responsabilité des rédacteurs.
(**) : Une dernière enquête a été réalisée en mars 2013 auprès de bénéficiaires uniquement mais ne fait pas l'objet de cet article. Il s’agissait de saisir quelques évolutions. Les constats effectués ne remettent en cause aucun résultat produit ici.

Portage politique et mobilisation des enseignants : l’influence du contexte institutionnel

24Les entretiens réalisés auprès des porteurs de projet en début d’expérimentation révèlent que certaines universités ont déjà fortement investi la dimension de l’aide aux étudiants en matière d’insertion, et le PEC y fait déjà l’objet d’un développement conséquent. En revanche, d’autres établissements cherchent à adapter leur organisation (mise en place des TD, mobilisation des accompagnateurs).

25Dans ces phases de démarrage, la mise en œuvre du PEC s’appuie essentiellement sur des « convaincus » de l’importance des questions liées à l’insertion professionnelle des étudiants. Pour les autres, les initiatives sont de fait plus variées et plus réparties dans le temps. Toutefois, le portage politique au sein de l’Université, nécessaire pour le développement du PEC, n’est pas toujours acquis ni en début d’expérimentation (2009), ni à la fin pour certaines (2013). De plus, au sein d’une même université, la réception du projet PEC peut varier selon les disciplines et les unités de formation et de recherche (UFR).

26Ce portage politique peut se traduire de manière très institutionnelle : le PEC est inscrit dans le PRL (plan réussite en licence), le schéma directeur du BAIP (bureau d’aide à l’insertion professionnelle), le plan quadriennal ou les maquettes de formations. Pour autant, cet « affichage » n’est pas suffisant et les responsables (UFR, vice-présidents et/ou présidents) doivent porter un intérêt particulier au dispositif afin que son développement soit favorisé.

  • 14 Chiffre de la base de sondage « connectés » (au moins une fois avec compte ENT) pour les trois enqu (...)

27Deux situations illustrent ces options : l’une où l’université compte un membre fondateur du réseau PEC et fait partie des quatre premières impliquées (2005), et l’autre où l’université est entrée seulement au début de l’expérimentation (2009). Dans les deux cas, le PEC est inscrit dans le quadriennal et dans les maquettes des filières concernées. Mais dans la première université, le soutien de l’équipe présidentielle est faible (pas de vice-président ou de directeur d’UFR directement impliqué, le PEC est uniquement porté par le responsable du SCUIO) alors que dans la seconde, la présidence soutient le dispositif (le président est membre de la commission formation et insertion de la conférence des Présidents d’Université, et un vice-président est maître de conférence responsable du projet PEC). Au sein de l’établissement, l’essaimage s’effectue alors dans des proportions sans commune mesure. En témoigne le nombre d’étudiants connectés à l’outil numérique. Pour la première année d’expérimentation 2009-2010, le nombre de connectés est respectivement de 262 et 340. Pour l’année 2011-2012, ces chiffres sont respectivement de 491 et 4 71814. Cet aspect institutionnel du développement du PEC aurait échappé à une unique investigation test-témoin sur des effectifs constants.

28Quelles que soient l’université et l’ampleur de l’essaimage, le volume d’heures consacrées au PEC demeure néanmoins souvent restreint, entre 3 h et 10 h de face à face pédagogique, sous la forme de TD, parfois au sein de modules d’enseignement préexistants autour du projet professionnel de l’étudiant. La formule est donc celle d’un accompagnement « collectif » dans un cadre relativement « scolaire ». Elle constitue une première sensibilisation ou formation au PEC, plus qu’un véritable accompagnement individuel : « Pour le moment, c’est une amorce on va dire, une première présentation, une première réflexion. » (accompagnateur SCUIO – Service commun universitaire d’information et d’orientation), « Je ne trouve pas que j’ai eu vraiment le temps de jouer mon rôle d’accompagnateur, mais j’ai plus eu l’impression de donner des fiches à remplir au départ et ne pas avoir eu le temps d’accompagner. » (accompagnateur enseignant-chercheur), « Le PEC manque d’accompagnement. » (étudiant). En outre, accompagnateurs et étudiants mettent en évidence l’absence d’accompagnement hors TD, notamment via la plateforme numérique d’échange. Pourtant, le projet initial revendique un tel suivi et l’espace échange a été largement développé dans les versions successives de l’outil, manifestement sans qu’il en soit fait usage pendant la période d’expérimentation.

  • 15 Les autres sont des PRCE et des PRAG (professeurs certifiés et professeurs agrégés affectés dans l’ (...)

29Concernant les accompagnateurs à la démarche, à la rentrée 2011, pour les treize universités, les enseignants représentent encore moins de la moitié des accompagnateurs, avec seulement un tiers d’enseignants-chercheurs15, alors qu’ils sont désignés comme les intervenants à privilégier pour le développement du PEC par le porteur de projet. Leur mobilisation se heurte en effet au manque d’intérêt de la grande majorité d’entre eux pour les missions d’orientation et d’insertion professionnelle. De plus, la faible valorisation de l’accompagnement des étudiants dans les activités et carrières des enseignants-chercheurs ne les incite pas à s’investir dans ces « nouvelles fonctions ». Voici par exemple ce qu’exprime un accompagnateur : « Le problème, je pense, en moyen humain enfin, c’est la valorisation de ce genre de travail. Nous, il n’y a aucune valorisation, à part personnelle (…) Etant donné qu’on est simplement, on est uniquement jugé par notre caractère recherche. » (accompagnateur enseignant-chercheur)

30Dans les faits, l’accompagnement au PEC est l’affaire de tous les personnels de l’université, et particulièrement des personnels des SCUIO qui attendent un investissement plus important des enseignants : « Si ça se développe, on revient toujours à la même question, il faut que les enseignants deviennent vraiment accompagnateurs du PEC (…) Donc il faut à un moment donné, il faut que les enseignants se mobilisent et acceptent d’encadrer, comme ils le font pour le PPE (projet professionnel encadré) d’ailleurs. » (accompagnateur SCUIO)

  • 16 Les formateurs membres du réseau PEC font partie des initiateurs du projet. Les universités qui adh (...)

31S’ils sont parfois peu impliqués, la formation dispensée par les membres du réseau PEC16 permet néanmoins de sensibiliser les enseignants aux problématiques de l’orientation et de l’insertion via l’approche compétences, comme l’explique l’un d’eux : « Je considère que c’est un outil excellent pour l’étudiant, et aussi excellent pour les enseignants pour penser en termes de référentiel de compétences. C’est vraiment une formation intellectuelle de voir son diplôme, sa formation aussi avec ces références-là, ce qui automatiquement donne une dimension d’insertion. » (accompagnateur enseignant-chercheur). Bien qu’ils ne se considèrent pas comme des spécialistes du PEC, ils déclarent que leur métier « s’enrichit » – ou se diversifie – avec l’accompagnement des étudiants, même si certains soulignent leur professionnalité limitée dans ce domaine. La difficulté à accompagner des démarches réflexives est parfois évoquée : « Tout le monde était débutant (…) moi je n’ai jamais fait non plus de projet professionnel. », « On n’avait jamais fait ce genre de choses. », « Les échanges ont porté sur des questions très personnelles, ça a un peu dérapé. » (accompagnateurs enseignants-chercheurs).

Appropriation partielle du PEC mais sensibilisation aux finalités de la LRU

32Du côté des étudiants, les entretiens montrent que certaines dimensions de l’accompagnement sont parfois critiquées : démarche indiscrète pouvant relever de l’intrusion dans la vie personnelle, manque de compétences des accompagnateurs sur le volet professionnel (méconnaissance des métiers, notamment). « Je n’avais pas spécialement envie de raconter ma vie. Ils nous demandaient de raconter des événements personnels », « Je m’attendais à ce que le prof apporte des informations sur les métiers mais il n’a pas pu le faire » (étudiants bénéficiaires du PEC).

33Pour autant, les séances PEC sont appréciées positivement car elles apparaissent en rupture avec les enseignements traditionnels et favorisent la mise en œuvre de nouvelles méthodes (parler de ses expériences, de son parcours, etc.) : « C’était intéressant d’être en petits groupes, de partager des connaissances… », « On a vu qu’on pouvait tirer des compétences des expériences. » (étudiants) Le PEC est également prisé comme source d’informations (il contient, par exemple, des informations pratiques pour préparer une candidature dans le cadre d’une recherche d’emploi, de stage, etc.,).

34Globalement, l’appropriation du PEC par les étudiants semble limitée. S’ils ont retenu certaines actions (travail sur le CV, lettres de candidatures, etc.), l’objectif général du dispositif – notamment en termes d’insertion professionnelle – leur échappait encore lors des entretiens. L’enquête par questionnaire montre que l'intérêt principal de la démarche PEC réside, selon les étudiants, dans l'évaluation de leurs compétences (53 % pour les deux enquêtes compilées module bénéficiaires), la réalisation de CV (40 %), et l'auto-évaluation (56,5 %). Le dernier aspect souligne l’effectivité d’une démarche réflexive. En revanche, ils ne sont qu'une minorité à le trouver intéressant pour trouver du travail ou choisir sa formation, comme s'ils ne voyaient pas (ou pas encore) le lien entre ces « bilans de compétences » et leur utilité future. La plupart d’entre eux ont une vision à court terme et utilitariste de la démarche ; de même, nombreux sont ceux qui n’ont pas jugé utile de consulter le site après les séances PEC, « on passe à autre chose de plus important » (étudiant).

  • 17 Alors que ces étudiants se sont tous connectés (depuis leur compte ENT) au moins une fois à l’outil (...)

35Les résultats quantitatifs interprétés à l’aune des entretiens réalisés suggèrent que le PEC n’est pas une préoccupation principale des étudiants interrogés en mars 2011 (PEC 2009-2010) et 2012 (PEC 2010-2011). Ainsi, un quart de l’ensemble des bénéficiaires interrogés ont oublié le PEC17 (compilation des deux enquêtes module bénéficiaires), et deux tiers déclarent l’avoir utilisé uniquement en TD, ce qui illustre le caractère scolaire de la formation au PEC évoqué plus haut. Pour autant, malgré ces limites, un jeune sur deux a jugé le PEC utile et plus de 10 % l’ont utilisé en dehors du cadre universitaire (stage, emploi étudiant, job d’été, etc.). Les comparaisons entre groupe test et groupe témoin sur l’ensemble de l’échantillon clarifient le rôle des formations au PEC (cf. tableau 1).

36Même si nous ne reproduisons ici que le résultat global pour les treize universités issues des deux vagues d’enquêtes, il est important de souligner que les résultats pour les indicateurs sont totalement convergents entre les deux enquêtes, alors que les spécialités et les niveaux n’étaient pas représentés dans les mêmes proportions (les sciences et le niveau L1 dominent dans la première enquête, les sciences humaines et sociales et le niveau L3 sont nettement plus importants dans la seconde enquête).

  • 18 Les étudiants du groupe témoin ont donc été tirés au hasard mais seulement parmi les étudiants prés (...)

37Les effets de l’expérimentation sur le public bénéficiaire indiquent que le taux de poursuite d'études des étudiants ayant bénéficié du dispositif est supérieur (cf. tableau 1, +2,3 %) à celui des étudiants du groupe témoin. Cet écart porte néanmoins, d’une part, sur un taux général de poursuite d'études très élevé (93 %), qui s’explique notamment par le fait que les formations PEC étaient très souvent dispensées au second semestre, la plupart des étudiants décrocheurs avaient donc déjà quitté l’université18. D’autre part, rien ne permet d'assimiler ce (léger) surcroît de poursuite d'études à un effet du PEC sur un éventuel décrochage d’étudiants qui peut intervenir pendant l’année en cours (n + 1 par rapport au PEC). Cette finalité du PEC ne peut donc être totalement avérée.

38De plus, en raison de ces forts taux de poursuite d'études, les étudiants sortants étaient trop peu nombreux pour que l'on puisse évaluer un quelconque effet du PEC sur leur insertion professionnelle. En revanche, il apparaît très clairement que les bénéficiaires du PEC sont davantage sensibilisés aux thématiques d’insertion et d’orientation et perçoivent mieux les aides apportées par l’université dans ces domaines (particulièrement l’aide au bilan de compétences ou à la réalisation de CV). Les TD spécifiques proposés par les universités (TD projet, TD insertion et TD orientation) sont également plus souvent jugés utiles par ces étudiants. Enfin, les bénéficiaires du PEC sont davantage satisfaits de leur parcours d’études. Le PEC permet donc de sensibiliser accompagnateurs et étudiants aux finalités de la LRU. Néanmoins il ne s’agit pas d’un des objectifs premier du PEC qui sont, pour rappel, l’amélioration de l’orientation, l’aide à la construction des projets professionnels au sens large (dont stage et travail étudiant) et l’insertion (cf. tableau 1).

  • 19 Méthode bootstrap : les sous-populations sont des tirages (pseudo aléatoires) des vraies population (...)

Tableau 1 – Significativité des indicateurs (méthode par bootstrap19 : 1000)

Années (4 714 étudiants)

2009-2010 + 2010-2011

Indicateurs par groupe (1)

Groupe test

Groupe témoin

t

Poursuite d'études n+1

95,6 %

93,3 %

3,41

Satisfaction générale sur le parcours d'études (1)

87,2 % (*)

82,8 %

4,04

Changement de spécialité année n + 1

20,9 %

21,3 %

0,34

Perception des services universitaires (2)

( % très utile ou utile)

 

Aide CV

41,6 %

21,5 %

14,46

Aide au bilan de compétences

33,9 %

18,3 %

11,74

Connaissances débouchés professionnels

24,4 %

21,2 %

2,55

Choix de la formation

21,1 %

17,1 %

3,27

Aide réorientation

13,1 %

11,0 %

2,07

Construction projet professionnel

35,2 %

27,9 %

5,12

Contacter entreprises

10,2 %

8,4 %

2,11

Obtenir un stage

11,3 %

11,6 %

0,29

Appréciation des services universitaires (2)

 

Services orientation

41,3 %

41,3 %

0,00

Services insertion

17,8 %

15,0 %

2,52

Service de stage

18,4 %

(3) 23,4 %

4,03

TD projet pro

49,3 %

39,9 %

6,18

TD Insertion

22,0 %

17,1 %

4,06

TD orientation

29,4 %

24,1 %

3,91

(1) Les t de student en gras indiquent que l’écart entre groupe test et témoin est significatif au seuil critique de 1 %.
lire par exemple : (*) : 87,2 % des étudiants qui ont bénéficié du PEC sont satisfaits de leur parcours d’études contre 82,8 % des non-bénéficiaires. L’écart de 4,4 % (87,2-82,8) est significatif.
ce résultat interroge et n’a pas été clarifié par les entretiens. Nous pouvons faire l’hypothèse que la démarche PEC a pu se substituer à l’intermédiation du service des stages, jugée alors moins utile par les bénéficiaires du PEC.
Note : Questions posées aux groupes test et témoin : (1) « Au cours de l’année 2009-2010, votre université vous a-t-elle proposé une aide pour (plusieurs réponses possibles) » : réaliser votre CV, choisir votre formation, etc. ? » (2) « Les services et outils mis à disposition par l’université vous ont-ils été : (très utiles, utiles inutiles, ne connaît pas, n’existe pas) : Services orientation, services insertion, etc. ». Pour cette dernière question est reproduite ici la codification 1/0 avec 1 = très utile ou utile. Les alternatives (échelle) fournissent des résultats similaires mais moins lisibles.

Conclusion

Le PEC, un instrument au service d’une certaine vision de la relation formation emploi ?

39Si le PEC n’apparaît pas au centre des priorités des étudiants et des enseignants, il a néanmoins permis de les sensibiliser aux questions liées à l’orientation et à l’insertion professionnelle. Le contexte de la LRU a contribué à l’essaimage du PEC parallèlement à l’expérimentation. Durant cette période, le PEC est développé dans plus d’une université sur quatre, puisque certains établissements ont vu l’opportunité de se doter d’un outil « clé en main » à proposer à leurs étudiants, alors que les outils ad hoc étaient rares.

  • 20 Ces aspects sont développés dans Beaupère, Bosse et Lemistre (2014).

40Au-delà de l’intérêt d’une recherche appliquée en soi, les résultats produits par l’évaluation et l’essaimage du PEC à grande échelle en cours d’expérimentation interrogent le PEC comme instrument d’une politique publique retranscrite dans la LRU. Le PEC peut être appréhendé comme un instrument d’action publique, qui propose une lecture de la problématique à laquelle il est censé répondre dans le cadre des objectifs économiques plébiscités par le commanditaire à travers la méthode test-témoin. Or, « l’instrument induit une problématisation particulière de l’enjeu dans la mesure où il hiérarchise des variables et peut aller jusqu’à induire un système explicatif (…) [selon] G. Bachelard les instruments techniques peuvent être considérés comme la concrétisation d’une théorie » (Lascoumes et Le Galès, 2004).20

  • 21 Les différents acteurs, s’ils demeurent dans cette logique, l’abordent néanmoins de manières différ (...)

41De fait, le dispositif PEC privilégie une certaine lecture de la problématique de la formation des étudiants et de leur insertion professionnelle. Pour la plupart des acteurs de ce projet, la finalité du PEC réside dans l’ajustement – et la valorisation – des compétences acquises par les jeunes à celles requises par les employeurs. Cette logique dite de l’offre – qui plus est traduite par un outil destiné à tous – semble être la seule lecture envisagée pour problématiser et solutionner les questions d’entrée dans la vie active des jeunes diplômés. Le PEC tel qu’il est expérimenté, essaimé et tel qu’il aurait été évalué par la seule méthode randomisée (test-témoin) contribue à cette lecture autant qu’il la crée21. A contrario, l’évaluation a préservé une approche compréhensive de la démarche, de ses modalités d’usage et des perceptions des individus. Les finalités économiques du PEC et sa légitimité n’étaient pas considérées comme « allant de soi ». En effet, dans la perspective de certains sociologues du travail, le rôle du système éducatif pour qualifier les individus sur le marché du travail interroge, car « octroyer à l’école des objectifs de qualification revient à nier que la qualification est d’abord un rapport social, à désigner l’école comme principale responsable du chômage, du déclassement et plus largement de la (re)production des inégalités » (Tanguy, 1986, p. 56). Dans ce cas, rejeter une quelconque responsabilité de l’école dans les phénomènes de chômage et de déclassement pour les imputer, soit à des mécanismes de différenciations sociales, soit à des causes macro-économiques extérieures au système éducatif, induit que l’approche compétence à l’université pourrait être perçue comme le renforcement d’un système de tri (Gamel, 2000), système au service des employeurs, susceptible d’amplifier certaines inégalités scolaires (Lemistre et Kergoat, 2014).

42Or, la poursuite et la réussite de l’essaimage du PEC (plus de vingt-cinq universités en 2013) semblent avoir davantage été soumises à la convergence des options politiques des acteurs du réseau PEC, des ministères et services impliqués, qu’aux résultats de l’évaluation, un cas très proche de l’expérimentation du RSA d’ailleurs (Gomel et Séverin, 2009). L’évaluation du PEC a contribué aux débats qui ont fait évoluer l’expérimentation, mais ses indicateurs et analyses peuvent aussi être instrumentalisés pour légitimer la problématique initialement posée et les arbitrages politiques. En effet, le PEC sensibilise aux attendus de la LRU, et augmente la satisfaction de certains étudiants et formateurs. Satisfaisant d’un point de vue « politique », sur le plan économique (indicateur quantitatif « objectif »), les résultats sont absents, excepté un très faible gain sur la poursuite d’études qui serait à confirmer ou à établir, comme les effets sur la réorientation en cours de cursus ou encore les conditions d’insertion professionnelle. Par ailleurs, le portage institutionnel et politique dans les universités (Présidence et Vice-présidences) apparaît comme un déterminant essentiel de l’essaimage. Dans ce domaine, nous avons pu constater des écarts considérables entre les universités ou UFR. Est-ce le signe d’un « retard » de certaines ? Ou tout simplement d’options politiques différentes quant au rôle de l’université pour l’insertion ? Si les présidences demeurent prudentes dans leur déclaration lors des entretiens, pour les acteurs de certaines filières universitaires (sciences humaines), l’opposition est idéologique, donc politique. Les détracteurs de la logique compétence ou « néolibérale » peuvent alors se saisir des résultats de l’évaluation pour mettre en exergue une manière d’ancrer dans les institutions, et au sein de la communauté étudiante, des représentations et des nécessités discutables.

43La recherche appliquée a néanmoins nourri les débats, c’est le rôle d’une approche positive des sciences sociales (explicatives). Quand la recherche appliquée devient « évaluation », elle prétend à la normativité (prescriptive). Nous avons souligné que, selon nous, la normativité ne peut être envisagée que si le contexte est pris en compte dans une approche davantage constructiviste que poppérienne. L’invariance relative du contexte est l’hypothèse des tenants d’une régulation marchande dominant les autres modes de régulations institutionnelles. Dans cette perspective, les indicateurs économiques obtenus avec la « rigueur » de la méthode randomisée sont éligibles à la normativité. Dès lors que l’on considère, et c’est notre cas, que le marché n’est qu’un déterminant du contexte parmi d’autres, sans doute le terme évaluation est-il impropre, à moins qu’elle soit inscrite dans une temporalité plus longue, pour accompagner des dispositifs publics – quitte à les contester –, notamment lorsqu’ils mettent l’accent sur la performance économique. Comme pour toute recherche (évaluative ou non) d’ailleurs, nos investigations légitiment un suivi plus long et surtout participent à un construit social des politiques publiques qui « relève d’un processus long et complexe, mettant en interaction des acteurs aux représentations en partie divergentes (…) processus [de surcroit] contraint par des éléments extérieurs aux acteurs » ; « les politiques publiques actuelles correspondent donc à des produits hybrides, mêlant non seulement des logiques externes (convergentes) et des internes (divergentes), mais aussi des composants a priori contradictoires (en particulier l’étatisation et la libéralisation) ainsi que des éléments préexistants et des éléments nouveaux » (Hassenteufel, 2008, p. 75 et 266).

Haut de page

Bibliographie

Allegre G. (2010), « L’expérimentation du revenu de solidarité active entre objectifs scientifiques et politiques », Revue de l’OFCE, n° 113.

Aubret et alii, (2012), « Le Portefeuille d’Expériences et de Compétences : de l’université à la vie active », Aubret et alii, Céreq-Relief, n° 39.

Beaupère N., Bosse N. et Lemistre P., (2014), « Portefeuille d’expériences et de compétences : de l’expérimentation à l’essaimage » in Bérard J., Valdenaire M. (dir.), De l’éducation à l’insertion : dix résultats du Fonds d’expérimentation pour la jeunesse, La Documentation française/INJEP, à paraître.

Bourgeois L. (2010), « L’expérimentation, nouvel élixir de jouvence des politiques sociales ? », Grenoble, université Pierre Mendès France, working paper, pmb.cereq.fr/doc_num.php ?explnum_id =104.

Dubar C. (2010), « Le sociologie de la construction sociale », in encyclopédie Universalis.

Duflo E. (2009), « Expérience, science et lutte contre la pauvreté », Coll. « Leçons inaugurales du Collège de France », Paris, Fayard.

Duflo E. (2004), “Scaling Up and Evaluation,” in Bourguignon F. and Pleskovic B. (eds.), Accelerating Development, World Bank and Oxford University Press : Washington, DC and Oxford, 2004, pp. 342-367.

Gamel C. (2000), « Et si l’université n’était qu’un filtre ? Actualité méconnue du modèle d’Arrow », Revue d’Economie Publique – « Etudes et Recherches », n° 6, pp. 41-69.

Gautié J. (2009), « Les économistes à l’assaut : les figures de l’impérialisme économique », in Bourgeois C., Conchon A., Lallement M., Lénel P. (dir), Dynamiques de la sociologie économique. Concepts, controverses, chantiers, Octarès éditions.

Gomel B. et Serverin E. (2009), « Expérimenter pour décider ? Le RSA en débat », document de travail du centre d’Etudes de l’Emploi n° 119, Juin.

Hassenteufel P. (2008), « Sociologie politique : L’action publique », Paris, Armand Colin, p. 75 et 266.

Jobert B. (dir.), (1995), « Le tournant néolibéral en Europe », Revue française de science politique, vol. 45, n° 5, pp. 879-881.


Kergoat D. et Lemistre P. (2014), « Professionnalisation de l’enseignement supérieur et sélection des publics : les faux-semblants de la démocratisation », Economie et société, à paraître.

Lascoumes P. et Le Galès P. (2004), Gouverner par les instruments, Paris, Presses de Sciences Po.

Lakatos I. (1984), Preuves et Réfutations : essai sur la logique de la découverte mathématique, Éditions Hermann.

Lemistre P. (coord.), (2014), « Evaluer Un portefeuille d’expériences et de compétences pour 13 universités ? Mise en œuvre et regard critique de l’évaluation d’une « expérimentation sociale », L’Harmattan, collection « évaluer », à paraître.

Lemistre P. (2014), « L’évaluation des performances des formations par l’emploi : impérialisme des économistes et hiérarchie des méthodes ? », in Evaluation Formation Emploi : Regard critique des sciences humaines et sociales, Bedin V., Béduwé C. et Croit-Belz S. (ed.), L’Harmathan, collection « Evaluer », à paraître.

Lemistre P. (2012), « L’évaluation : un regard « externe », in Le Portefeuille d’Expériences et de Compétences, de l’université à la vie active, Aubret et Alii, Céreq-Relief, n° 39, pp. 39-46.

Loumé D. et Faudé J.-P. (2012), « La genèse du projet : un effet « boule de neige », in le Portefeuille d’Expériences et de Compétences, de l’université à la vie active, Aubret et Alii., Céreq-Relief, n° 39, pp. 13-22.

Muller P. (2008), « Les Politiques Publiques », Paris, PUF, « Que Sais-je ? », 7ème éd., 128 p.

Tanguy L. (1986), L'introuvable relation formation-emploi : Un état des recherches en France, La Documentation française.

Haut de page

Notes

1 Dans cette perspective, nous ne produisons que les principaux résultats. Pour l’ensemble des résultats, le lecteur peut se reporter au rapport en ligne support empirique de cet article : http://www.experimentation.jeunes.gouv.fr/356-portefeuille-d-experiences-et-de-competences-etudiant-pec-etudiant.html

2 L’article 25 de la loi généralisant le RSA du 1er décembre 2008 prévoit la création d’un « Fonds d’expérimentation pour la jeunesse ». Ce fonds est « doté de contributions de l’État et de toute personne morale de droit public ou privé qui s’associent pour définir, financer et piloter un ou plusieurs programmes expérimentaux visant à améliorer l’insertion sociale et professionnelle des jeunes de seize à vingt-cinq ans ». La loi de finances rectificatives du 29 décembre 2010 étend ses missions et le public visé : le FEJ est à présent destiné à favoriser la réussite scolaire des élèves et améliorer l’insertion sociale et professionnelle des jeunes de moins de vingt-cinq ans.

3 Loi n° 2007-1199 du 10 août 2007 relative aux libertés et responsabilités des universités.

4 Trente-cinq sur un total de soixante-quatorze universités ou soixante-dix-neuf si l’on compte les établissements assimilés.

5 Document accessible en ligne http://www.experimentation.jeunes.gouv.fr/IMG/pdf/guide-pour-l-evaluation-des-experimentations.pdf Loi n° 2007-1199 du 10 août 2007 relative aux libertés et responsabilités des universités.

6 Voir Bourgeois (2010) pour une mise en perspective historique de l’expérimentation sociale soutenue par les acteurs du FEJ.

7 « Les données non expérimentales, à quelques exceptions près, ne fournissent pas de résultats suffisamment rigoureux pour élaborer des politiques », Duflo (2009).

8 Tous les économistes n’ont pas cette posture, y compris au sein du courant dominant néoclassique ; pour une argumentation, voir Gautié (2009).

9 C’est de la confrontation aux faits observés que l’on peut juger de la pertinence d’une théorie économique. Mais ce n’est pas sur les postulats (tels la rationalité et le comportement optimisateur, ou le degré de concurrence) que doit porter le jugement de réalisme. « la question adéquate à poser concernant les “postulats” n’est pas celle de savoir s’ils sont empiriquement “réalistes”, car ils ne le sont jamais, mais s’ils constituent des approximations suffisamment correctes par rapport au but recherché » (Friedman ibid, p. 11). or, les entretiens visent à interroger les postulats.

10 Karl Popper préconise une approche ou l’empirie se doit d’être fondée sur des protocoles expérimentaux « rigoureux », dans le cadre de son approche où toute théorie doit être réfutable et soumise à réfutation.

11 Les indicateurs sont toujours quantitatifs dans une logique coûts-bénéfices, relayée par un modèle théorique.

12 Les deux courants (structuraliste et constructiviste) ne sont pas nécessairement antagonistes. Par exemple, Bourdieu qualifiait son approche de structuralisme constructiviste.

13 Pour des développements sur ces aspects épistémologiques, voir Gautié (2009) et Lemistre (2013).

14 Chiffre de la base de sondage « connectés » (au moins une fois avec compte ENT) pour les trois enquêtes PEC. Les deux universités sont de taille comparable pour les UFR concernées par le PEC.

15 Les autres sont des PRCE et des PRAG (professeurs certifiés et professeurs agrégés affectés dans l’enseignement supérieur). On retrouve également quelques doctorants.

16 Les formateurs membres du réseau PEC font partie des initiateurs du projet. Les universités qui adhèrent à la démarche PEC payent, dans leur cotisation, l’accès à l’outil numérique et la formation d’accompagnateurs.

17 Alors que ces étudiants se sont tous connectés (depuis leur compte ENT) au moins une fois à l’outil et étaient présents au(x) TD correspondant(s), ils déclarent ne jamais avoir fait usage du PEC.

18 Les étudiants du groupe témoin ont donc été tirés au hasard mais seulement parmi les étudiants présents au second semestre. Le résultat et le taux sont quasi communs aux L1, L2 et L3 de l’échantillon.

19 Méthode bootstrap : les sous-populations sont des tirages (pseudo aléatoires) des vraies populations non observées dans leur ensemble. La méthode du bootstrap fournit une estimation des écarts-types de ces populations non observées à partir d'un ré-échantillonnage des deux sous-populations enquêtées. Pour tester la significativité des écarts PEC – non PEC sur un indicateur, on estime les écarts-types par bootstrap puis on calcule un t de Student par la formule habituelle de comparaison de deux moyennes.

20 Ces aspects sont développés dans Beaupère, Bosse et Lemistre (2014).

21 Les différents acteurs, s’ils demeurent dans cette logique, l’abordent néanmoins de manières différentes : plutôt adéquationniste côté ministère et universités, et non adéquationniste pour les promoteurs du projet, clairement inscrits dans une approche de la psychologie sociale. Pour des développements, voir Beaupère, Bosse, Lemistre, 2014.

Haut de page

Pour citer cet article

Référence papier

Nathalie Beaupère, Nathalie Bosse et Philippe Lemistre, « Expérimenter pour généraliser le Portefeuille d’Expériences et de Compétences à l’université : le sens de l’évaluation  », Formation emploi, 126 | 2014, 99-117.

Référence électronique

Nathalie Beaupère, Nathalie Bosse et Philippe Lemistre, « Expérimenter pour généraliser le Portefeuille d’Expériences et de Compétences à l’université : le sens de l’évaluation  », Formation emploi [En ligne], 126 | Avril-Juin 2014, mis en ligne le 18 août 2014, consulté le 20 février 2018. URL : http://journals.openedition.org/formationemploi/4208

Haut de page

Auteurs

Nathalie Beaupère

chargée d’études (sociologie) au centre associé Céreq de Rennes, CREM (Centre de recherche en économie et management)-CNRS, université Rennes 1.

Articles du même auteur

Nathalie Bosse

chargée d’études (sciences de l’éducation) au centre associé Céreq de Grenoble, CREG (Centre de recherche en économie de Grenoble), université Grenoble Alpes

Articles du même auteur

Philippe Lemistre

chercheur Céreq (sociologie économie), CERTOP (Centre d’étude et de recherche Travail, Organisation, Pouvoir)-CNRS, université Toulouse 2

Articles du même auteur

Haut de page

Droits d’auteur

© Tous droits réservés

Haut de page