1Cette contribution présente l’apport théorique d’une recherche-intervention évaluative commanditée. Celle-ci s’inscrit dans l’appel à projets lancé en 2009 par le Haut-Commissariat à la Jeunesse aux Sports et à la Vie Associative, devenu Fond d’Expérimentations pour la Jeunesse [FEJ]1. Premier d’une série de trois, cet appel avait pour ambition de soutenir le développement d’expérimentations sociales à la condition qu’elles puissent être évaluées. Selon les termes du FEJ l’expérimentation est une « innovation de politique sociale initiée dans un premier temps à une échelle limitée, compte tenu des incertitudes existantes sur ses effets, et mise en œuvre dans des conditions qui permettent d’en évaluer les effets dans l’optique d’une généralisation »2.
2Ainsi, la recherche évaluative est au cœur de ce travail à double titre, à la fois pour répondre à une demande (mise en place d’une pratique évaluative) et pour développer des connaissances sur l’évaluation de dispositif de formation (analyse et conceptualisation de cette pratique). Le modèle d’évaluation construit dans ce contexte est un des résultats de cette recherche qui vise à répondre à ces deux visées. Nous présentons sa construction dans cette contribution.
3La première partie présentera le contexte ; la recherche-intervention mise en œuvre, puis développera les éléments de problématisation, et caractérisera enfin l’objet de l’évaluation. La deuxième partie abordera le cadre théorique convoquée de l’évaluation et de l’accompagnement de la décision politique. Enfin la dernière partie présentera le modèle d’évaluation de dispositif construit et mis en œuvre sur le terrain.
- 3 Cet article pose des éléments qui permettent d’appréhender et d’accompagner le changement (Germier, (...)
- 4 Comparaison de l’adéquation ou de l’inadéquation des résultats de l’expérimentation (référés) et de (...)
4Ayant répondu à cet appel d’offres pour évaluer un dispositif expérimental de formation, nous nous inscrivions dans une recherche commanditée. Nous parlons de commande, car la demande d’évaluation a pris une forme contractualisée, liant formellement expérimentateurs (association ayant développé un projet expérimental de formation), évaluateurs (chercheurs externes) et commanditaires (destinataires des résultats et du rapport d’évaluation). Initialement la commande préconisait une évaluation de type processus-produit devant objectiver les résultats, la performance de l’expérimentation. Après une phase de négociation, nous proposions une évaluation permettant de répondre aux conditions fixées par les commanditaires (fournir des informations pour objectiver), ainsi que de décrire la mise en place de l’expérimentation (fournir des informations pour expliquer). Nous avons alors été attentifs dans un contexte comme celui-ci, aux processus de changements organisationnels3 et au développement des acteurs impliqués. Ainsi, en plus de prendre en compte un objectif de mesure de l’effet poursuivi4, nous avons tenu à connaître les effets induits par la mise en place de cette expérimentation, ceux non envisagés, non poursuivis par les expérimentateurs.
5Dans la suite de cette partie, la démarche de recherche-intervention qui sera mise en avant, est celle que nous avons choisie pour répondre à la commande et pour développer un projet de recherche à partir de ce contexte. Ensuite, l’objet de l’évaluation, un dispositif de formation à destination d’étudiants de l’enseignement supérieur agricole, sera décrit et analysé. Enfin, des éléments de problématisation seront avancés, ils concernent les enjeux d’une recherche « sur » et « pour » l’action Marcel (2010).
6Des évolutions dans le financement français de la recherche amènent les équipes à étendre leurs activités à « l’intervention », entendue ici comme une forme particulière de l’activité scientifique. Les recherches répondant à des demandes sont connues, elles sont dites « finalisées », « commanditées », « action », etc., elles ont en commun leur orientation praxéologique et viennent répondre à l’urgence d’un problème. Aussi :
l’évolution des interactions, entre science et société, conduit à dépasser le modèle linéaire de la production des connaissances en général compris comme allant d’une activité de veille sociétale en amont de la programmation jusqu’à en aval, le transfert et la diffusion de connaissances vers des publics cibles (EREFIN, 2010, p. 3).
- 5 Toutes les demandes ne trouvent pas satisfaction (réponse ou résultat), qu’elles proviennent ou non (...)
7Les relations politique-recherche sont comprises ici par le biais des demandes adressées aux chercheurs dans un processus de construction des connaissances associant des groupes sociaux (Gibbons, Nowotny, Limoges, Schwartzman, & Trow, 1994). Ces relations peuvent être le relais de demandes sociales et ainsi être ascendantes, ou émaner des institutions politiques et ainsi être descendantes. Les demandes politiques apparaissent directement depuis une instance décisionnaire et n’ont pas d’intermédiaire pour obtenir les moyens pour une réponse5. Dans le cadre de la démarche de recherche-intervention, elles muent et prennent le statut de commande lorsqu’elles ont franchi un processus de négociation et qu’elles se soldent par la contractualisation d’un accord entre les différentes parties (Marcel, 2012).
- 6 La conduite de ce type de recherche repose sur des enjeux politiques et éthiques. Nous faisons réfé (...)
8Cette démarche, pour prendre en charge la demande d’évaluation, nous a intéressée car elle permet de questionner l’engagement du chercheur dans la cité6. Cela signifie d’abord : reconnaître les relations existantes entre les communautés politique et scientifique (en lien notamment avec un contexte de changement des financements de la recherche française), puis s’interroger sur la fonction des chercheurs en éducation, à travers la question de leur utilité sociale. Comme le mentionnent Hadji et Baillé (1998, p. 14) : « prétendre mesurer scientifiquement l’efficacité d’une pratique relève de l’imposture ». C’est pourquoi les chercheurs qui répondent à des demandes émanant du politique doivent trouver le moyen de garder le principe de scientificité de leur recherche en s’émancipant des demandes au sens strict et choisir un type de recherche qui leur permet une marge de manœuvre et d’autonomie. C’est ce que nous a permis cette démarche de recherche car nous poursuivions une double visée heuristique et praxéologique nous permettant de produire une thèse en sciences de l’éducation et une évaluation pour l’instance politique. Cet article illustre l’apport de la recherche pour l’intervention.
9Nous venons de voir que le volet social, porteur d’une demande, a été le point de départ de notre travail. Le titre de la présente partie reprend la formule de Marcel (2010) de la recherche « sur » et « pour » l’action et propose de s’intéresser aux enjeux qui peuvent exister dans une recherche mêlant ces deux visées. Ainsi, cette recherche-intervention avait comme objectif d’apporter des connaissances sur les effets du dispositif de formation (« sur ») et accompagner la décision politique en ce qui concerne la transférabilité du dispositif (« pour »). La négociation entreprise en amont de la contractualisation de la commande a permis de dégager des zones de libertés pour la recherche et donc la possibilité pour les chercheurs de construire un modèle d’évaluation propre aux caractéristiques des dispositifs de formation ; de mettre en place et de tester ce modèle.
10Cette recherche-intervention s’inscrit dans une double visée, celle de construire des savoirs pour l’action en vue de répondre à la commande et des savoirs sur l’action en vue de développer un projet scientifique. Ainsi, pour reprendre la catégorisation de Barbier (1996) cette recherche-intervention vise la production de savoirs théoriques et de savoirs d’action. Les premiers sont « assimilés à des savoirs disciplinaires, qu’il s’agisse de discipline de recherche ou d’enseignement, ou même de discipline professionnelle » (p. 4), les seconds sont des « savoirs relatifs aux transformations du réel » (p. 4). Pour l’auteur, la dichotomie traditionnelle qui oppose ces deux types de savoirs est caduque du fait de nouveaux champs de recherche. Ainsi, il s’agit de penser l’intégration de ces savoirs au sein de cette recherche. Selon Mayen (2008) « penser l’intégration des savoirs de la recherche et des savoirs de la pratique, c’est d’abord chercher en quoi ils peuvent être intégrables, donc compatibles » (p. 43). La démarche associe la production de ces deux types de savoirs, et propose la construction d’un modèle d’évaluation pour répondre à la double exigence de cette recherche.
- 7 Brevet de Technicien Supérieur Agricole
- 8 Tous nommés « animateurs » du dispositif de formation dans cette recherche.
11Porté par cette association spécialiste du recrutement et de l’insertion des cadres et techniciens du secteur agricole, l’expérimentation est un module intégré au programme de formation des étudiants de BTSA7. Il s’est déroulé sur les deux années du diplôme. En première année ils ont suivi un module devant leur permettre de découvrir les fonctions de l’entreprise et de décrypter les profils métiers de leur secteur professionnel. En deuxième année, ils ont participé à un module davantage axé sur les démarches de recherche d’emploi. L’expérimentation a été mise en place sur l’ensemble du territoire national français, auprès de soixante-huit classes (770 étudiants) préparant quatre spécialités de l’enseignement supérieur agricole. Les acteurs qui l’ont mise en place, intervenants dans les lycées agricoles, étaient soit délégués régionaux soit conseillers emploi-formation de l’association8. Dans la suite de cette partie nous allons définir l’objet de l’évaluation en trois points, comme un dispositif tout d’abord, puis comme un dispositif de formation et enfin comme un dispositif visant l’insertion professionnelle des étudiants de BTSA engagés dans cette expérimentation.
12Un dispositif est un agencement qui organise espace(s) et objets en vue de satisfaire une intention (souvent une volonté de changer pour améliorer). Ainsi que l’a décrit Aussel (2013) deux processus permettent de comprendre le dispositif. Le premier appelé fondamental correspond à l’ensemble des étapes structurant le fonctionnement du dispositif ; le second est dit opérationnel. Pour décrire cette expérimentation nous nous intéressons ici au second processus qui distingue les acteurs et les phases de mise en œuvre des dispositifs. Cinq acteurs types ont été identifiés, ceux :
-
à l’origine de l’intention initiale (initiateurs) ;
-
- 9 Ils possèdent les capacités de mobiliser les moyens humains, matériels et financiers pour permettre (...)
prenant en charge9 l’intention de départ (commanditaires, pouvant être initiateurs mais pas nécessairement) ;
-
assurant sa mise en œuvre (administrateurs) ;
-
participant à la mise en place sans toutefois l’avoir conçue (partenaires) ;
-
« vivant » c’est-à-dire expérimentant le dispositif (pour qui il a été créé : destinataires).
Figure 1. Processus opérationnel du dispositif (Aussel, 2013, p. 75)
- 10 Commanditaires, administrateurs, partenaires, destinataires, qui une fois porteurs du projet devien (...)
13Quatre phases et deux sections composent ensuite le dispositif. Le projet, qui n’a pas de place fixe, peut émerger de différentes sources10.
14La section 1, correspond à la conceptualisation du dispositif, elle intègre la phase de création qui permet la recherche et la mise en œuvre des moyens nécessaires à sa réalisation. La section 2, quant à elle, renvoie à la mise en œuvre du dispositif c’est-à-dire aux phases de préparation et de diffusion qui incluent respectivement les moyens, humains et matériels, mobilisés dans son agencement. La phase de préparation est à la fois produit de la phase de création et producteur de la phase de diffusion qui elle, produit du précédent devient producteur de la phase d’expérimentation. Cette dernière est l’aboutissement du dispositif dans sa réalisation, dirigé vers les destinataires. Elle se situe à la fois dedans et en dehors du dispositif, car :
-
les destinataires en sont également des acteurs, à ce titre ils participent de son expérimentation (dedans) ;
-
ils l’expérimentent avec des éléments contextuels et individuels qui échappent au dispositif (dehors).
15Les flèches matérialisent la visée transformatrice du dispositif et les changements attendus. Les différentes directions indiquent autant d’effets possibles pour un dispositif. Celles ayant un trait plein symbolisent des effets escomptés correspondant aux intentions initiales, et celles ayant un trait discontinu représentent des effets en inadéquation avec les intentions originelles (non escomptés).
16Ici, l’objet évalué est un dispositif car il correspond au développement et la mise en œuvre d’un support de formation venant concrétiser l’intention d’améliorer l’insertion et l’orientation professionnelle des étudiants. Il est marqué par une phase de création partagée par le FEJ et l’association porteuse du projet. L’institution politique a donné l’impulsion de création à l’association, cette dernière a été indépendante dans les choix de mise en œuvre du dispositif. La phase de préparation a correspondu à la construction de la trame pédagogique et à la création des outils, entièrement prise en charge par l’association. La phase de diffusion a correspondu aux interventions dans les lycées agricoles. Celles-ci ont été animées par les animateurs et ont été à destination des étudiants de BTSA : c’est la phase d’expérimentation.
17Leclercq (2008, p. 74) donne une définition des dispositifs de formation, pour lui c’est « un projet pour autrui, un moyen d’atteindre un objectif ou de tendre vers un but de manière intentionnelle ». Il apporte également une précision importante : « toute aussi prégnante est l’idée que le projet pour autrui ne s’actualise que s’il est reconfiguré, redéfini, réapproprié. Pour le dire autrement, la conception d’un dispositif se poursuit effectivement dans l’usage ». Ici l’objet de l’évaluation est un dispositif de formation qui correspond au « dispositif institué » de type 1 défini par Audran (2010). En effet, sa dimension macro-environnementale ainsi que son origine politique qui vise à résoudre une situation problème, et donc à véhiculer la norme sociétale de l’emploi, tend à le rapprocher de cette définition.
18De plus, pour reprendre la définition engagée supra, le processus fondamental de ce dispositif est constitué à son origine d’une intention en tension, dans laquelle nous retrouvons une dualité entre la poursuite de l’émancipation des étudiants et celle de son efficacité.
19Par ailleurs, dans l’agencement de son contenu, le dispositif vise une expérience allotélique (Belin, 2001) c’est-à-dire la volonté d’avoir un effet sur les étudiants qui perdure et qui puisse être appréhendé par l’évaluation. Celui-ci s’apparente à l’effet de modelage (Belin, 2001) qui caractérise un profond changement de l’être. En ce qui concerne le processus opérationnel, dans le cas de cette expérimentation :
-
- les initiateurs sont également les commanditaires (FEJ) ; ils accordent les moyens financiers à la réalisation du projet. Ainsi, ils portent l’intention initiale et proposent des moyens pour la réaliser. Néanmoins ils ne sont pas créateurs ;
-
- les créateurs sont les animateurs de l’association qui ont investi les moyens humains et matériels dans ce projet, ils sont à l’origine du contenu de formation ;
-
- les administrateurs sont également les animateurs car ils assurent le bon déroulement du projet. Ils sont également présents dans la phase de mise en œuvre. Ils sont intervenus auprès des étudiants dans les établissements agricoles ;
-
- les partenaires sont les enseignants. Contactés par les animateurs, ils ont été invités à participer à l’intervention ;
-
- les destinataires du dispositif sont les étudiants de BTSA.
20Enfin, ce dispositif vise l’insertion professionnelle des étudiants. Il a été conçu pour « permettre aux apprenants d’approcher les métiers autrement, de réfléchir puis d’agir pour réussir leur orientation puis leur insertion professionnelle. ». Ainsi, il doit donner des clés de lecture du monde professionnel aux étudiants. Il leur apporte des informations afin qu’ils puissent s’y orienter, connaître les entreprises dans lesquelles postuler, à quel interlocuteur s’adresser, etc.
21Agostini et Abernot, (2011, p. 7) dans une approche philosophique présentent l’évaluation comme une pratique « humanisante ». Ces auteurs posent l’évaluation comme une fonction « naturelle à l’homme » lui permettant « d’orienter son action » (p. 7). Elle correspond, au jugement que l’Homme porte incessamment sur le monde et les choses. Ils précisent la différence entre le jugement et le préjugé qui « prend l’apparence du jugement, mais qui n’en est pas un parce qu’il ne contient pas le minutieux travail d’évaluation qui donne sa consistance au jugement et donc à l’essai » (p. 7). Ainsi, découle selon eux « la nécessité d’apprendre à évaluer » afin de garantir l’aspect critique du jugement.
22L’évaluation en éducation est une pratique qui recouvre plusieurs sens ; nous définirons celui que nous lui avons donné dans cette recherche. Ainsi, nous nous intéresserons à ces logiques, au processus de référencialisation et enfin à celui de l’accompagnement de la décision politique.
23Mottier Lopez et Crahay (2009, p. 12) affirment que « toute pratique évaluative est finalisée et répond à des logiques souvent plurielles et interconnectées ». Trois logiques vont être présentées : celle de développement ; de reddition des comptes et celle en tension entre les deux précédentes.
24La première s’apparente à une visée d’autonomisation de l’objet ou du sujet évalué. L’évaluation y est construite comme un accompagnement, empreinte de la fonction de régulation. Ainsi, il s’agit de la penser comme une étape intermédiaire permettant la progression de l’objet ou du sujet évalué. Cette logique peut être mise en place indifféremment par une évaluation interne ou externe.
25La logique de reddition des comptes (accountibility), contrairement à la précédente, ne cherche pas à autonomiser l’objet ou le sujet évalué mais à en produire un instantané. Plutôt portée par des évaluations externes commanditées, elle met en œuvre les moyens venant rendre compte des effets attendus d’un programme ou d’un dispositif de formation.
26L’évaluation ne suit pas uniquement l’une de ces deux logiques ; celles-ci peuvent être en tension : « celle du contrôle et attestation versus celle du développement formatif » (p. 13).
27C’est dans cette logique en tension que s’est développée notre pratique évaluative, s’inscrivant dans le contexte de la reddition des comptes : une instance politique a commandé l’évaluation dans la perspective de « bien » employer l’argent public ; de prendre des décisions dont la responsabilité incombe aux chercheurs (acteurs identifiés comme légitimes). Néanmoins, nous n’avons pas réalisé l’évaluation dans le sens du contrôle, ni des individus, ni de leurs pratiques. Ainsi, l’évaluation s’est apparentée à la fois à la logique de reddition des comptes dans son origine (commande politique), mais elle s’est inscrite pleinement dans une logique de développement et d’autonomie des individus, car elle a été construite et négociée en ce sens avec les commanditaires et partenaires. Elle présente donc une forme hybride entre ces deux logiques.
- 11 Dans ce cas nous parlerions plutôt de référenciation qui « regroupe la qualité de l’élan qui pousse (...)
28La référentialisation est un des fondements de l’évaluation. Elle correspond au processus par lequel un jugement évaluatif est construit. À la manière de Figari et Tourmen (2006, p. 8) nous considérons que « l’activité évaluative [contribue] à produire des données permettant l’attribution de jugements, finalisés par des visées sociales externes au processus comme la prise de décision ». Ainsi, elle est définie par le but qu’elle poursuit, elle est située dans des visées sociales externes et conduite par des évaluateurs eux-mêmes empreints de ces visées et de leur propre subjectivité11.
29Pour Figari (1994, p. 31) « il n’est pas envisagé d’évaluation sans recours implicite ou explicite à un système de référence », c’est que nous allons expliciter infra à partir des notions de référent et de référentiel.
30Le référent se définit, dans un sens général, comme « l’élément extérieur à quoi quelque chose peut être rapporté, référé » (Figari, 1994, p. 44) et dans le discours évaluatif à « ce par rapport à quoi un jugement de valeur est porté » (p. 44). Il fonctionne en comparaison du référé qui est « ce à partir de quoi un jugement de valeur est porté » (p. 44). Hadji (1989) dans cette distinction présente le référé comme l’ensemble des éléments d’une réalité et le référent comme l’idéal de cette réalité. L’évaluation passe ainsi par la comparaison de ces deux composants. À partir de quelles « informations choisies en référence » (Figari, p. 44) l’évaluateur conduit-il sa pratique ? Comment construit-il son référentiel ?
31Cros et Raisky (2010, p. 107) définissent le référentiel dans une perspective générale comme :
un construit social qui clarifie les normes d’une activité ou d’un sens donné à des systèmes sociaux. Il est-ce par rapport à quoi un jugement ou un sens est donné à un objet ou à une action. Autrement dit, le référentiel est un outil de médiation normatif permettant aux activités humaines de s’y référer (de s’y rapporter) pour étudier un écart ou des différences.
32La référentialisation est une « démarche qui consiste à entreprendre une recherche de références pertinentes pouvant expliquer la conception et l’évaluation d’un dispositif éducatif » (Figari, 1994, p. 48). Ainsi la référencialisation est le processus par lequel le référent est élaboré (p. 48). Elle se distingue du référentiel qui désigne « une formulation momentanée de la référentialisation » (p. 48).
33La référentialisation a selon Figari et Tourmen (2006, p. 6) un double statut : « elle modélise à la fois l’objet et l’activité d’évaluation sur la base des invariants (démarche théorique) et peut se décliner, dans la pratique, sous forme de protocole méthodologique ». Son processus est donc ce qui permet de mettre au jour le système de valeurs de l’évaluation.
34L’accompagnement de la décision politique est une étape de l’évaluation, non exclusive à cette démarche, qui prend en charge la forme de la réponse adressée à aux commanditaires. Elle s’inspire et développe le concept d’aide à la décision politique (ADP) qui est un apport de la recherche à une demande médiatisée par une institution décisionnaire. L’ADP se définit comme : « une double activité d’expertise et de conseil » (Bedin, 1993, p. 90), et se compose de différentes séquences : l’analyse de la demande portée par un sujet politique ; l’élaboration d’un pré-projet ; la formalisation des termes du contrat d’intervention (commande), la réalisation d’enquêtes de terrain par contact direct ; la restitution d’un rapport d’expertise-conseil à la (aux) structure(s)-commanditaire(s), voire aux différents groupes sociaux concernés par le projet. Ainsi, cette « pratique d’intervention à destination des sujets-décideurs » (Bedin, 1993, p. II) se compose d’un processus d’aide pris en charge par une personne, extérieure à l’organisation.
35Le passage de l’ADP à l’accompagnement de la décision politique réside dans une posture du chercheur tout au long de l’intervention qui consiste à traduire son action et ses résultats aux décideurs et aux partenaires de la recherche-intervention. Si cette pratique n’est pas nouvelle, deux éléments de cette traduction vont être détaillés.
36Le premier concerne la diffusion des résultats en dehors des communautés décisionnaires et politiques. En effet, la recherche-intervention ancrée dans des problématiques sociales se mène en partenariat avec des praticiens qui ne sauraient être exclus des conclusions de la recherche.
37Le second, prolongement du premier, concerne la transmission des savoirs produits. Nous entendons par « transmission » non seulement la dimension de diffusion, mais aussi la perspective de leur réception. Si les chercheurs se munissent de gardes fous (négociation/commande) qui leur assurent une marge d’autonomie durant la recherche commanditée, il est important qu’elle s’étende jusqu’à la transmission des résultats. En effet, lors de la restitution les chercheurs remettent leurs résultats et sont ainsi dépossédés de leur production. Ils fournissent ce pour quoi ils ont été engagés. Ainsi, ils adressent des savoirs, sous la forme de rapport, dont la destinée est inconnue. Pour Guy et Bedin (2002) l’expertise (pour nous l’intervention) « contribue non seulement à autoriser le discours de l’intervenant auprès du commanditaire et des acteurs, mais, par l’expérience qu’elle procure, elle autorise aussi l’intervenant à devenir lui-même l’auteur d’un ensemble de recommandations ». C’est par l’intermédiaire de textes « autorisés » (Guy & Bedin, 2002) que se transmettent et se reçoivent les recommandations. Pour ces auteurs, le rapport devient un « texte formateur » dans une « relation de codétermination » entre une pratique politique et un texte « autorisé ». Ainsi, ils proposent « une homologie de forme entre la pratique de la décision et l’architecture du rapport » (p. 45) concevant des parcours de lecture différents en fonction des lecteurs et autorisant le recours à des discours plus symboliques.
38Ainsi, l’accompagnement de la décision politique ne se définit pas uniquement comme « une pratique à destination des sujets-décideurs », mais envisage de protéger les savoirs produits en les diffusant autant que possible dans différentes communautés et tout au long de leur production.
39Les fondations du modèle (Cf. figure 2 ci-après) construit pour évaluer un dispositif de formation et répondre à la demande sociale vont être mises au jour.
Figure 2. Modèle d’évaluation avant la confrontation à l’empirie
40Hadji (p. 25) propose deux indicateurs : le « référent » qui correspond à « l’ensemble des normes ou critères qui serviront de grille de lecture de l’objet à évaluer », et le « référé » qui est associé à « ce qui sera retenu de cet objet à travers cette lecture ». Il présente une double articulation pour caractériser le processus d’évaluation. La première lie le référent et le référé afin de répondre à l’objectif d’attribution d’une valeur : il s’agit de mettre en perspective l’espéré et le réel. La seconde concerne le référent et le référé avec « les réalités » (p. 26), soit une inscription dans le contexte.
41Nous nous appuyons sur les travaux de Lecointe (1997) qui poursuit ce travail de conceptualisation et le complète. Il suggère de considérer les relations dynamiques d’une triple articulation entre référé, référent et référence. La première articulation est pour Lecointe « appelée référé de l’évaluation [elle] est constituée des faits et des données de l’existant, d’une situation concrète. Elle repose sur leur observation, mesure, leur analyse à l’aide d’indicateurs » (p. 128). La seconde articulation est « appelée référent de l’évaluation, elle est un ensemble de conditions et de caractères idéaux de ce que devrait être une situation désirée. Elle s’exprime par des normes, des règles, des critères » (p. 128-127). Ainsi, nous retrouvons bien une adéquation des travaux de Lecointe et de ceux d’Hadji, dans la mise en comparaison d’un idéal et d’un réel. Lecointe ajoute alors la troisième articulation qui concerne « la référence de l’évaluation (ou système de valeur de l’évaluation), [elle] traverse les deux autres et prononce le jugement d’évaluation » (p. 129). En effet, selon lui, elle permet de renoncer à l’équilibre mathématique faussé, de la double articulation (mesure d’un écart entre le désiré et le réel) et introduit à travers cette troisième articulation le poids, la valeur au sein de l’évaluation. Il faut entendre valeur dans le sens d’une attribution de sens à une action, intention, jugement, tous omniprésents dans l’évaluation. Selon Lecointe, la valeur que nous accordons à une situation, projet, acteur est moteur de nos décisions, et il est primordial selon lui de les mettre au jour dans le cadre d’une évaluation au risque d’obtenir des résultats faussés. Ainsi,
la triple articulation inscrit cette opération de mesure et de sens dans une action plus large qui met en scène les points aveugles, les désirs inavoués et les imaginaires non reconnus : pour les prendre en compte sans prétendre les rendre transparents et logiques ; pour conclure non pas à l’impossibilité de la mesure, mais à sa relativité et à son "insignifiance" première et brute ; pour fuir le "bazar technologique" accouplé à la "constante macabre" ; pour construire une opération éthique et culturelle à sens pluriel et à enjeu de valeurs jamais définitivement joué (p. 131).
Figure 3. Lecointe (1997, p. 130) Les enjeux de l’évaluation
42Revenant au contexte de notre recherche, nous avons transposé les éléments construits du modèle de dispositif de formation au modèle d’évaluation enrichi par Lecointe (1997).
43À partir des connaissances que nous avons recensées sur le dispositif, à savoir celles relatives au processus fondamental (c’est-à-dire au triptyque des pôles intentions, expériences et effets ainsi que celles relatives au processus opérationnel constitué des quatre phases de création, préparation, diffusion et expérimentation) nous appréhendons le modèle d’évaluation développé par Lecointe comme suit :
-
- le référent de l’évaluation coïncide aux objectifs du dispositif, c’est-à-dire au désiré qui se construit dans le pôle intention du processus fondamental et dans la phase de création du processus opérationnel ;
-
- le référé de l’évaluation s’apparente au(x) résultat(s) du dispositif, c’est-à-dire à la situation créée : l’obtenu, le réel observé en fonction du référent. Il correspond au pôle effet(s) du processus fondamental qui se construit dans les phases de préparation, de diffusion et d’expérimentation ;
-
- la référence de l’évaluation équivaut à la manière dont nous nous saisissons du réel du dispositif pour attribuer un sens, une valeur au jugement évaluatif. À partir des connaissances établies, ainsi qu’en fonction de notre positionnement épistémologique et de notre appréhension du réel, la référence de l’évaluation accorde une importance aux vécus des acteurs. Cela correspond au pôle expérience(s) du processus fondamental qui concerne les phases de préparation, de diffusion et d’expérimentation du processus opérationnel.
44L’évaluation de dispositif de formation, dans une approche en tension entre une logique d’accountability et de développement, s’attachera à mettre au jour les effets du dispositif au regard de phénomènes explicatifs, du point de vue des acteurs (de la préparation jusqu’à l’expérimentation). Pour cela, l’évaluation se déroulera en même temps que le développement du dispositif, dans une approche concomitante. Ainsi, deux orientations sont retenues :
-
connaître pour objectiver les effets du dispositif ;
-
connaître pour expliquer les effets du dispositif.
45La première orientation « objectiver » est une demande d’objectivation souvent (pour ne pas dire toujours) portée par les commanditaires. Elle permet de présenter un instantané d’une situation. Le but poursuivi est de construire quantitativement des informations reflétant une situation observée. Nous n’affirmons pas que la production de chiffre permette d’atteindre la vérité, considérant la vérité comme socialement construite. Cette orientation pourrait correspondre à la logique expérimentale, définit par Matalon (1988, p. 14) comme « une façon de réfléchir et de poser les problèmes qui, bien que contraignante et apparemment restrictive ou limitée, permet d’enrichir considérablement notre compréhension des phénomènes et de situations complexes, surtout de mieux assurer la validité de cette compréhension ».
46La seconde orientation « expliquer » vient compléter la première, elle permet de l’interpréter par une connaissance fine du fonctionnement du dispositif de formation. Expliquer pour Matalon (1988, p. 161) « c’est montrer qu’un phénomène connu, observé, peut être déduit des lois générales et des conditions particulières dans lesquelles il s’est produit ». Cette orientation a pour objectif de donner à voir ce qu’il se passe dans l’action en mouvement. Ainsi, une large place pourra être consacrée aux acteurs du dispositif, à leur vécu, à ce qu’ils perçoivent. Pour poursuivre ce que nous disions précédemment, nous pensons qu’il n’existe pas de réalité extérieure au sujet. Nous rejoignons la pensée de Miles et Huberman (2003, p. 17) lorsqu’ils soutiennent : « nous affirmons l’existence et l’importance du subjectif, du phénoménologique, du "rendre signifiant" comme étant au centre de la vie sociale ». Ainsi, cette orientation prétend vouloir expliquer ses relations subjectives qui peuvent influencer les effets du dispositif.
47Ce modèle d’évaluation porte sur l’efficacité du dispositif en tant qu’il permet de dire si les produits du dispositif sont bien en adéquation avec l’objectif (l’intention initiale). Cette idée d’efficacité ou de performance (Lafontaine, 2005) nous semble intéressante au regard de la perception des acteurs qui « habitent » le dispositif de formation. Ainsi, dans une perspective complémentaire nous dissocions une mesure quantitative des effets (première orientation de l’évaluation) d’une description des effets produits par le dispositif sur les acteurs (seconde orientation de l’évaluation). De plus, gardant à l’esprit la visée d’amélioration de la pratique, la seconde orientation du modèle permet d’expliquer les résultats de la mesure des effets. Elle permet de connaître les phénomènes de mise en place (difficultés, réussite, stratégie d’adaptation) des acteurs. Ainsi, l’évaluation de dispositif de formation prend sens au regard des deux orientations qui se complètent dans la production des connaissances.
48Afin d’opérationnaliser le modèle, nous proposons de détailler chacune des orientations. Nous passons ainsi à un niveau de description plus fin, abordant les volets de l’évaluation, constitutifs des orientations. La première est composée d’un volet et la seconde de quatre volets. Nous terminons chaque description par une interrogation destinée à mettre en perspective l’enjeu évaluatif de chaque volet.
49La première orientation s’intéresse à la mesure des effets du dispositif, nous choisissons de travailler sur les effets plutôt que sur les impacts qui renvoient davantage aux « effets nets » (Barbier & Matyjasik, 2010). L’évaluation permet-elle de mesurer l’efficacité du dispositif ?
50La seconde orientation s’attache à connaître les effets produits par le dispositif sur les acteurs (administrateurs, partenaires, expérimentateurs et destinataires). Dans le cas des destinataires, en fonction de la visée du dispositif, on interrogera les évolutions cognitives (connaissances, représentations, etc.) dans une comparaison avant-après. L’évaluation peut-elle rendre compte des évolutions cognitives des destinataires ?
51Ensuite, concernant les administrateurs et les partenaires, il s’agira de s’interroger sur les changements impliqués par leur participation dans la mise en œuvre du dispositif, sur leurs pratiques professionnelles. L’évaluation permet-elle de rendre compte des effets non escomptés (des administrateurs et partenaires) du dispositif ?
52Enfin, dans un dernier point nous souhaitons connaître la perception des acteurs en matière d’efficacité du dispositif. L’évaluation permet-elle de mettre au jour l’efficacité perçue par les acteurs ?
53La mise en œuvre de ce modèle sur le terrain a permis de le faire évoluer avec la contribution d’apports et la mise au jour de limites.
54Concernant les apports : trois volets ont résisté à l’empirie, il s’agit du volet relatif aux représentations des étudiants, au développement professionnel des animateurs et à l’efficacité perçue des acteurs du dispositif. Nous avançons que les espaces de collaboration et d’explicitation de l’évaluation ont permis cette réussite ;
55Concernant les limites nous faisons le constat d’un volet incomplet, il s’agit du volet relatif à l’orientation « connaître pour objectiver » pour lequel nous avons rencontré des difficultés dans le recueil des données. De plus, un volet n’a pas pu être réalisé, il s’agit de celui relatif au développement professionnel des enseignants qui ont peu participé à la fois au dispositif et aux sollicitations des évaluateurs, ainsi nous ne sommes pas en mesure de caractériser leur développement professionnel en lien avec la mise en œuvre du dispositif ni même les raisons de leur non-engagement. Néanmoins, il nous semble important de maintenir ces deux volets dans le modèle, et de repenser une évaluation plus collaborative au sein de laquelle il faudrait penser le rôle et la place des évaluateurs.
56Par ailleurs, un volet non envisagé au démarrage du projet est apparu lors de notre analyse du contexte : il s’agit de l’analyse du changement dans la mise en œuvre d’un dispositif de formation. En effet, la visée transformative de ces organisations particulières de la formation inclut un changement planifié (la résolution d’une situation problème par exemple). Nous avons pu montrer que la poursuite d’un changement planifié entraînait des changements induits. L’analyse des changements induit à la réalisation du changement planifié apporte une intelligibilité indispensable à la compréhension des dispositifs de formation.
Figure 4. Modèle d’évaluation de dispositif de formation adapté à un cas, ajusté après confrontation à l’empirie
57Cette contribution s’est attachée à illustrer une expérience d’accompagnement de la décision politique par une recherche-intervention évaluative dont l’une des productions a été la construction d’un modèle d’évaluation. Ce produit scientifique s’appuie sur une logique de l’évaluation en tension entre le modèle de la reddition des comptes et le modèle du développement, il répond ainsi à la demande sociale et au projet scientifique des chercheurs-intervenant. Il s’attache dans une perspective écologique (Younès, 2010) à objectiver et expliquer à la fois les effets du dispositif et ses modes de fonctionnement.
58Enfin, quelques pistes, pour terminer, qui pourraient être renforcées afin de stabiliser le modèle :
-
l’orientation méthodologique plurielle qui permet de composer avec une approche quantitative et une approche qualitative et qui donne au modèle une logique spécifique en tension entre la logique de développement et la logique de reddition des comptes. De plus, elle allie la volonté de répondre à une commande pour objectiver et la volonté d’accompagner pour améliorer l’existant ;
-
la mise au jour du système de valeurs de l’évaluation, c’est-à-dire le processus de référentialisation.
59Par ailleurs, nous soulignons l’intérêt des éléments suivants :
-
la place et l’importance de l’analyse du changement à l’œuvre dans la mise en place d’un dispositif ;
-
l’(les) évaluateur(s) au sein du modèle, à travers la posture de chercheur-intervenant ;
-
l’ancrage disciplinaire des Sciences de l’éducation, afin d’affirmer le rôle de notre discipline au sein de la société.