1. Introduction

2Les évaluations des projets d’établissements existent en France, ne serait-ce que parce que les IDEFI et NCU font l’objet d’un suivi et d’une demande d’autoévaluation par l’ANR. Mais la publication des résultats des évaluations d’un projet pédagogique, mené à l’échelle d’un établissement restent rares, même si elles transparaissent dans les rapports de l’HCERES sur les projets d’offre de formation des établissements d’enseignement supérieur, alors que l’évaluation de dispositifs pédagogiques à d’autres échelles (cours, formation, etc.) sont plus fréquentes bien qu’elles ne soient pas encore systématiques, ces dernières étant le plus souvent accessibles dans des articles de recherche.

3Cet article présente une expérience d’évaluation d’un projet d’établissement, composé de plusieurs actions (sous-projets), réalisé dans le cadre des IDEFI durant les années 2012 à 2020. Plus précisément, est retracée l’expérience d’évaluation menée par des chercheurs sollicités de 2018 à 2020 par l’IDEFI d’une université française. Le recours à ces chercheurs s’appuie sur une volonté de recourir à une évaluation externe qui s’inscrit ainsi dans une perspective différente des évaluations habituellement conduites dans le cadre des PIA. Mais plus encore, cette évaluation est construite dans une perspective participative afin de favoriser l’appropriation de l’évaluation par les acteurs de l’université. Au-delà des constats sur le projet évalué, le recours à la co-évaluation d’un projet pédagogique menée à l’échelle d’une université permet d’aborder le défi de faire associer les acteurs de terrain à la démarche évaluative.

2. Réflexions sur l’évaluation d’un projet pédagogique à l’échelle d’un établissement

2.1. Cadre conceptuel : l’acceptabilité d’une norme instituante

4La démarche d’évaluation constitue un instrument d’information des décideurs politiques sur l’état d’un projet pédagogique et/ou des dispositifs constitutifs de ce projet. Prendre appui sur les connaissances produites par la démarche d’évaluation peut ensuite permettre de réajuster et d’améliorer l’action en cours ou d’examiner la pertinence ou le bilan d’un projet d’aide à la réussite. Mais la conception d’une démarche d’évaluation ne peut être faite de façon ad hoc en faisant fi des dimensions contextuelles et des demandes de commanditaires. Négliger ces deux dimensions, c’est prendre le risque que les résultats de l’évaluation soient ignorés et que l’évaluation soit finalement peu utile pour le projet pédagogique de l’établissement. C’est pourquoi, nous avons conçu une démarche d’évaluation centrée sur le fait qu’il s’agit d’un processus de production de connaissances qui sont autant de ressources pour l’action et son amélioration éventuelle (Albarello et al., 2017, p. 7). Dans cette perspective, la qualité et la pertinence des connaissances issues de l’évaluation sont notamment liées à la manière dont l’action évaluative est comprise et interprétée par les acteurs.

5Bien évidemment, la mise en place de méthodes rigoureuses ou l’élaboration du référentiel d’évaluation permet de professionnaliser et de mieux préciser le cadre de l’évaluation (Albarello et al., 2017). Mais, la pertinence d’une évaluation et sa validité ne reposent pas uniquement sur leur légitimé institutionnelle ou les instruments mobilisés, ni sur le référentiel, les éléments objectifs et méthodologiques. En effet, mettre en place une démarche d’évaluation pose la question des rapports que les acteurs impliqués dans le projet d’établissement ont avec l’acte d’évaluer et la démarche d’évaluation mise en place. La pluralité des rapports à l’évaluation semble être le nœud critique qui tend à déterminer le degré de son acceptabilité par les acteurs concernés : connaissance de la démarche, des enjeux et valeurs. Autrement dit, l’évaluation ne se réduit pas à la dimension purement technique et à l’application des règles ou à une norme imposée par l’établissement. La pratique de l’évaluation au sein d’un établissement est chargée de significations et renvoie à une certaine conception de l’institution.

6Dans cette perspective où l’acceptabilité de l’évaluation constitue une question centrale, nous nous sommes appuyés sur une démarche de co-évaluation. La construction de cette co-évaluation a tenté de recouvrir l’ensemble des processus qui associent les acteurs à l’évaluation de leur action. Ici, la co-évaluation est une démarche partenariale et participative qui implique les différentes parties prenantes d’un dispositif ou d’un projet. En fonction de leur positionnement, ces différents acteurs peuvent exercer un contrôle sur les étapes successives de la démarche évaluative, du cadrage et de la préparation des critères et du référentiel à la diffusion des résultats en passant par les outils mobilisés. L’implication directe des acteurs est susceptible d’améliorer la qualité des informations, de saisir le point de vue des acteurs impliqués et de mettre en évidence la pluralité des perspectives autour de l’objet de l’évaluation.

7Pour concevoir une telle approche de co-évaluation d’un projet d’établissement dédié à la réussite étudiante, notre point de départ théorique a ainsi été de considérer l’université comme un organisme socio-historique vivant, une institution et non pas une simple organisation qui met en œuvre des normes opérationnelles pour améliorer son fonctionnement. Une institution est habitée par un ensemble de routines et de valeurs qui entremêlent les dimensions réelles et symbolique. L’université comme institution signifie également que le niveau local (établissement) et le système global (système universitaire au niveau national) sont superposés. Pour Lourau (1970), l’institution est un processus : le mouvement des forces historiques faisant et défaisant les formes. Il s’agit d’une dynamique permanente, parfois latente, parfois conflictuelle, entre l’institué (les allants de soi, les normes et pratiques acceptées et partagées par les membres de l’institution) et l’instituant (les nouvelles normes et pratiques émergeantes). Evaluer un projet interne et mettre en œuvre une démarche d’évaluation peut être une norme instituante pour une institution qui n’a pas cette culture. De même, une vision négative de l’évaluation ou la considérer comme un outil de contrôle, imposé par les décideurs, est susceptible d’engendrer certaines tensions entre les acteurs impliqués et les décideurs. Par exemple, on parle de « la tyrannie de l’évaluation » (Del Rey, 2013) où l’évaluation est associée à la montée en puissance de la managération de l’administration, à la dimension stratégique de l’action publique et à la gestion orientée vers la réalisation des objectifs prédéterminés au détriment des objectifs socio-éducatifs. De même, l’organisation de l’évaluation implique une ouverture au changement (Albarello et al., 2017, p. 7).

8Mettre l’accent sur le caractère vivant de l’université et son historicité signifie qu’au-delà des éléments visibles liés à l’organisation de l’institution, il existe un ensemble de signes symboliques qui ne sont pas neutres et qui participent à façonner la manière dont une réforme, une nouvelle norme ou une nouvelle pratique institutionnelle sont perçues et appliquées. Cette dimension symbolique constitue le facteur invisible des contextes institutionnels et participent parfois à rigidifier le réel social (Castoriadis, 1975). Autrement dit, la subjectivité des acteurs et la manière dont ils perçoivent et interprètent une norme comme l’évaluation ou un dispositif participent à influencer la réalité sociale ou deviennent une partie de la réalité. Cette perspective théorique invite à s’intéresser à la question du sens qu’une initiative institutionnelle comme la mise en place d’un projet visant à transformer une pratique habituelle ou l’évaluation d’un dispositif innovant ont pour ses acteurs. Chercher à appréhender le sens signifie saisir le point de vue des acteurs concernés ou les intégrer à la démarche d’évaluation (Paivandi et Younès, 2019). L’interaction entre les acteurs au sein de l’institution implique l’intersubjectivité qui est susceptible de réduire (ou d’accentuer) l’opposition des postures et de favoriser la relation réciproque dans une démarche d’évaluation (Figari et Remaud, 2014, p. 30). Faire l’économie du sens que l’évaluation a pour les acteurs impliqués risque d’engendrer des tensions visibles ou invisibles et d’entamer la qualité des informations recueillies et les effets formateurs attendus.

9Une pratique nouvelle introduite au sein de l’institution (dispositifs innovants, évaluation d’un dispositif, co-évaluer) constitue en elle-même un « dérangement » des routines instituées (Ville, 2001). Nous avons considéré l’évaluation d’un projet d’établissement mis en place à l’université pour améliorer l’apprentissage étudiant et son intégration comme une approche volontariste du changement de la part de l’institution universitaire. Le caractère instituant renvoie au fait que l’université n’a pas intégré la culture de l’évaluation dans sa visée formative, alors qu’elle est plus souvent amenée à effectuer l’évaluation dans une optique de reddition de comptes dans le cadre d’indicateurs et tableaux de bord par les instances spécialisées pour approcher une logique de performance. Il s’agit donc d’une nouvelle norme qui n’a pas son origine à l’intérieur du dispositif, qui est appelé à incorporer cette démarche comme un nouvel objet prescrit par l’établissement. Les acteurs de ces dispositifs ont été socialisés dans le moule d’une université culturellement étrangère à ce type d’évaluation, peuvent être opposés et tenter de résister d’une manière ou d’une autre en vidant parfois l’évaluation, partiellement ou entièrement, de son contenu. Une autre attitude attendue consiste à se montrer en conformité à la démarche sans une réelle adhésion.

2.2. La démarche co-évaluative

10Au-delà de la question d’outils, l’un des points majeurs de l’évaluation d’un dispositif est celui qui la réalise. Plusieurs possibilités sont envisageables : l’évaluation peut être faite de manière externe par des experts ou des chercheurs ou de manière interne par les acteurs des actions pédagogiques constitutives du projet d’établissement mais aussi par les porteurs du projet pédagogique de l’établissement. Ces concepteurs et/ou animateurs du projet pédagogique de l’établissement peuvent être dans une posture d’évaluateur externe vis-à-vis des actions constitutives du projet d’établissement ou dans une posture d’évaluateur interne lorsqu’ils vont s’intéresser à l’évaluation du projet de l’établissement dans sa globalité. Selon que l’évaluation est conduite par des acteurs impliqués dans l’objet étudié ou non, la question de l’objectivité n’est pas à négliger, l’évaluation externe étant généralement présentée comme plus objective mais elle aussi présentée comme compliquée sans la participation des acteurs internes. Au-delà des critères de qualité méthodologique et de transparence de toute évaluation, Thélot (2008) appelle à la participation des acteurs lors de la définition des processus et règles de l’évaluation et à la possibilité pour ces acteurs de commenter ou contester les conclusions de l’évaluation externe au-delà de leur implication dans des processus d’évaluation d’autoévaluation.

11Issue des travaux sur l’autoévaluation ayant conduit à la notion d’autoévaluation socialisée, la co-évaluation est ainsi définie par Jorro et Van Nieuwenhoven (2019) dans la lignée des travaux de Campanale (1997) et Saussez et Allal (2007) comme « une évaluation conjointe » entre les acteurs impliqués « en vue d’engager un dialogue entre eux entre les écarts d’appréciation par rapport à une production particulière ou un bilan plus global, sur la base ou non d’un référentiel externe ». Par rapport à l’autoévaluation, elle a notamment pour objectif d’améliorer le jugement des acteurs évalués. En effet, les résultats sont construits via la confrontation des points de vue et la coopération des acteurs en vue d’une adhésion des acteurs pour établir un diagnostic partagé. Cette manière de concevoir l’évaluation privilégie la perspective interactive selon laquelle les acteurs de l’évaluation ne sont pas exclusivement envisagés comme des objets déterminés (approche objectiviste), ni comme des sujets déterminants (approche subjectiviste) (Rodrigues, 2006; Figari et Remaud, 2014, p. 42).

12Notre hypothèse de travail a été fondée sur l’idée que la co-évaluation permet de dissiper les doutes éventuels et de préparer le terrain à effectuer une évaluation formative, voire formatrice. Il s’agissait aussi d’éviter ou de réduire le risque d’un écart qui peut exister entre les différentes perceptions (conflictuelles ou non) de la situation visée. Quand une évaluation est menée de façon interactive, transparente et reproductible, la discussion publique de ses résultats sont davantage susceptibles de contribuer à améliorer la qualité du débat constructif et critique. La co-évaluation contribue également à faire émerger l’implicite dernière ce qui apparaissait comme explicite dans la démarche. Le dialogue critique autour de l’évaluation participe à renforcer la légitimité des politiques locales, mises en place pour améliorer le fonctionnement de l’institution. Une évaluation est formative lorsque la démarche permet d’identifier les points critiques et les résultats produits ouvrant la voie à des éventuels ajustements ou des corrections. Une évaluation devient formative s’intéresse à la prise de conscience et à la connaissance des acteurs impliqués en se focalisant sur l’amélioration et l’ajustement et en écartant la visée de contrôle pour se focaliser sur. Une co-évaluation est formatrice dans la mesure où les acteurs impliqués apprennent à évaluer et à s’auto-évaluer. L’idée consiste à favoriser des postures d’organisations apprenantes (Albarello et al., 2017).

13L’activité d’évaluation est subordonnée à la présence de trois types d’acteurs : les acteurs impliqués dans le projet, les décideurs institutionnels (commanditaires) et les évaluateurs externes. Dans le cadre d’une co-évaluation, les évaluateurs externes (ici les experts-chercheurs) ont un rôle de médiation et d’accompagnement afin de faciliter la participation des acteurs impliqués et la prise de conscience des enjeux de l’acte d’évaluer. Pour évaluer, il faut une connaissance et une méthodologie de travail, les évaluateurs externes effectuent ce travail de médiation pour garantir l’objectivité et la pertinence de la démarche. Il ne s’agit pas d’un rôle de « contrôle » mais d’accompagnement conceptuel et méthodologique pour réussir une évaluation située et partagée. Dans cette perspective, les évaluateurs et les évalués ne constituent pas deux corps opposés et distants, mais des partenaires qui tentent de construire un horizon d’action commun dans le cadre d’une institution. En reprenant les conclusions de Vial (2012) sur le rapport des professionnels à l’évaluation, il est ainsi possible de positionner les experts-chercheurs comme des garants et des participants à un processus instituant et non comme les garants ou des participants à une procédure instituée. En effet, l’intervention des évaluateurs externes dans la co-évaluation a comme objectif principal de faire en sorte que les acteurs acceptent et s’approprient l’acte de l’évaluation et moins de produire des réponses pour une action.

14De fait, dans ce type de modèle, l’évaluation a une autre fonction sociale que les évaluations institutionnelles telles que celles portées par exemple par l’ANR. Son objectif est moins de donner une valeur à un projet d’établissement, valeur reconnue par l’adhésion à des critères internes ou externe, mais de proposer une appropriation effective de l’évaluation par la médiation des critères de l’évaluation. La co-évaluation repose sur la confiance accordée aux acteurs impliqués dans le projet pédagogique de l’établissement. En cela, elle ne déroge pas des évaluations des projets PIA en matière de réussite étudiante puisque ces évaluations des PIA reposent sur une confiance accordée aux acteurs produisant des autoévaluations sur la base d’informations demandées par l’institution.

3. L’expérience de co-évaluation de l’IDEFI d’une université française

15L’université commanditaire de l’évaluation se trouve dans une ville moyenne avec près de 29 000 étudiants et 3 000 personnels en 2019-2020. Il s’agit d’une université historique en France fondée au XVème siècle, avec un fort ancrage régional qui regroupent 14 composantes couvrant toutes les filières universitaires (arts et langues, droit, lettres, santé, sciences et sciences appliquées, sciences humaines et sociales, sport). Le projet IDEFI de cette université, composé de plusieurs actions, vise une évolution générale des pratiques en étant composé d’une multitude de dispositifs menés d’une part à l’échelle de l’établissement, d’une composante, d’une formation voire d’un enseignement et d’autre part en direction des étudiants et/ou des enseignants voire encore des personnels de bibliothèques, de l’orientation, etc. L’évaluation des projets retenus pour notre démarche a été un défi méthodologique et pratique dans la mesure où ces dispositifs étaient très différents quant aux acteurs impliqués, aux finalités visées, aux stratégies choisies pour atteindre leurs objectifs. Au total, sept projets considérés comme emblématiques de la diversité des actions de l’IDEFI de cette université ont été choisis par l’équipe de gouvernance, sans concertation avec les experts-chercheurs sollicités. Dans cet article, les projets sont nommés par des chiffres afin de respecter l’anonymat des projets et des acteurs participants à cette phase d’évaluation. En outre, le projet est nommé IDEFI-X dans le même souci de respect de l’anonymat de l’université concernée.

16Trois phases ont structuré l’évaluation de ce projet d’établissement par les experts-chercheurs, ces phases étant elles-mêmes structurées en différentes étapes synthétisées dans la figure 1. Aucune phase de vérification externe des informations données par les acteurs n’a été entreprise par les experts-chercheurs.

3.1. La phase exploratoire

17La première phase de cette évaluation est une phase exploratoire qui a consisté à recueillir et à analyser tous les documents écrits sur les sept projets. L’un des objectifs de cette phase exploratoire était de connaître le contexte initial, les finalités visées, les stratégies choisies de chaque projet afin de construire une grille d’évaluation commune (un référentiel) à l’ensemble des projets. Les thèmes ainsi retenus pour la grille initiale d’évaluation concernent :

18- la description du projet de manière globale et de manière plus fine pour chacune des actions constitutives du projet avec ses visées et ses résultats attendus;
- la qualification du type de projet;
- les publics concernés avec le nombre de participants attendus et présents;
- les modalités organisationnelles et les stratégies adoptées;
- le(s) lien(s) avec le projet pédagogique de l’établissement porté par l’IDEFI-X;
- l’évaluation réalisée et envisagée en interne;
- les problèmes rencontrés;
- et les remarques complémentaires donnés par les porteurs de projet.

19Cette phase exploratoire a aussi pour intérêt de mettre à jour les cadres et les visées initiaux et de réaliser un travail d’objectivation initiale. En effet, les acteurs avaient souvent fait un travail de diagnostic initial qui a servi de support pour concevoir le projet. Cette étape propose une lecture raisonnée et analytique des documents formels afin de concevoir les critères et les entrées qui donnent sens au référentiel de l’évaluation.

3.2. Evaluation et auto-évaluation

20La deuxième phase de cette évaluation a consisté à réaliser des entretiens d’évaluation avec les différents porteurs des projets réalisés par le biais d’un guide d’entretien. Le guide d’entretien qui a été construit à partir de la précédente grille définit le contour du référentiel d’évaluation. Ces entretiens menés par les experts-chercheurs incitent également les porteurs de projet et aux acteurs impliqués à se mettre dans une posture d’autoévaluation du projet dont ils ont la responsabilité. Plus précisément, ils sont aussi amenés à faire ou rendre compte de leur autoévaluation dans le cadre d’une première série de discussion sur les effets attendus et produits qu’ils soient positifs ou négatifs, en déclinant ces effets selon qu’ils concernent des aspects pédagogiques, didactiques, sociaux et organisationnels, les apprentissages des étudiants et le développement professionnel des enseignants-chercheurs. Pour tous ces aspects, il est aussi demandé aux porteurs de projet de donner une note d’évaluation globale du projet allant de 0 à 10 sur chacun de ces aspects (cf. tableau 1).

Tableau 1. la grille initiale d’évaluation

	Effets positifs Attendus Observés	Effets positifs Inattendus Observés	Effets négatifs Attendus Observés	Effets négatifs Inattendus Observés	Évaluation globale (une notre entre 1 et 10)
Aspects pédagogiques
Aspects didactiques
Aspects sociaux
Aspects organisationnels
Apprentissages des étudiants
Développement professionnel des enseignants-chercheurs

21A l’issue de cette première série de discussion, les porteurs de projet avaient une nouvelle fois à donner une note d’évaluation globale du projet allant de 0 à 10. Une deuxième série de discussions a également menée afin de recueillir les points de vue des porteurs de projet sur l’adéquation entre les objectifs du projet et l’organisation comme les résultats et l’évaluation du projet d’une part, mais aussi sur l’adéquation des objectifs du projet avec le diagnostic initial d’autre part pour finalement recueillir leurs points de vue sur la pertinence des objectifs comme sur l’adéquation de l’évaluation qu’ils ont pu réaliser sur leur projet, en leur donnant la possibilité d’apporter librement leurs commentaires (cf. tableau 2). Dans ces entretiens, le rôle de l’évaluateur externe consiste à accompagner les porteurs de projet à développer une vision objective et critique et commenter les écarts éventuels entre les visées initiales et les résultats.

Tableau 2. Evaluation commentée du diagnostic, des objectifs et des résultats

	Évaluation globale (une note entre 1 et 10)	Observations
Adéquation objectifs/organisation
Adéquation objectifs/résultats
Adéquation diagnostics / objectifs
Pertinence des objectifs
Adéquation évaluation

22L’analyse des propos des acteurs est réalisée par les experts/chercheurs en intégrant des commentaires sur le contexte, les stratégies, les finalités et les résultats. Pour se faire les experts-chercheurs disposent de l’enregistrement de tous les entretiens d’évaluation réalisés avec l’accord des porteurs de projet et des tableaux présentés ci-dessus qu’ils ont complétés au fur et à mesure de leurs discussions avec les porteurs de projets, sachant que tous les entretiens ont été menés conjointement par les deux experts/chercheurs impliqués dans le projet.

23Ces différents matériaux permettent de réajuster le référentiel d’évaluation et de construire des analyses synthétiques permettant de comparer les projets, les uns avec les autres, mais aussi d’avoir des résultats globaux et une vision transversale de la situation. Elle permet de mettre en évidence différents types de constats et les écarts entre les visées initiales et les résultats appréciés et commentés par les acteurs impliqués. Il est ainsi possible par exemple de synthétiser les différents constats sous la forme de tableaux récapitulatifs, mais aussi sous la forme de graphiques représentant les différentes notes d’évaluation collectées lors des rencontres avec les acteurs des projets. Bien évidemment, la démarche permet aussi de fournir un tableau résumant chaque projet sur l’ensemble des thématiques abordées. Toutefois ce dernier type de tableau est plus susceptible d’intéresser les acteurs de chaque action et les commanditaires pour alimenter des échanges internes ou avec les évaluateurs externes que de fournir à eux seuls des éléments d’évaluation du projet pédagogique de l’établissement dans sa globalité.

24Cette manière d’analyser les informations collectées renvoie à une analyse thématique de contenu. Plus précisément, les experts-chercheurs s’appuient sur les informations pour construire des catégories sur chacune des dimensions abordées, ce qui signifie que le système de catégories n'est pas donné mais qu’il est la résultante de la classification analogique et progressive des sous-thèmes. Certaines catégories sont nommées et construite par les experts-chercheurs sur la base de plusieurs informations dans un souci de synthèse. Dans le cadre de cette co-évaluation, il a été ainsi possible de construire plusieurs séries de tableaux donnant une vision synthétique et comparative de chaque projet en fonction des différents aspects discutés avec les porteurs de projet. Une première série de tableaux est consacrée à la caractérisation des projets. Une seconde série de tableaux rendant compte des autoévaluations faites par les acteurs impliqués va permettre de mesurer les écarts entre les effets attendus et produits, entre les objectifs atteints et non atteints, de connaître les différentes adéquations des projets et les ressentis des porteurs de projets.

3.2.1. Caractériser les projets

25En présentant les publics visés, le premier tableau permet de dresser le constat que menés à des échelles différentes, pour des publics différents, les projets évalués peuvent concerner moins d’une vingtaine de personnes ou tenter de toucher l’intégralité des étudiants d’une formation, voire tous les étudiants ou enseignants de l’université (cf. tableau 3).

Tableau 3. Les publics visés par les projets pédagogiques

	Publics ciblés
Projet 1	Les enseignants-chercheurs de la discipline, le curriculum
Projet 2	Les étudiants de 1ère année d'un département au S1; des étudiants volontaires au S2 de ce même département
Projet 3	Les étudiants et notamment les arrivants avec accueil spécifique pour les étudiants solitaires (toutes filières)
Projet 4	les étudiants (avec une attention spécifique pour les étudiants en situation d'handicap) et les enseignants solitaires (toutes filières)
Projet 5	Les étudiants et les enseignants de la filière avec des actions spécifiques pour les étudiants en souffrance
Projet 6	Dans la filière concernée, les étudiants les enseignants et la transformation curriculaire
Projet 7	Dans la filière concernée, les étudiants, les enseignants, la transformation curriculaire

26Le deuxième tableau permet de voir que les différents projets ont un caractère transversal à l’échelle de l’université, d’un département, d’une formation ou d’un enseignement pour les étudiants et/ou les personnels enseignants, c’est-à-dire sans sélection des publics concernés, la participation aux actions reposant sur le volontariat des publics ciblés ou l’obligation de suivi des actions lorsqu’elles sont intégrées dans la maquette de formation. Plusieurs projets comportent des actions spécifiques à destination de publics étudiants singuliers en vue d’améliorer leurs conditions d’études (projets 3 et 4). Dans ce dernier cas, des actions de nature individuelle sont alors réalisées pour prendre en compte les besoins particuliers de chacun, sans toutefois constituer l’objectif principal du projet et elles sont nées durant la réalisation du projet. Si les projets recourent aux compétences des personnels techniques administratifs et des bibliothèques, ces personnels ne sont pas des publics ciblés. Mais ces personnels peuvent s’emparer de certaines actions ou bénéficier de certaines dimensions des projets pour améliorer leurs conditions de travail (projets 4 et 5).

27Les projets évalués peuvent être constitués d’une seule action ou de plusieurs actions. Ces projets ont des origines variées liées à l’existence même de l’IDEFI-X ou à des incitations institutionnelles fortes initialement indépendantes de l’IDEFI-X, s’inspirant ou non d’initiatives externes à cette université en étant portées par un individu ou par l’institution. Plusieurs projets apparaissent définitivement installés dans le paysage universitaire (projets 4 et 6), d’autres restent soumis à l’existence de financement pour leur pérennité (projet 3), d’autres sont en cours de construction (projet 7), d’autres sont en phase de développement et déploiement (projet 5) et un est achevé sans qu’un renouvellement soit envisagé (projet 1).

28La construction des projets a été faite exclusivement en interne à l’échelle de la structure portant le projet, les équipes impliquées dans les projets étant réduites à quelques personnes voire à une personne. Dans leur mise en œuvre, certains projets recourent à des collaborations au sein de l’université (services d’appui techniques de l’université, aide pour l’évaluation avec des chercheurs) ou à des collaborations avec des partenaires extérieurs liés à l’université (projet 5). Le recours à des partenariats extérieurs à l’université n’a pas été relevé sauf d’un projet (projet 5).

Tableau 4. Les caractéristiques des projets évalués

	Type	Echelle	Taille	Origine	Originalité	Porteur	Cycle de vie	Collaboration
Projet 1	Collectif	Département	Structure simple	IDEFI-X	Reprise initiative externe à l’université	Individu	Achevé	Interne+ Externe
Projet 2	Collectif	Enseignement	Pluriactions	IDEFI-X	Création	Individu	Installé	Interne
Projet 3	Collectif + individuel	Université	Pluriactions	Université	Création + Reprise initiative existante interne à l’université	institution	Installé sauf si remise en cause financière	Interne + Services de l’université concernée + externe
Projet 4	Collectif + individuel	Université	Pluriactions	Université	Mouvement national	Institution	Installé	Interne
Projet 5	collectif+ individuel	Département	Pluriactions	IDEFI-X	Création + Reprise initiative externe à l’université	Individu	Achevé En cours	Interne +externe+ IDEFI-X
Projet 6	collectif	Département	Pluriactions	Département	Création	Individu	Installé	Interne + Services de l’université concernée
Projet 7	collectif	Diplôme	Structure simple	Université	Création	Individu	Début	Interne + Services de l’université concernée

29Comme le présente le tableau 5, il apparait que tous les projets réalisés ont recouru à des évaluations de nature formelle liées à des initiatives propres ou impulsées par la nécessité de rendre des comptes à des instances externes hors IDEFI-X. La formalisation des demandes d’évaluation souhaitées par l’IDEFI-X reste à construire aux yeux des acteurs. Indicateurs de suivi et avis des participants sont les modalités d’évaluation choisies par tous les projets réalisés, des essais d’analyse des impacts ayant seulement été faits par deux projets. Si certains projets souhaitent s’engager dans des démarches de recherche-action, les difficultés pour mettre en œuvre des mesures d’impacts sont mises en avant par tous, les équipes étant démunies face à ce type d’évaluation. L’utilisation des évaluations à des fins de régulation reste à construire au-delà de la production de comptes-rendus.

Tableau 5. L’évaluation des projets?

	Réalisée	Envisagée
Projet 1	Evaluation formelle Questionnaire aux participants (avis/satisfaction)	Aucune
Projet 2	Evaluation formelle Questionnaire aux participants (avis/satisfaction) Analyse des taux de réussite (pas faite)	Analyse des compétences Besoin aide extérieure
Projet 3	Indicateurs de suivi	Recherche-action Besoin aide extérieure
Projet 4	Indicateurs de suivi Enquête sur les usages et fréquentation	Recherche-action Besoin aide extérieure
Projet 5	Evaluation formelle Questionnaire aux participants (motivation/avis/satisfaction)	En réflexion
Projet 6	Analyse des taux de réussite Questionnaire aux participants (avis/satisfaction))	Besoin aide extérieure
Projet 7	Aucune	Demande appui externe

30Quant à l’insertion des projets dans le programme général de l’IDEFI-X, il apparait que tous les projets tendent à mobiliser les axes soutenus et présents dans le projet IDEFI-X. En effet, les projets à l’origine des actions conduites suivent souvent trois objectifs majeurs : innovation pédagogique (pratiques d’enseignement, pratiques d’études, espaces et dispositifs pédagogiques), intégration sociale (socialisation, affiliation institutionnelle, acculturation) et la réforme curriculaire (programmes, visées, liens théorie-pratique ou liens avec le monde économique). Toutefois, ces trois types de finalité sont diversement intégrés et l’ampleur de leurs enjeux n’occupe pas la même place au sein des projets visités. Il semble que les projets visant le changement curriculaire semblent être plus compliqués à mettre en place et à évaluer car les enjeux et le contenu engagent l’université et l’ensemble de la composante.

Tableau 6. L’insertion des projets au sein du projet global

	Soutien IDEFI-X obtenu /envisagé	Objectifs pédagogiques	Objectifs sociaux	Objectifs curriculaires	Lien IDEFI-X	Observation*
Projet 1	Financier /Aucun	Enseigner autrement la physique		Lien secondaire-supérieur, réflexion critique programmes	A améliorer	Objectifs ambitieux et pertinents
Projet 2	Financier/ Diffusion et Méthodologique	Apprendre mieux, compétences transversales, innover approche pédagogique			Fonctionnel Proximité du porteur du projet avec Paré	Quelle intégration au programme pédagogique global?
Projet 3	Financier/ Pérennisation	Compétences transversales	Intégration sociale, sentiment d’appartenance		Fonctionnel
Projet 4	Financier	Espaces et dispositifs adaptés, apprentissage collaboratif, compétences informationnelles, créer une nouvelle ergonomie pédagogique	Espace culturel		Fort
Projet 5	Financier et administratif/ Diffusion et valorisation	Apprentissage transversal	Métier d’étudiant, identité étudiante et professionnelle		Fonctionnel
Projet 6	Financier Méthodologique / Diffusion	Apprentissage ciblé, motivation étudiante			Fonctionnel
Projet 7	Méthodologique	Apprentissage ciblé et motivé		Enseignements définis en fonction des compétences	A améliorer

31*Commentaires des experts-chercheurs sollicités pour cette évaluation.

32L’accompagnement des projets grâce à l’IDEFI-X ne se réduit pas à un accompagnement financier des actions, accompagnement administratif (projet 5), méthodologique (projet 6), politique (projets 3, 5 et 6). Sont également à l’œuvre un accompagnement dans les démarches de diffusion des actions et de leurs résultats à l’extérieur de l’université (projets 2 et 3. Les porteurs de projet peuvent ne pas avoir des attentes fortes à l’égard de l’IDEFI-X en dehors des financements en raison de caractère institutionnel (structuré dans et par l’institution) du projet et de sa construction par une large équipe (projet 4) ou en raison de l’arrêt du projet (projet 1) ou du fait que le projet débute (projet 7), alors que d’autres ont actuellement des attentes d’ordre méthodologiques, notamment en termes d’évaluation ou des attentes liées à la diffusion des avancées de leurs actions (projet 5 et 6).

33Au-delà, les porteurs et les acteurs de ces projets sont diversement en lien avec les activités de l’IDEFI-X. Certains sont associés au comité de pilotage et assurent une veille sur ce qui se passe à l'IDEFI-X. Ils participent parfois aux actions visant à inciter les autres composantes à s’engager dans une dynamique de changement en présentant leur propre projet. Le développement d’un réseau intra-universitaire liant « la communauté des Idéfiens » a été évoqué dans les entretiens.

34Les modalités organisationnelles et les stratégies adaptées pour les projets évalués varient considérablement en oscillant entre deux pôles plus ou moins opposés : un modèle professionnel et structuré et un modèle « artisanal » centré sur une conception individuelle de la démarche et la découverte progressive et intuitive des phases et des tâches. Entre ces deux pôles, on peut situer les projets qui ont un caractère plus ou moins « collectif » issus des initiatives lancées par un groupe d’enseignants-chercheurs mobilisés autour d’un thème.

35Dans l’organisation « artisanale », l’inexpérience et le manque de soutien (personnes ressources, dispositif solide au niveau local ou institutionnel) constituent une réalité structurante qui semblent peser sur le processus de la mise en œuvre. L’analyse des parcours vécus par les projets observés montre que le type organisationnel d’un projet constitue un facteur déterminant de sa réalisation, de sa pérennité et de son développement. Le modèle artisanal a une fragilité inhérente liée avant tout à l’engagement individuel et à l’absence de l’inscription du projet dans l’agenda de la structure d’enseignement. La mobilisation d’une ou plusieurs personnes autour d’un projet crée une dynamique au sein de la communauté sans devenir un objet incorporé de la structure. La non-adhésion ou l’indifférence des membres de la communauté qui sont susceptibles de basculer en opposition passive ou active. Le devenir de ce type du projet demeure tributaire de la motivation et de la mobilisation du porteur ou des porteurs et la faiblesse du soutien institutionnel semble renforcer la fragilité initiale.

36Le modèle collectif (la mobilisation de plusieurs personnes autour d’un projet – initiative introduite par les acteurs concernés) est nettement plus consistant et solide et mobilise au moins une partie de l’équipe pédagogique. Cependant, sa survie est directement liée à la manière dont le projet est intégré et accepté par la communauté académique concernée. Un projet peut démarrer avec un petit groupe motivé, mais sans une adhésion institutionnelle (structure formelle et intégré au schéma organisationnel de l’institution) et collective (équipe locale), son assise demeure instable et fragile. Parmi les projets évalués, trois initiatives se trouvent dans cette catégorie et leur évolution et leur statut au sein de la structure pédagogique sont largement influencés par cette dimension.

37Un élément souvent évoqué dans ces deux premiers types d’organisation renvoie au temps investi par les porteurs des projets (notamment les enseignants-chercheurs volontaires) qui est conséquent et dissuasif. Dans le contexte institutionnel, marqué par la faiblesse de l’enthousiasme pour l’innovation pédagogique, les actions risquent de devenir très chronophages pour le noyau mobilisé. Cette lourdeur commence par le montage des dossiers et projets et va à sa mise en œuvre et au suivi des actions. L’inexpérience et le manque de connaissance (administrative, marché…) de certains enseignants-chercheurs mobilisés semblent rendre la mise en œuvre plus compliquée et plus difficile.

38Le modèle professionnel mobilisé par les structures qui sont à l’origine d’une initiative innovante met en place un dispositif plus solide et souvent mieux organisé. Ces initiatives amenant des composantes institutionnelles ont une chance plus importante de perdurer et de transformer la réalité visée. Cependant, la réalisation effective des objectifs visés est aussi liée à la pertinence des objectifs et aux stratégies choisies. L’absence d’une régulation critique et la bureaucratisation des pratiques institutionnelles peuvent diminuer l’ampleur des effets attendus.

39Dans les trois modalités identifiées, l’institutionnalisation du projet est une question cruciale. Il s’agit de mettre en place une organisation et se faire accepter par l’environnement professionnel.

Tableau 7. Les modalités organisationnelles et stratégies d’actions

	Modalités organisationnelles	Relation avec la structure	organisation	Pérennité
Projet 1	Artisanal, petite équipe	A améliorer	Simple, fragile, un petit groupe motivé et mobilisé	A consolider
Projet 2	Collectif	Intégrée dans la structure	Simple, ancrage local (équipe pédagogique ou professionnelle) et institutionnel (structure formelle)	Assurée à moyen terme
Projet 3	Plusieurs actions, Professionnel, implication enseignante, acticités en ville et campus, accompagnement associations	Organique (faire partie de la structure)	Structurée, multi-acteurs, un poste pour accompagner les associations	Assurée
Projet 4	Professionnel	Organique	Structurée	Assurée
Projet 5	Collectif	Intégrée dans la structure	Simple, ancrage local et institutionnel	Assurée à moyen terme
Projet 6	Collectif	Organique	Structurée, ancrage local et institutionnel	Assurée
Projet 7	Collectif	A améliorer	Simple,	A consolider
*Commentaires des experts-chercheurs sollicités pour cette évaluation.

40Selon les résultats de nos observations, les modalités et les stratégies organisationnelles constituent un élément critique des dispositifs mis en place. Les projets qui ne sont pas nés et développés à l’intérieur d’une structure ni soutenus activement par celle-ci semblent avoir besoin d’une aide institutionnelle permanente et doivent affirmer leur statut au sein de la composante. La mise en place d’un dispositif innovant suppose de la part de la composante l'adoption d’une stratégie contextualisée et d'un management de la connaissance et de l'innovation dans le domaine visé. C'est aussi le moyen pour la composante d'intégrer une nouvelle culture et une nouvelle conscience pédagogique susceptible de répondre aux défis du changement ciblé. De même, il faut réfléchir sur des compétences nécessaires à la performance organisationnelle et à la consolidation du dispositif tout en travaillant de façon pérenne sur ses stratégies permettant d’atteindre les objectifs visés. Certains projets ont réussi à bien préparer les actions en mettant en place par exemple une première formation des enseignants à l'approche par compétences pour préparer les acteurs au changement curriculaire (projet 6).

3.2.2. Constats de l’autoévaluation par les porteurs des projets

41Les projets observés vivent plusieurs dynamiques rendant difficile une comparaison entre les effets réels, les changements effectivement observés ou les obstacles et difficultés identifiés (cf. tableau 8). Dans l’ensemble, cinq projets ont été effectivement mis en œuvre depuis deux ans (projets 2, 3, 4, 5 et 6). Un projet a franchi la première phase en attendant la mise en œuvre du programme élaboré. Et un autre projet est dans son état embryonnaire, même si les premiers pas étaient jugés « pertinents ». A la lecture des données recueillies, on peut affirmer que les projets avancés ont tous réussi à réaliser entièrement ou partiellement les actions visées. Mais les projets n’ont pas encore intégré une évaluation régulatrice visant une fonction critique pour mesurer les effets effectivement produits et être en mesure de prévoir des ajustements nécessaires et adaptatifs. Les sondages de satisfaction prévus par certains projets ne sont pas pertinents pour mesurer les effets produits ou les écarts éventuels entre les effets attendus et les effets produits. Cependant, certains projets (projet 5) pensent que plusieurs années sont nécessaires pour voir les effets attendus.

Tableau 8. Les effets produits par les actions engagées

	Effets attendus	Effets observés Ecarts?	Effets inattendus Positifs-négatifs	Observations porteurs projets	Observation*
Projet 1	Apprendre mieux la physique, découverte d'outils possibles pour enseigner la physique, Prise de conscience pédagogique des EC, construire un curriculum plus proche de la réalité étudiante, la réflexion didactique	Les premiers contacts réflexifs, une première prise de conscience	Manque d’implication, difficulté organisationnelle	Accueil initial favorable, premières actions réussies Une certaine déception, Retombée pratique attendue pour après, Groupe de réflexion	Projet pertinent et ambitieux nécessitant une forte mobilisation de la structure et une expertise, mobilisation interne et stratégie de conquête progressives
Projet 2	Travail en équipe, améliorer l’apprentissage, innover la pédagogie, utiliser les outils numériques, égalité de chances, motiver les étudiants	Mise en place, changement modalité du travail, apprentissage actif, autonomie, effets sur l’apprentissage non-évalués,	La tension entre dimension ludique et apprentissage effectif, Réflexion collective pour aller plus loin, parents réticents, étudiants un regard dévalorisant	Une perception très positive et optimiste, améliorations nécessaires, changement pédagogique limité	Intégration au projet pédagogie global, adhésion des collègues incertaine, projet intéressant
Projet 3	Socialisation et intégration ville-université, compétences transversales, sentiment d’appartenance , améliorer la performance	Les liens sociaux plus forts, accompagnement formateur, sociabilité intégratrice, événements socialisants	inégalité entre les filières, question de la mixité, engagement enseignant faible	Satisfaction, développement et diversification possible, 1000 participants; une évaluation qualitative envisagée, manque de moyens et de personnel	Actions bien ciblées et en phase avec les objectifs visés, initiative demeure institutionnelle, dynamique bottom-up attendue aussi
Projet 4	un espace privilégié adapté à la diversité des pratiques et des attentes, accompagner les usagers, équipement	Un nouvel espace aménagé Prêt matériels Diversification usage – pédagogie et culture Espaces collaboratifs	Les charges complémentaires, entretien espace, Surveillance accrue, usure lieu, objets, matériel Adaptation permanente L’usage approprié des lieux/équipements par les étudiants L’écart entre les filières, une politique ciblée achats matériel	Un lieu à visiter, la visite des groupes d’EC étrangers, objectifs visés atteints Tirer les leçons pour les autres BU	Changement effectif, évaluation en cours avec un labo Liens avec équipes pédagogiques
Projet 5	Bien-être étudiant, motiver, aide aux étudiants en Difficulté, accompagnement, changer image Fac	Socialisation, prise de conscience métier, immersion	Lourdeur des démarches et pratiques du projet, soutien mitigé, manque de compétences opérationnelles	Demande étudiante pour continuer, une action positivement jugée	Enquête satisfaction positive, absence d’outil évaluatif et régulateur
Projet 6	Se former à l’APC, Prise de consciences de l’évolution pédagogiques, réduire les coûts, travail en équipe autour du projet pédagogique, innovation pédagogique, changement curiculaire	Formation des enseignants-chercheurs, amélioration résultats étudiants, lien CM/TD, motivation améliorée	Manque du temps, maintenir l'intérêt des collègues, soutien de la direction de l'université		Effets observables, outil évaluatif nécessaire
Projet 7	Redéfinir le curriculum selon les compétences, un apprentissage plus ciblé et motivé, mobilisation des apprentissages	Redéfinir un programme de Master selon les compétences attendues en attendant de sa mise en œuvre	Prise de conscience programmes et leur rapport avec le monde professionnel, manque d’envie de changer, manque de temps	Incertitude sur la mise en œuvre	Un premier pas réussi petite équipe, le pari important en rapport avec l’adhésion collective

42Les objectifs poursuivis ont été relativement bien réalisés dans le cas des projets qui sont avancés et qui ont réussi à franchir la première phase embryonnaire en produisant les actions programmées. Cependant, il est relativement difficile de vérifier d’une manière objective et détaillée la pertinence des visées en fonctions des résultats obtenus par les actions engagées. Parmi les projets largement mis en œuvre (projets 2, 3, 4, 5 et 6), les porteurs de projets ont l’impression que les objectifs sont plus ou moins réalisés. La note moyenne de 8 sur 10 attribuée à l’ensemble de ces projets tend à témoigner la perception positive des acteurs quant aux aspects attendus des actions mises en œuvre.

43Pour les projets qui ciblent directement les équipes pédagogiques, le constat est parfois mitigé. Dans le projet 4, malgré l’existence des enseignants-chercheurs « engagés », la mobilisation reste relativement faible des « zones plus difficiles à toucher » concernant notamment les composantes peu ouvertes aux pratiques innovantes. Un exemple « réussi » de la mobilisation collective des enseignants-chercheurs concerne le projet 6 qui a su créer une dynamique collective au sein de la structure pédagogique malgré l’existence d’une petite minorité moins favorable.

44Les contraintes évoquées sont souvent en lien avec les moyens (matériel, financier, humain), la lourdeur des démarches et l’inertie institutionnelle (projets 3 et 5).

45Les effets inattendus de la mise en place des projets renvoient souvent à l’inertie institutionnelle et le manque d’une mobilisation adéquate des collègues au sein de la structure pédagogique. Les porteurs de ces projets semblent avoir sous-estimé les différentes formes de la résistance latente ou patente des enseignants-chercheurs qui refusent d’adhérer l’action innovante.

46Malgré le caractère expérimental de certains projets, dans l’ensemble les porteurs estiment qu’il existe une adéquation entre les objectifs, l’organisation et les résultats (cf. tableau 9). Les notes accordées par eux varient souvent entre 7 et 8 (cf. figure 2). Les notes moyennes révèlent que la mise en œuvre des projets a été réalisée avec un certain succès. Cependant, les démarches évaluatives conçues et pratiquées ne sont pas souvent en lien avec les objectifs intermédiaires et finaux attendus. Comme nous l’avons déjà souligné, les projets ne sont pas bien outillés pour effectuer une évaluation formative et régulatrice. Les démarches mobilisées ciblent plutôt la satisfaction des personnes concernées par l’action. Cette information est utile pour l’évaluation, mais celle-ci ne se réduit pas aux indicateurs de satisfaction. Il faut que l’évaluation permette d’examiner les effets réellement engendrés par l’action et leurs écarts (positifs et négatifs) avec les objectifs visés.

Figure 2. Autoévaluation chiffrée par les porteurs acteurs de leur projet

Tableau 9. Autoévaluation qualitative par les porteurs acteurs de leur projet

	Adéquation objectifs / organisation	Adéquation objectifs / résultats	Adéquation Evaluation	Pertinence objectifs	Observation*
Projet 1	La première phase réussie, aucun dispositif émergent pour continuer	La prise de contact et la sensibilisation	Un sondage de satisfaction, aucun outil évaluatif pour la composante	Objectifs importants et justifiés	Une première mobilisation réussie et encourageante, un net ralentissement
Projet 2	Une organisation simple mais réussie en lien avec les objectifs, améliorations envisageables, meilleure régulation pédagogique souhaitée, Réflexion collective manque	Les résultats correspondent aux objectifs, Objectifs pas toujours compris par EC et étudiants	Pas de démarche formelle, son usage accru ailleurs perçu comme preuve	Objectifs validés, optimiste et confiant, place dans le programme, réflexion collective
Projet 3	Une adéquation satisfaisante de l’organisation plusieurs actions Insuffisance des moyens, Gestion compliquée avec les acteurs variés	Il est difficile de mesurer les résultats, mais une participation satisfaisante,	Pas d’évaluation formelle	Le succès des actions montre la pertinence des objectifs visés, visées sociales et pédagogiques	Il manque un outil évaluatif pour mesurer les effets et la pertinence des actions, moyens limités
Projet 4	Une adéquation satisfaisante	Une perception positive, il faut plus de temps pour observer les résultats	Il faut outiller le projet pour une évaluation ciblée et focalisée sur les effets réels	La nécessité d’introduire une démarche évaluative
Projet 5	Une adéquation satisfaisante	Satisfaction étudiante	Enquête de satisfaction, pas d’outil évaluatif	Bonne analyse de contexte, Pertinence validée par l’expérience, il faut aller plus loin (stage)	Projet ambitieux répondant à un contexte social et pédagogique , difficile, aide logistique projet
Projet 6	Formation APC, forte mobilisation EC, changement curriculaire,	Nouveau programme, rapport CM-TD, usage TIC, résultats étudiants améliorés, coûts réduits	Outil évaluatif absent, pris en compte indicateurs	convaincu de la pertinence des objectifs, dynamique pédagogique témoigne, participation	Projet collectif, préparation réfléchie résultats observables
Projet 7	Une première action réussie pour petite équipe, besoin d’accompagnement	En attente de la mise en œuvre maquette	Pas d’évaluation	Projet pertinent, un curriculum redéfini en Master	Manque de personne ressource

3.3. Co-construire un outil adapté

47La troisième phase de l’évaluation a pour objectif la co-construction d’un outil d’évaluation adapté à chaque action. Cette troisième phase a été menée 1) en échangeant avec l’équipe de gouvernance et les acteurs et porteurs des cinq projets dans le cadre d’une réunion de concertation, 2) en ajustant les évaluations initiales et 3) en co-construisant un outil de l’évaluation / un référentiel commun.

48L’échange avec les différents acteurs s’est déroulé au cours d’une demi-journée de travail après la réception par l’ensemble des acteurs du premier rapport des experts-chercheurs. Cet échange est animé par les experts-chercheurs, après une première concertation où chaque porteur de projet a pu venir compléter ou corriger des éléments présentés sur son projet. Les échanges ont été structurés par les experts-chercheurs en recourant dans un premier temps aux travaux de plusieurs groupes, chaque groupe étant constitué d’un ou plusieurs membres d’un des sept projets et d’un des animateurs institutionnels de l’IDEFI-X. Chacun de ces groupes avaient à répondre à quatre questions avant d’en présenter la synthèse à l’ensemble des participants à la réunion de concertation : Qu’est-ce qui vous a surpris dans ce rapport? Qu’est-ce qui vous a inquiété dans ce rapport? Qu’est ce qui a confirmé votre vision? Avec quoi n’êtes-vous pas d’accord? Dans un deuxième temps, chaque participant à la réunion a partagé ses réflexions sur la base de quatre questions proposées par les experts-chercheurs : Avez-vous adhéré aux différents facteurs présentés dans le rapport (facteurs de risque et facteurs positifs)? Avez-vous eu envie de connaître les autres projets à la lecture du rapport? Avez-vous d’autres recommandations que celles présentées dans le rapport? Quelle doit être la hiérarchisation des recommandations présentées dans le rapport et des autres recommandations discutées aujourd’hui?

49Le principal enjeu de cette phase de concertation a consisté à accompagner les acteurs impliqués pour construire un outil d’évaluation adapté à chaque action. Cet apprentissage est crucial pour développer le savoir-faire évaluer ou s’auto-évaluer un dispositif et promouvoir la culture d’évaluation dans le réseau des acteurs impliqués dans les projets pédagogiques innovants. L’idée consiste à proposer les éléments méthodologiques afin de concevoir des outils quantitatifs (questionnaire) ou qualitatif (entretien) destinés à l’évaluation des dispositifs. Cette troisième phase de l’évaluation permis de mettre en évidence des besoins méthodologiques importants des acteurs ne pouvant pas être comblés lors d’une seule réunion de concertation avec les acteurs. Celle-ci est réalisée en deux grandes étapes. La première a pour objectif d’outiller les acteurs avec des éléments théoriques de l’évaluation de l’action éducative, des exemples d’évaluation et des réflexions collectives faites à partir des exposés des projets des acteurs pour donner des pistes et protocoles d'évaluation. La seconde étape sur des analyses critiques des démarches d'évaluation réalisées par les acteurs à l’issue de la première étape (apports des évaluations pour les acteurs, obstacles méthodologiques et contextuels rencontrées par les acteurs), ces analyses des expériences d'évaluation étant faites par les différents acteurs de l’IDEFI-X et les experts-chercheurs pour faire émerger un consensus sur l’adoption d’un outil/référentiel commun de l’IDEFI-X co-construit par ses différents acteurs.

3.4. Constats de l’évaluation externe

50Ces différents matériaux comme les échanges avec les acteurs impliqués ont aussi pour objectifs d’émettre de premiers constats plus généraux, en dépassant les analyses spécifiques de chaque projet et les comparaisons des projets avec les uns pour mettre à jour des aspects transversaux d’un même projet d’établissement. Dans le cadre de l’expérience d’évaluation de l’IDEFI-X, notre démarche évaluative a permis d’identifier plusieurs éléments transversaux qui semblent caractériser les dispositifs innovants mis en œuvre dans l’établissement. Il s’agit d’une rencontre entre deux types de dynamique. Une première dynamique repose sur les composantes institutionnelles et les décideurs qui tentent innover les pratiques pédagogiques ou les dispositifs d’accompagnement dans une visée transformatrice. La deuxième dynamique s’est créée au sein d’une partie de la communauté universitaire et les acteurs intéressés par les questions pédagogiques. Ces innovateurs volontaires constituent une force vive au sein des certaines composantes et le premier foyer des initiatives locales destinées à faire évoluer la réalité pédagogique. Cependant, l’évaluation a permis de constater l’existence des facteurs de risques pour certaines initiatives, susceptibles de mettre en péril la pérennité des actions engagées.

51La fragilité de certaines actions semble reposer sur le fait que les ressources mobilisées par les différentes actions sont entièrement dépendantes du soutien matériel et politique de l’IDEFI-X. L’engagement des acteurs locaux est souvent individuel, sans bénéficier d’une adhésion massive des équipes pédagogiques. L’absence d’un accompagnement aux actions innovantes semble aussi fragiliser certains innovateurs individuels qui ont besoin d’un soutien méthodologique afin de faire face aux difficultés rencontrées. Le besoin le plus crucial semble être la mise en place d’une évaluation formative destinée à améliorer le fonctionnement du dispositif.

52Un autre risque concerne la baisse de motivation des innovateurs confrontés à l’inertie de certains collègues qui peinent à s’engager et à aider l’innovation pédagogique. La conséquence directe de la faiblesse de l’engagement collectif serait la lourdeur des tâches pédagogiques pour les plus mobilisés qui est susceptible d’entrer en concurrence avec leur activité de recherche.

53Sur le plan collectif, on remarque le manque de production de connaissances collectives au sein de l’université, alors même qu’une diffusion et une valorisation de ces innovations auraient pu être faites par certains acteurs tant au niveau local que à l’extérieur de l’université. Ces connaissances, collectivement développées et partagées, seront susceptibles de permettre une réflexivité plus dynamique et riche sur les actions en cours. L’analyse critique et la réflexivité des acteurs apparaissent comme une piste pour dépasser le cadre de l’action pour engager et transformer les expériences innovantes en cours.

4. Discussion - Conclusion

54Si la principale visée de l’évaluation est formative, le développement d’un dialogue ouvert et critique entre l’évalué et l’évaluateur-externe serait d’autant plus utile qu’il permettra a priori une plus grande appropriation et acceptation des résultats de l’évaluation, condition nécessaire à leur utilisation par les acteurs des dispositifs évalués.

55L’expérience de la co-évaluation menée dans le cadre d’un projet IDEFI a révélé plusieurs phénomènes importants :

56L’institutionnalisation des innovations pédagogiques est un processus lent et peinent parfois à être acceptées et incorporées par l’environnement universitaire. Malgré la satisfaction exprimée par les acteurs impliqués dans les projets évalués, les données de l’évaluation montrent que le contexte local n’est pas toujours très favorable ou mobilisé en rapport avec ces projets. Le fait de discuter cette dimension des actions innovantes a permis aux acteurs impliqués et aux décideurs de mieux appréhender la complexité de faire évoluer l’institution et sa culture. Au fur et à mesure que la démarche innovante se coule dans la réalité institutionnelle et son fonctionnalisme, le contexte tend à s’affiner et à intégrer tant bien que mal la norme.

57Au départ, le caractère formateur de la démarche d’évaluation a été loin d’être une évidence pour les acteurs impliqués des actions innovantes menées au sein de l’établissement. Mais par exemple, les acteurs ont pu participer à la construction du référentiel d’évaluation ou constater la différence entre une enquête de satisfaction réalisée lors d’une soirée d’intégration étudiante ou à la sortie de la bibliothèque et l’évaluation de ces dispositifs. La co-évaluation comme processus de connaissance est ainsi devenue un miroir pour voir autrement l’action en cours. La co-présence des différents acteurs impliqués contribue à mettre en commun des connaissances et des outils (Monceau, 1996). Le risque des tensions entre les deux partenaires existe réellement lorsque les points de vue sur les stratégies d’action, le fonctionnement ou les effets effectivement produits par l’action ne se convergent pas.

58Le développement d’une connaissance méthodologique de l’évaluation et le fait de devenir sujet de l’acte d’évaluer à travers la co-évaluation contribuent à mieux intégrer la place de l’évaluation dans les pratiques institutionnelles. La prise en compte de la dimension intersubjective de l’activité évaluative a favorisé l’approche interprétative. La démarche de co-évaluation a effectivement contribué à transformer les acteurs en partenaires (Figari et Remaud, 2014; Rodrigues, 2006). Les experts-chercheurs ont aussi pris le risque de faire travailler la contradiction et d’assumer les différences logiques initiales des acteurs (Vial, 2001).

59La co-évaluation a permis aussi une proximité plus importante entre les experts-chercheurs avec le terrain et les acteurs concernés, indispensable pour porter un regard de l’intérieur sur le processus de changement institutionnel. Le partenariat ne signifie pas un rapport entièrement horizontal entre l’évaluateur externe et le co-évaluateur interne. Si une évaluation critériée implique une relation verticale entre évaluateur et évalué, dans la co-évaluation, il faut chercher un consensus, une sorte de transversalité, qui tente de saisir le point de vue des acteurs impliqués suivi par une lecture raisonnée et critique de l’évaluateur-externe. C’est la recherche de ce compromis qui semble permettre de réussir la co-évaluation.

60Nous avons pu effectivement faire naître un dialogue formateur entre les évaluateurs externes et les acteurs locaux. La démarche de co-évaluation a permis de créer un espace de dialogue ouvert et critique entre les évaluateurs externes, les acteurs engagés et les décideurs. La construction du référentiel et la co-évaluation a été, comme disait Cardinet (1990), une évaluation négociée, une confrontation des analyses externes et internes en vue de rechercher la signification la plus complète des résultats de l’évaluation. Il s’agit d’une triangularisation permettant de développer une médiation formatrice et apprenante entre les décideurs politiques et les acteurs impliqués dans les différents projets. L’objectif a été d’éviter une évaluation vue comme externe, verticale et critériée, pour répondre à une commande institutionnelle. Le choix de faire participer activement les acteurs concernés par l’évaluation a été aussi motivé par une démarche formative pour aider à développer une culture d’évaluation au sein de l’établissement. La mise en place des actions innovantes et leur évaluation sont doublement « instituantes », dans la mesure où elles ne faisaient partie des « routines » des pratiques universitaires. Dans cette perspective, une démarche compréhensive qui privilégie le dialogue et la participation est susceptible de diminuer les résistances éventuelles et de contribuer au développement d’une nouvelle culture au sein de l’institution. C’est à travers ce processus d’institutionnalisation de l’évaluation que la culture d’évaluation arrive à pénétrer progressivement la vie universitaire et le caractère rationnel et régulateur de ce fonctionnalisme est lui-même une conquête progressive.

61L’expérience de co-construire l’évaluation d’un projet pédagogique d’établissement semble avoir permis aux acteurs impliqués de devenir l’objet et le sujet de la démarche évaluative. Co-construire signifie converger les points de vue et le sens accordé au fait de faire évaluer. Cette approche s’éloigne ainsi d’une perspective se résumant à une compilation d’indicateurs variés, que ce soient des données collectées au niveau de l’établissement ou au niveau de chaque projet. Cette manière de saisir l’évaluation comme norme instituante semble être un changement paradigmatique pour acteurs et décideurs qui ont pu voir les experts-chercheurs se transformant en accompagnateurs et partenaires et l’évaluation comme un acte à la fois formateur et formatif.

62L’objectivité attendue dans un travail d’évaluation devient un défi majeur car les acteurs impliqués qui ne sont pas toujours en mesure de produire des informations « valables » et « objectives » comme ont pu les montrer les travaux sur le PRL (Perret, 2014). L’accompagnement formatif et le dialogue critique doivent participer à améliorer l’objectivité attendue dans l’évaluation.

63Le modèle de la co-évaluation expérimenté présenté dans cet article doit être davantage travaillé et approfondi sur le plan pratique et théorique. Si généralement, deux types de projet d’évaluation sont envisageables, à savoir le pilotage des actions contrôlées par le changement ou l’accompagnement du processus du changement (Vial, 2012), il est possible de positionner l’expérience proposée sous l’angle de l’accompagnement.

64Mais le modèle de co-évaluation expérimenté semble contribuer à offrir des perspectives nouvelles pour l’évaluation de projets d’établissement tels qu’ils sont en vogue dans l’enseignement supérieur avec les différents appels à projets ou appels à manifestation d’intérêt. Le modèle présenté dans cet article ce modèle est nettement plus chronophage et impliquent une écoute sensible et un dialogue ouvert et critique. La co-évaluation contribue aussi à « dédramatiser » l’acte d’évaluer dans une institution qui peut percevoir l’évaluation comme une démarche de contrôle. La démarche implique une clarification de ses objectifs, une plus grande transparence de ses finalités et une participation à la conception et à la mise en place des moyens d’y parvenir. Il s’agit de donner du sens aux pratiques évaluatives pour les acteurs impliqués et d’intégrer les personnes concernées par l’évaluation, dans la construction de la réponse à trouver. L’idée est de dépasser l’opposition classique entre évalué et évaluateur. Il s’agit d’un moment fondateur d’une co-évaluation qui participe à configurer les liens entre deux pôles : les acteurs internes et les intervenants extérieurs.