Navigation – Plan du site

AccueilNuméros38(1)ArticlesUne méthodologie d’évaluation d’u...

Articles

Une méthodologie d’évaluation d’un dispositif d’aide aux primo-entrants à l’université

Isabelle Bournaud et Patrick Pamphile

Résumés

Evaluer un dispositif pédagogique est une préoccupation importante des universités françaises aujourd’hui. D’une part parce que ces dispositifs s’inscrivant dans la lutte contre l’échec massif en premier cycle universitaire, ils sont considérés comme un investissement; et d’autre part dans le cadre de l’amélioration de la qualité des formations. Cet article présente une méthodologie d’évaluation d’un dispositif pédagogique basée sur trois critères de qualité identifiés dans la littérature : l’efficacité pédagogique, l’efficience et l’équité pédagogique. Ces critères sont évalués à partir d’indicateurs calculés sur la perception de maîtrise rapportée par les étudiants sur les thèmes travaillés dans le dispositif. Cette méthodologie est illustrée sur un dispositif mis en place dans une des composantes de l’Université Paris-Saclay.

Haut de page

Texte intégral

1. Introduction

1.1. Contexte

1Avec la démocratisation de l’accès à l’enseignement supérieur, la mise en place de dispositifs pédagogiques visant à améliorer la réussite des étudiants est devenue une préoccupation importante des universités. Compte tenu des taux d’échec ou d’abandon importants en 1re année d’université, ces dispositifs sont considérés d’une part comme un investissement et d’autre part comme faisant partie de la formation en premier cycle. Leur évaluation est alors indispensable pour les valoriser, rendre compte aux différentes parties prenantes (étudiants, enseignants, institution l’ayant financé, …) et également afin de les améliorer (Depover, et al., 2018; Bernard, 2011; Salmon et al., 2009). En outre, lorsque les actions sont le fruit de décisions gouvernementales, telles que le Plan Réussite en Licence1 (PRL) en France entre 2007 et 2012 ou loi dite ORE2, et le Plan Etudiants en 2018, l’élaboration d’un bilan est indispensable.

2Différents modèles ont été proposés pour l’évaluation d’une formation. Parmi ceux-ci, le modèle de Kirpatrick est largement utilisé (Monnot, 2014). Dans le contexte universitaire, les travaux menés mettent en évidence que l’évaluation d’un dispositif pédagogique est complexe et difficile à analyser (Michaut, 2003; Perret, 2015; Salmon et al., 2009). Les difficultés résident notamment dans le choix des critères d’évaluation de la qualité du dispositif (validation du semestre ou de l’année, développement de méthodes de travail, affiliation de l’étudiant), dans le recueil de données représentatives, dans le choix de l’outil de recueil (questionnaire à questions fermées ou ouvertes, entretiens, …), dans le choix des indicateurs à analyser (taux de réussite…) et des données pour les construire (enquête quantitative, qualitative, observation, …), ou encore dans le moment où l’évaluation est réalisée (à chaud ou à froid). De surcroit, une difficulté inhérente aux recherches en éducation est que la validité de l’évaluation peut être remise en question : les très nombreuses variables qui interviennent dans la réussite étudiante peuvent varier d’une année à l’autre, et ne sont pas toutes considérées simultanément (Sanchez et Monod-Ansaldi, 2015).

1.2. Objectifs de la présente étude

3Nous abordons ainsi dans ce travail trois questions de recherche relatives à l’évaluation d’un dispositif pédagogique :

4- Quels critères de qualité? En d’autres termes, quelles dimensions retenir pour définir la qualité?

5- Quelles données recueillir? Comment les recueillir?

6- Quels indicateurs construire sur ces données pour évaluer les critères à partir des données?

7Le cadre théorique de ce travail est présenté dans la partie 2. La méthodologie d’évaluation proposée est exposée dans la partie 3, et illustrée sur un dispositif mis en place dans une des composantes de l’Université Paris-Saclay. Pour finir, les atouts et limites de cette méthodologie sont discutés dans la partie 4.

2. Cadre théorique

8Dans le contexte universitaire français, avant la mise en place institutionnelle du PRL entre 2007 et 2012, puis de la loi ORE et du Plan Etudiants en 2018, les travaux sur l’évaluation des dispositifs pédagogiques d’aide aux étudiants n’avaient que peu donné lieu à une évaluation (Michaut, 2003). En effet, les équipes impliquées dans les actions pédagogiques d’accompagnement concentraient leurs actions sur l’aide aux étudiants plus que sur l’évaluation du dispositif (Morlaix et Perret, 2013; Salmon et al., 2019). En outre, mettre en place une évaluation requiert l’obtention de données qui ne sont pas toujours aisément disponibles (par exemple les résultats académiques de l’année) et une compétence dans l’analyse de ces données. Perret et Morlaix (2014) indiquent que « la recherche sur la mesure des dispositifs pédagogiques à l’université reste balbutiante » (p.188). L’institutionnalisation de dispositifs d’aide aux primo-entrants a depuis rendu leur évaluation plus systématique.

9Des modèles d’évaluation d’une formation ont d’abord été proposés dans le cadre de la formation professionnelle, et plus récemment dans le contexte scolaire puis universitaire.

2.1. Quels modèles? Quels critères?

10Dans les années 60, Kirkpatrick a mis au point un modèle d’évaluation hiérarchique d’une formation, qui repose sur quatre niveaux : 1-réaction (les participants ont-ils apprécié les modalités pédagogiques, la formation?); 2-apprentissage (les participants ont-ils fait des apprentissages?); 3-comportement (les participants ont-ils transféré les apprentissages réalisés en situation professionnelle?); 4-résultats (la formation a-t-elle eu un effet sur l’organisation?). Chaque niveau est un critère de qualité de la formation. Plus le niveau est élevé, plus il fournit de l’information qui revêt de l’importance pour l’entreprise. Il ne s’agit cependant pas de choisir d’évaluer selon un des quatre critères, mais plutôt d’évaluer au regard des quatre critères. Bien que critiqué notamment sur la relation causale entre les niveaux, ce modèle, ou une déclinaison (Dunberry et Péchard, 2007; Praslova, 2010), est largement utilisé dans les entreprises françaises pour l’évaluation de formations professionnelles (Monnot, 2014); il a également désormais pleinement intégré le champ de la pédagogie universitaire. Ces modèles ont le mérite d’amener à expliciter précisément les finalités de l’action de formation, ce qui constitue un pas important dans son évaluation (Dunberry et Péchard, 2007). Le lecteur intéressé par ces différents modèles pourra se référer à Tamkin et al. (2002). Selon Gérard (2001), certains critères utilisés pour évaluer une formation professionnelle peuvent également servir à évaluer les systèmes éducatifs; c’est le cas notamment des niveaux-critères 2, 3 et 4 du modèle de Kirkpatrick que l’on va retrouver dans la notion d’efficacité, interne ou externe, d’un dispositif pédagogique.

11Ainsi, concernant la problématique de l’évaluation des systèmes éducatifs, les experts s’accordent pour l’articuler autour des concepts-clés de l’efficacité, de l’efficience, auxquels s’ajoute celui d’équité, dont Sall et De Ketele (1997) montrent l’importance.

12- L’efficacité d’une action de formation est évaluée sur un volet interne et sur un volet externe. L’évaluation interne vise à évaluer les acquis d’apprentissages. Plus précisément, il s’agit de vérifier que les objectifs de la formation ont été atteints, que les participants ont acquis, à la fin de la formation, les compétences visées. On parle ainsi de l’efficacité pédagogique de la formation (Gérard, 2001; Sall et De Ketele, 1997); on retrouve ici le niveau 2-apprentissages du modèle de Kirkpatrick. L’évaluation externe quant-à-elle a deux visées : d’une part évaluer le transfert des apprentissages (Les acquis de la formation sont-ils appliqués sur le terrain, dans d’autres cadres de la formation universitaire? Les participants, une fois revenus sur leur poste de travail, mettent-ils en œuvre les compétences acquises lors de la formation?) et d’autre part évaluer l’impact de la formation sur l’entreprise (Les compétences acquises lors de la formation permettent-elles de faire évoluer l’organisation?). On retrouve ici les niveaux 3-comportements et 4-résultats du modèle de Kirkpatrick. L’évaluation externe vise ainsi à évaluer l’impact de la formation sur le terrain. Notons qu’il est difficile sur le terrain d’isoler ce qui est dû uniquement à la formation. Pourtant, comme le souligne Gérard (2001), c’est ce point qui intéresse véritablement l’entreprise dans le cadre de la formation professionnelle.

13- L’efficience d’une formation mesure les résultats effectivement obtenus à la fin de l’action en fonction de la nature et du volume des moyens mis en œuvre pour la réaliser; il s’agit donc de l’efficacité rapportée aux moyens utilisés. Elle se décline également en efficience interne, et efficience externe (Sall et De Ketele, 1997).

14- Enfin, l’équité d’une formation, selon Sall et De Ketele (1997), se décline en cinq volets : équité en matière d’accès, de confort, de production, d’accomplissement et équité pédagogique (réduction de l’écart entre les plus performants et les moins performants entre le début et la fin de l’action pédagogique). Il n’est pas inutile d’indiquer que l’équité pédagogique et l’efficacité pédagogique ne sont pas nécessairement liés (Gérard, 2001). En effet, les apprenants peuvent avoir atteint les objectifs de la formation sans pour autant que l’écart de maîtrise des compétences ou de connaissances entre les apprenants ait été réduit, notamment s’il y a une forte hétérogénéité de maîtrise au départ.

15Il est intéressant de noter que dans leurs travaux sur la mesure de la qualité, Bouchard et Plante (2002) proposent un modèle basé sur neuf qualités transversales, parmi lesquelles on retrouve l’efficacité et l’efficience.

16Pour De Ketele et Gerard (2007) « Il ne s’agit pas seulement d’être efficace, mais aussi équitable. Il s’agit non seulement que l’ensemble du groupe d’élèves progresse, mais aussi que le fossé qui, au départ, sépare les élèves les plus faibles des plus forts ne se creuse pas et, si possible, se réduise. » (p. 12).

2.2. Quelles données et quels indicateurs à considérer?

17Le groupe de recherche AdAPTE (Actions d’Accompagnement Pédagogique, leur Typologie et leur Evaluation) a proposé une grille d’analyse des actions d’accompagnement pédagogiques des primo-entrants dans l’enseignement supérieur (Salmon et al., 2009). Six éléments constitutifs de l’évaluation sont identifiés : le commanditaire, les buts poursuivis (concevoir, justifier, réguler…), les données collectées (avis des acteurs, profils des étudiants…), les outils utilisés pour la collecte (questionnaires, entretiens…), les acteurs interrogés, le moment de l’évaluation. Outre le critère de réussite des étudiants pour évaluer la formation, le groupe mentionne le développement de stratégies d’études par les étudiants ou une meilleure affiliation.

18La méthode proposée par Gérard (2001) consiste à évaluer l’efficacité pédagogique d’une formation via une auto-évaluation par les apprenants de leur niveau de maîtrise pour chacune des compétences générales et spécifiques avant et après la formation. Mesurer l’écart avant-après ne correspond pas une évaluation des acquis d’apprentissage par l’enseignant, mais constitue néanmoins un indicateur de mesure de l’efficacité pédagogique. Gérard (2001) suggère de considérer en plus des gains bruts (différence de niveau entre après et avant), les « gains relatifs » qui correspondent au gain brut rapporté à ce qui aurait pu être gagné grâce à la formation. Concernant le moment où se déroule l’évaluation, la validation de l’outil par l’auteur montre que le double questionnement sur le niveau de maîtrise peut être fait à la fin de la formation. On peut penser que l’apprenant est plus à même d’estimer la différence de maîtrise entre avant et après lorsqu’il exprime les deux au même moment.

19Michaut (2003) propose de mesurer l’efficacité d’un dispositif pédagogique au regard de l’amélioration de la réussite à l’année, de la diminution des abandons, ou encore si le dispositif favorise l’intégration universitaire ou le développement des compétences des étudiants. Il met cependant l’accent sur la difficulté de mener une telle évaluation :

20- l’écart entre les taux de réussite (par exemple) des étudiants ayant suivi le dispositif et ceux ne l’ayant pas suivi peut être biaisé par un « effet groupe ». Pour l’éviter, il est nécessaire d’avoir une forte concordance entre les deux groupes, ce qui est rarement le cas notamment lorsque le dispositif est optionnel, ou obligatoire pour une sous-population spécifique;

21- la présence à l’université n’étant pas toujours obligatoire, la fréquentation du dispositif peut ne pas être un indicateur pertinent.

  • 3 Rapport du Comité de suivi de la licence et de la licence professionnelle. Année 2010-2011, CPU/Par (...)

22Dans le cadre du PRL, différents dispositifs à destination des primo-entrants ont été mis en œuvre, variant selon les universités et au sein même des universités3. Morlaix et Perret (2013) présentent une analyse des effets du PRL, à l’université de Bourgogne, qui repose sur une analyse de la validation du diplôme à l’aide de modèles de régression logistique. Les facteurs considérés sont les caractéristiques sociodémographiques des étudiants, la filière, l’année universitaire, les actions PRL suivies; l’indicateur d’évaluation de l’efficacité du dispositif est la réussite au semestre 1 (Admis, Ajourné, Abandon).

23Ces différents travaux se focalisent principalement sur la dimension de l’efficacité du dispositif pédagogique, qui est évaluée au regard des résultats académiques au semestre ou à l’année (Michaut, 2003; Perret, 2015; Salmon et al., 2009).

24Une autre approche consiste à se baser sur les avis des étudiants sur l’impact du dispositif. C’est ainsi que le Service Universitaire de pédagogie de l’Université Joseph Fourier de Grenoble a évalué, entre 2010 et 2014, deux approches mises en place pour favoriser le développement des méthodes de travail des étudiants, dans le cadre du PRL (Cosnefroy et al., 2014). Les auteurs se sont basés sur les avis des étudiants sur l’évolution de leurs pratiques et sur le dispositif, recueillis via des questionnaires d’évaluation administrés à la fin du dispositif. Ces questionnaires comportaient une vingtaine de questions fermées (réponses portées sur une échelle de Lickert à quatre modalités), une question d’appréciation globale avec une échelle à six modalités, et trois questions ouvertes (point forts, points faibles, points à améliorer). Pour évaluer l’impact du dispositif, les auteurs utilisent comme indicateur le fait que les étudiants déclarent avoir fait évoluer leurs pratiques.

25Perrault, Brassart et Dubus (2010) utilisent pour leur part le sentiment d’efficacité personnelle comme indicateur de la qualité d’une formation pour des futurs enseignants, couplé à une auto-évaluation des participants de leurs activités et également une évaluation des apprentissages par les formateurs.

26Figari et Remaud (2014) ont proposé le modèle ICP (Induit – Construit – Produit) dans lequel on retrouve les deux critères d’évaluation : efficacité et efficience, pour les volets pédagogique et économique, auxquels s’ajoute la pertinence qui concerne le volet politique de la mise en place d’un dispositif pédagogique à l’université. La pertinence mesure la conformité entre le dispositif et les objectifs visés par l’établissement. Par exemple, un dispositif à destination des étudiants ayant obtenu une mention TB (Très Bien) au baccalauréat est-il pertinent pour favoriser la réussite de tous les primo-entrants en 1re année universitaire?

27Pour résumer, dans les travaux existants sur l’évaluation d’un dispositif pédagogique, différentes données sont considérées : des données sur le profil des étudiants et leur taux de participation; des données concernant leur degré de satisfaction par rapport à l’atteinte des objectifs annoncés, la qualité du dispositif ainsi que la réponse à leurs attentes; des données sur le ressenti des étudiants (utile/pertinent, rassurant, motivant, soutenant, incitant, …). Par ailleurs, des données sur les effets du dispositif sont également prises en compte : la réussite aux examens et l’évolution du comportement des étudiants. Toutefois, dans la majorité des cas, le critère utilisé pour évaluer le dispositif est l’efficacité mesurée par le taux de réussite aux examens. Or, si les dispositifs pédagogiques visent à améliorer la réussite, cette dernière dépend de nombreux autres facteurs : contexte d’études, connaissances initiales, pratiques d’étude, modalités de contrôles des connaissances (Berthaud, 2017; Michaut et Romainville, 2012; Paivandi, 2015). Par ailleurs, les dispositifs peuvent viser des objectifs intermédiaires à la réussite aux examens : le développement de stratégies d’étude efficaces, l’épanouissement des étudiants, leur persévérance, une meilleure affiliation... (Gilibert et Gillet, 2010). Ainsi, des indicateurs permettant de mesurer des changements chez les apprenants doivent également être proposés. Enfin, les indicateurs doivent fournir des pistes d’amélioration du dispositif en termes d’équité pédagogique et d’efficience.

3. Méthodologie d’évaluation proposée

28Au vu de notre revue de littérature, nous avons retenu trois critères pour évaluer un dispositif pédagogique : l’efficacité pédagogique, l’efficience et l’équité pédagogique.

29Pour évaluer ces critères, nous utilisons différents indicateurs qui sont calculés, à l’instar de Cosnefroy et al., (2014) et Gérard (2003), à partir de la perception de maîtrise des étudiants des thèmes travaillés dans le dispositif, et de l’évolution de celle-ci avant et après le dispositif. La perception de maîtrise est auto-rapportée par les étudiants, à la fin du dispositif.

  • 4 DUT : Diplôme Universitaire de Technologie, préparé dans un Institut Universitaire de Technologie ( (...)
  • 5 GEA : Gestion des Entreprises et des Administrations

30Cette méthodologie est utilisée pour évaluer deux dispositifs à destination de primo-entrants dans des composantes de l’Université Paris-Saclay. Nous l’illustrons ici sur le dispositif mis en place depuis 2018 pour les étudiants de 1re année de DUT4 dans un département GEA5 de l’IUT de Sceaux. Ce dispositif consiste en une série de six séances obligatoires pour tous les étudiants de la promotion. Ces séances, dont les thématiques ont été choisies au regard des difficultés des primo-entrants à l’université (gérer son temps, être efficace dans ses apprentissages, gérer ses émotions, rédiger des fiches de synthèse…), se déroulent sous la forme d’ateliers sur la première moitié du semestre 1. Le lecteur intéressé trouvera la description détaillée de ce dispositif dans (Bournaud et Pamphile, 2021). L’objectif ici n’est en effet pas de présenter l’évaluation de ce dispositif mais d’illustrer la méthodologie d’évaluation proposée.

3.1. Données collectées

31Un questionnaire a été administré en ligne auprès des étudiants de la promotion via la plateforme d’enseignement de l’Université à la fin du dispositif. Les étudiants devaient indiquer leur perception de maîtrise avant et après le dispositif concernant différents items abordés dans les ateliers. Ces items ont été élaborés au regard des thèmes travaillés dans le dispositif. Par exemple, pour le thème « Gérer son temps », un item proposé est « Je planifie mon travail sur la semaine », pour le thème « Rédiger des fiches de synthèse » un item proposé est « Je suis capable d’extraire les informations essentielles d’un document ou d’un cours ».

32Une échelle mixte de perception de maîtrise est utilisée pour les modalités de réponse (voir tableau 1 ci-dessous). L’échelle numérique permet de faire des calculs; on utilise des valeurs négatives et des valeurs positives pour traduire une perception négative ou positive. L’échelle qualitative permet à l’étudiant de se positionner.

33Il s’agit d’études longitudinales : les données sont collectées tous les ans (trois années à ce jour) afin de pouvoir mesurer l’évolution de l’évaluation des différents critères considérés.

Tableau 1. Exemple d’item et modalités de réponse

Je planifie mon travail sur la semaine

-5 Non, pas du tout

-4

-3

-2

-1 Non, pas vraiment

1 Oui, plutôt

2

3

4

5 Oui, tout à fait

Avant

Après

3.2. Indicateurs utilisés

34À partir de la perception de maîtrise avant et après le dispositif, rapportée par les étudiants, nous calculons différents indicateurs présentés ci-dessous.

3.2.1. Moyenne et coefficient de variation

35Pour chacun des items, nous calculons la moyenne et le coefficient de variation des perceptions de maîtrise des étudiants, avant et après le dispositif (voir Tableau 2 ci-après).

Tableau 2. Indicateurs de tendance et de dispersion

Moyenne

x_moy

C’est un indicateur de tendance centrale des réponses.

Coefficient de variation

x_moy/sigma

sigma est l’écart-type des réponses. Le coefficient de variation est un indicateur de dispersion des réponses. Il est noté en pourcentage

3.2.2. Gain brut et gain relatif

36Par ailleurs, pour chacun des items on calcule deux autres indicateurs : le gain brut moyen et le gain relatif (voir Tableau 3 ci-après) :

Tableau 3. Gain brut moyen et gain relatif

Gain brut moyen

(xaprèsxavant)_moy

Correspond à ce qui a été « gagné » au cours de l’action

Gain relatif

Delta =

(xaprèsxavant)_moy /

(xmaxxavant)_moy

Rapport entre les moyennes de ce qui « a été gagné » et de ce qui « aurait pu être gagné » au cours de l’action (xmax étant la valeur maximale à atteindre).

37Pour illustrer les notions de gain brut et de gain relatif, considérons l’exemple de réponses de quatre groupes (voir Tableau 4 ci-dessous).

Tableau 4. Exemple de gain brut et relatif

Groupe

xavant_moy

xaprès_moy

Gain brut

Gain relatif

A

-5

-4

1

10 %

B

4

5

1

100 %

C

-1

1

2

33 %

D

-4

1

5

56 %

38Considérons les groupes A et B de cet exemple : on voit que le gain brut ne permet pas de discriminer ces deux groupes (le gain brut est de 1 pour les deux groupes) alors que les niveaux atteints ne sont pas les mêmes : le groupe A est arrivé à -4 alors que le groupe B est arrivé à 5. On utilise alors le gain relatif. Le gain relatif prend en compte ce qui aurait pu être gagné, c’est-à-dire l’écart entre le niveau de départ et le niveau maximum. Les groupes A et B n’ont effectivement pas le même gain relatif (respectivement 10 % et 100 %). Considérons les groupes C et D : ils ont atteint le même niveau après l’action (xaprès_moy = 1), mais n’étaient pas au même niveau avant (-1 pour le groupe C, -4 pour le groupe D). Les gains relatifs sont alors de 33 % pour le groupe C et 56 % pour le groupe D.

3.3. Critères évalués à partir des indicateurs

39Le coefficient de variation est un indicateur de dispersion : nous l’avons retenu comme indicateur car il permet de mesurer l’hétérogénéité des réponses, c’est-à-dire la différence de perception de maîtrise entre les étudiants (Saporta 2006). Par conséquent, nous l’utilisons comme indicateur pour évaluer l’équité pédagogique du dispositif (Gérard 2003).

40La moyenne est un indicateur de tendance centrale, elle est utilisée pour calculer le gain brut. Celui-ci sert à évaluer l’efficacité pédagogique de l’action.

41Le gain relatif est l’efficacité rapportée à ce qui aurait pu être gagné : nous l’utilisons pour évaluer l’efficience de l’action. A l’instar de Gérard (Gérard, 2003), nous utiliserons le seuil de significativité de 30 % : l’action est considérée comme efficiente si le gain relatif est supérieur à 30 %.

42Notons que les données étant calculées sur un échantillon d’étudiants, il convient de valider les résultats à l’aide de tests statistiques (Saporta, 2006).

3.4. Illustration de l’analyse des indicateurs

43Afin d’illustrer l’utilisation des indicateurs pour évaluer les critères considérons le tableau 5 qui fournit les valeurs des indicateurs pour deux items de l’évaluation du dispositif.

Tableau 5. Exemple d’indicateurs pour deux items

 

Moyenne

Coeff. de variation 

Gain brut moyen

Gain relatif

Q1-Je connais les personnes ressources et leur rôle dans ma formation

Avant

-1

245,0 %

2,8

46,0 %

Après

1,8

95,9 %

Q10-En général avant un contrôle, je sais quoi faire pour avoir une bonne note

Avant

1,3

131,7 %

1,0

23,9 %

Après

2,3

72,9 %

44L’analyse des indicateurs pour l’item Q1 du tableau 5 fournit les éléments suivants :

45- Gain brut moyen : on constate une amélioration en moyenne du niveau de maîtrise perçu : on passe en moyenne de -1 avant à 1,8 après (gain brut moyen de 2,8). On peut considérer que l’action a été efficace. On valide cette décision à l’aide d’un test des rangs signés de Wilcoxon (Saporta, 2006). Notons ici que l’écart avant-après est statistiquement significatif (p-value<0,001).

46- Coefficient de variation du niveau de maîtrise : il a nettement diminué entre avant (245,0 %) et après (95,9 %). Cela signifie que les réponses après sont moins hétérogènes qu’avant. Ce résultat met en avant l’équité pédagogique de cette action.

47- Gain relatif : celui-ci étant supérieur à 30 %, on considère que l’action a été efficiente. Pour tester l’écart à 30 % on utilise un test Z (Saporta, 2006). Notons ici que l’écart avant-après est statistiquement significatif (p-value<0,001).

48Considérons maintenant l’item Q10 du Tableau 5 ci-dessus, et analysons les indicateurs :

49- Gain brut moyen : la perception de maîtrise augmente puisque la moyenne passe de 1,3 avant les ateliers à 2,3 après : l’action a donc été efficace.

50- Coefficient de variation : il a diminué entre avant (131,7 %) et après (72,9 %), ce qui met en avant l’équité pédagogique de cette action.

51- Gain relatif : le gain relatif est de 23,9 % (<30 %), donc on ne peut pas dire que l’action a été efficiente. Une explication de ce résultat que l’on pourrait avancer est que certains étudiants ont considéré qu’ils maitrisaient cet élément avant l’action et ont pris conscience après les premières évaluations des apprentissages que ce n’était pas le cas. Quoiqu’il en soit, cette valeur du gain relatif inférieur à 30 % peut être considérée comme un indicateur d’une piste d’amélioration pour l’action pédagogique.

4. Discussion : atouts et limites de la méthodologie proposée

52Au regard de la revue de littérature, nous proposons dans ce travail de considérer trois critères pour évaluer un dispositif pédagogique : l’efficacité pédagogique, l’équité pédagogique et l’efficience. Pour évaluer ces critères, nous nous basons sur la perception du niveau de maîtrise avant et après le dispositif, rapportée par les étudiants, et utilisons différents indicateurs :

53- Pour mesurer l’efficacité pédagogique, nous utilisons le gain brut moyen, c’est-à-dire ce qui a été « gagné »;

54- Pour mesurer l’équité pédagogique nous utilisons l’écart entre le coefficient de variation avant et après le dispositif, c’est-à-dire la différence d’hétérogénéité des réponses entre les étudiants avant et après le dispositif;

55- Pour mesurer l’efficience du dispositif nous utilisons le gain relatif, c’est-à-dire le rapport entre ce qui a été gagné lors du dispositif et ce qui aurait pu être gagné.

56Ces indicateurs sont utilisés pour le pilotage de la qualité du dispositif : le gain brut, le coefficient de variation et le gain relatif permettent d’identifier des points d’amélioration du dispositif. Ils sont intégrés aux bilans présentés aux instances finançant le dispositif et servent à la communication auprès des futurs étudiants (Université Paris-Saclay, 2020).

57Toutefois, un certain nombre de questions doivent être discutées. Tout d’abord, si la conception du dispositif est évidement un point important, son évaluation doit également être réfléchie dès sa conception. Par ailleurs, nous avons choisi comme données la perception de maitrise des étudiants auto-rapportée. Il ne s’agit donc pas d’un niveau de maîtrise effectif, mais perçu. Comme le soulignent Perrault et al. (2010) « Un sentiment d’efficacité personnelle élevé comme indicateur de l’efficacité d’une formation présente des limites, il ne garantit en aucun l’existence réelle de compétence. L’inverse est également vrai » (p. 5). Toutefois, il ne s’agit pas ici de considérer le niveau de maîtrise comme mesure, mais plutôt son évolution avant et après le dispositif. Notons que certains étudiants déclarent avoir le niveau maximum de maîtrise avant le dispositif, ou une perception de niveau de maitrise après le dispositif inférieur à celui d’avant. Dans les deux cas, on peut se demander si le dispositif a permis à ces étudiants de prendre conscience de leur niveau effectif de maîtrise, ce que l’on peut considérer comme un effet positif du dispositif. L’intérêt d’une auto-évaluation de son niveau de maîtrise dans un dispositif d’aide aux primo-entrants, c’est à dire la fonction formative de l’auto-évaluation pourrait ainsi être discuté, mais ce n’est pas l’objet d’étude de ce travail.

58Une autre interrogation porte sur le moment de l’évaluation du dispositif : à chaud ou à froid? Lorsque l’évaluation est menée à chaud, juste à la fin du dispositif (comme cela a été le cas dans le cadre de ce travail) il n’est pas possible de mesurer si les étudiants ont modifié leurs pratiques de manière pérenne, ou s’ils ont pu mettre en pratique ultérieurement dans leur formation les thèmes abordés dans le dispositif. Pour mesurer un transfert des apprentissages par les étudiants une auto-évaluation à froid, en plus de celle effectuée juste à la fin du dispositif, pourrait être pertinente. Toutefois, il faudrait être vigilant sur son interprétation car d’autres éléments peuvent intervenir sur le transfert des apprentissages entre la fin du dispositif et son évaluation à froid.

59Notons qu’un des obstacles pour réaliser l’évaluation d’un dispositif est celui d’avoir un échantillon représentatif des étudiants ayant bénéficié du dispositif. Le fait que les dispositifs analysés soient obligatoires pour tous les étudiants de la promotion a levé cet écueil.

5. Conclusion

60L’évaluation de dispositifs pédagogiques d’aide aux primo-entrants à l’université est devenue ces dernières années une préoccupation importante des universités. Evaluer un dispositif de formation permet de l’améliorer, de le valoriser et de rendre compte aux différentes parties prenantes (étudiants, enseignants, institution l’ayant financé, …) (Depover, et al., 2018; Bernard, 2011; Salmon et al., 2009).

  • 6 Parcours « OUI-SI » : mis en place depuis la rentrée 2018, ils sont destinés aux bacheliers qui, en (...)

61Différents critères peuvent être utilisés pour évaluer un dispositif pédagogique. À partir d’une revue de littérature, nous en avons retenu trois : l’efficacité pédagogique, l’équité pédagogique et l’efficience. Ces critères sont évalués sur la base d’indicateurs calculés à partir de la perception de maîtrise des étudiants avant et après le dispositif, perception auto-rapportée à la fin du dispositif. Cette méthodologie a été appliquée à l’évaluation et au pilotage de deux dispositifs destinés à des primo-entrants dans deux composantes de l’Université Paris-Saclay : des ateliers en 1ère année de DUT à l’IUT de Sceaux (dont quelques éléments ont été donnés ici pour illustrer la méthodologie) et un module pour les étudiants inscrits en parcours « OUI-SI »6 à l’UFR Sciences. Les indicateurs proposés servent au pilotage de ces dispositifs par les formateurs, aux bilans présentés aux instances et à la communication auprès des futurs étudiants. Le travail présenté ici s’inscrit ainsi dans le cadre des recherches évaluatives orientées vers la conception (Design-based research) puisqu’il s’agit de contribuer à l’amélioration de dispositifs évalués (Depover et al., 2018).

Sall, H. N., et De Ketele, J. M. (1997). L’évaluation du rendement des systèmes éducatifs : apports des concepts d’efficacité, d’efficience et d’équité. Mesure et évaluation en éducation, 19(3), 119-142.

Haut de page

Bibliographie

Bernard, H. (2011). Comment évaluer, améliorer, valoriser l'enseignement supérieur? Guide pratique à l'usage des professeurs, cadres dirigeants, responsables pédagogiques. De Boeck Supérieur.

Berthaud, J. (2017). L’intégration sociale étudiante : relations et effets au sein des parcours de réussite en Licence [thèse, Université Bourgogne Franche-Comté].

Bouchard, C. et Plante, J. (2002). La qualité : mieux la définir pour mieux la mesurer. Cahiers du Service de Pédagogie expérimentale, Université de Liège, (11-12).

Bournaud, I. et Pamphile, P. (2021). Un dispositif d’accompagnement dans la transition lycée-université (IUT) : enjeux et effets. Revue internationale de pédagogie de l’enseignement supérieur, 37(2).

Cosnefroy, L., Hoffmann, C., et Douady, J. (2014). L’accompagnement méthodologique. Recherche et formation, (77), 29-44.

De Ketele, J. M., et Gerard, F. M. (2007). La qualité et le pilotage du système éducatif. La Qualité en éducation. Pour réfléchir à la formation de demain. Presses de l'Université du Québec, collection Éducation-Recherche. 19-38.

Depover, C., Karsenti, T. et Komis, V. (2018). La recherche évaluative. Dans T. Karsenti et L. Savoie-Zajc, La recherche en éducation : étapes en approches (4e éd., p. 269-287). Les Presses de l'Université de Montréal.

Dunberry, A. et Péchard, C. (2007). L’évaluation de la formation dans l’entreprise : état de la question et perspectives [rapport]. UQAM/CIRDEP. http://www.cpmt.gouv.qc.ca/publications/pdf/RECHERCHE_T3_Dunberry_Pechard.pdf

Figari et Remaud (2014). Méthodologie d'évaluation en éducation et formation, ou, L'enquête évaluative. De Boeck Supérieur.

Gérard, F. M. (2001). L’évaluation de la qualité des systèmes de formation. Mesure et évaluation en éducation, 24(2-3), 53-77

Gérard, F. M. (2003). L’évaluation de l’efficacité d’une formation. Gestion 2000, 20(3), 13-33.

Gilibert, D., et Gillet, I. (2010). Revue des modèles en évaluation de formation : approches conceptuelles individuelles et sociales. Pratiques psychologiques, 16(3), 217-238.

Michaut, C. (2003). L'efficacité des dispositifs d'aide aux étudiants dans les universités. Recherche et formation.

Michaut, C. et Romainville, M. (2012). Réussite, échec et abandon dans l'enseignement supérieur. De Boeck Supérieur. 54-68.

Monnot, A. (2014). Les pratiques d'évaluation de la formation professionnelle et leurs déterminants dans les entreprises du SBF 120. Management Avenir, (2), 92-111.

Morlaix, S., et Perret, C. (2013). L'évaluation du Plan réussite en Licence : quelles actions pour quels effets? Analyse sur les résultats des étudiants en première année universitaire. Recherches en éducation, Université de Nantes. 137-150.

Paivandi, S. (2015). Apprendre à l'université. Pédagogies en développement. De Boeck supérieur.

Perrault, B., Brassart, D. G., et Dubus, A. (2010). Le sentiment d’efficacité personnelle comme indicateur de l’efficacité d’une formation. Une application à l’évaluation de la formation des enseignants. Dans Actes du congrès de l’Actualité de la recherche en éducation et en formation (AREF), Genève.

Perret, C. (2015). Le Plan Réussite en Licence. Éditions Universitaires de Dijon.

Perret, C. et Morlaix, S. (2014). Des effets du plan réussite en licence sur la sélection universitaire en première année de licence. Carrefours de l'éducation, 38(2), 175-191. http://doi.org/10.3917/cdle.038.0175

Praslova, L. (2010). Adaptation of Kirkpatrick’s four level model of training criteria to assessment of learning outcomes and program evaluation in higher education. Educational Assessment, Evaluation and Accountability, 22(3), 215-225.

Salmon, D., Baillet, D., Boulvain, M., Cobut, B., Coupremanne, M., Duchâteau, D., ... Houart, M. (2009). Construction d’un outil d’évaluation de la qualité des actions d’accompagnement pédagogique. Synthèse d’échanges et d’analyse de pratiques professionnelles en Communauté française de Belgique. Revue internationale de pédagogie de l’enseignement supérieur, 25(25-2).

Sanchez, É. et Monod-Ansaldi, R. (2015). Recherche collaborative orientée par la conception. Un paradigme méthodologique pour prendre en compte la complexité des situations d’enseignement-apprentissage. Éducation et didactique, 9(2), 73-94.

Saporta, G. (2006). Probabilités, analyse des données et statistique. Editions Technip.

Tamkin, P., Yarnall, J., et Kerrin, M. (2002). Kirkpatrick and Beyond: A review of models of training evaluation. Institute for Employment Studies.

Université Paris-Saclay (2020), La réussite étudiante Université Paris-Sud/ Paris-Saclay, Actions 2018-2019 et bilans après la loi ORE. https://www.persay.universite-paris-saclay.fr/la-reussite-etudiante-universite-paris-sud-paris-saclay-actions-2018-2019-et-bilans-apres-la-loi-ore/

Haut de page

Notes

1 PRL : Plan Réussite en Licence http://www.enseignementsup-recherche.gouv.fr/cid20651/plan-pour-la-reussite-en-licence-730-millions-d-euros-d-ici-2012.html

2 LOI n° 2018-166 du 8 mars 2018 relative à l'Orientation et à la Réussite des Etudiants (ORE)

3 Rapport du Comité de suivi de la licence et de la licence professionnelle. Année 2010-2011, CPU/Paris, 2011, p. 49 http://www.cpu.fr/wp-content/uploads/2013/07/rapport_CSL_2010_2011.pdf

4 DUT : Diplôme Universitaire de Technologie, préparé dans un Institut Universitaire de Technologie (IUT)

5 GEA : Gestion des Entreprises et des Administrations

6 Parcours « OUI-SI » : mis en place depuis la rentrée 2018, ils sont destinés aux bacheliers qui, en raison de leurs résultats scolaires, sont acceptés dans la filière demandée sous réserve de suivre un parcours aménagé.

Haut de page

Pour citer cet article

Référence électronique

Isabelle Bournaud et Patrick Pamphile, « Une méthodologie d’évaluation d’un dispositif d’aide aux primo-entrants à l’université »Revue internationale de pédagogie de l’enseignement supérieur [En ligne], 38(1) | 2022, mis en ligne le 13 juin 2022, consulté le 13 août 2022. URL : http://journals.openedition.org/ripes/3873 ; DOI : https://doi.org/10.4000/ripes.3873

Haut de page

Auteurs

Isabelle Bournaud

Groupe Didasco - UR EST - UFR Sciences, Université Paris Saclay, isabelle.bournaud@universite-paris-saclay.fr

Articles du même auteur

Patrick Pamphile

Laboratoire de Mathématiques d’Orsay (LMO), Université Paris Saclay, patrick.pamphile@universite-paris-saclay.fr

Articles du même auteur

Haut de page

Droits d’auteur

CC BY-NC-SA 4.0

Creative Commons - Attribution - Pas d’Utilisation Commerciale - Partage dans les Mêmes Conditions 4.0 International - CC BY-NC-SA 4.0

https://creativecommons.org/licenses/by-nc-sa/4.0/

Haut de page
  • Logo Association internationale de pédagogie universitaire
  • DOAJ - Directory of Open Access Journals
  • OpenEdition Journals
Rechercher dans OpenEdition Search

Vous allez être redirigé vers OpenEdition Search