1. Introduction

1.1. Contexte

2Différents modèles ont été proposés pour l’évaluation d’une formation. Parmi ceux-ci, le modèle de Kirpatrick est largement utilisé (Monnot, 2014). Dans le contexte universitaire, les travaux menés mettent en évidence que l’évaluation d’un dispositif pédagogique est complexe et difficile à analyser (Michaut, 2003; Perret, 2015; Salmon et al., 2009). Les difficultés résident notamment dans le choix des critères d’évaluation de la qualité du dispositif (validation du semestre ou de l’année, développement de méthodes de travail, affiliation de l’étudiant), dans le recueil de données représentatives, dans le choix de l’outil de recueil (questionnaire à questions fermées ou ouvertes, entretiens, …), dans le choix des indicateurs à analyser (taux de réussite…) et des données pour les construire (enquête quantitative, qualitative, observation, …), ou encore dans le moment où l’évaluation est réalisée (à chaud ou à froid). De surcroit, une difficulté inhérente aux recherches en éducation est que la validité de l’évaluation peut être remise en question : les très nombreuses variables qui interviennent dans la réussite étudiante peuvent varier d’une année à l’autre, et ne sont pas toutes considérées simultanément (Sanchez et Monod-Ansaldi, 2015).

1.2. Objectifs de la présente étude

3Nous abordons ainsi dans ce travail trois questions de recherche relatives à l’évaluation d’un dispositif pédagogique :

4- Quels critères de qualité? En d’autres termes, quelles dimensions retenir pour définir la qualité?

5- Quelles données recueillir? Comment les recueillir?

6- Quels indicateurs construire sur ces données pour évaluer les critères à partir des données?

7Le cadre théorique de ce travail est présenté dans la partie 2. La méthodologie d’évaluation proposée est exposée dans la partie 3, et illustrée sur un dispositif mis en place dans une des composantes de l’Université Paris-Saclay. Pour finir, les atouts et limites de cette méthodologie sont discutés dans la partie 4.

2. Cadre théorique

8Dans le contexte universitaire français, avant la mise en place institutionnelle du PRL entre 2007 et 2012, puis de la loi ORE et du Plan Etudiants en 2018, les travaux sur l’évaluation des dispositifs pédagogiques d’aide aux étudiants n’avaient que peu donné lieu à une évaluation (Michaut, 2003). En effet, les équipes impliquées dans les actions pédagogiques d’accompagnement concentraient leurs actions sur l’aide aux étudiants plus que sur l’évaluation du dispositif (Morlaix et Perret, 2013; Salmon et al., 2019). En outre, mettre en place une évaluation requiert l’obtention de données qui ne sont pas toujours aisément disponibles (par exemple les résultats académiques de l’année) et une compétence dans l’analyse de ces données. Perret et Morlaix (2014) indiquent que « la recherche sur la mesure des dispositifs pédagogiques à l’université reste balbutiante » (p.188). L’institutionnalisation de dispositifs d’aide aux primo-entrants a depuis rendu leur évaluation plus systématique.

9Des modèles d’évaluation d’une formation ont d’abord été proposés dans le cadre de la formation professionnelle, et plus récemment dans le contexte scolaire puis universitaire.

2.1. Quels modèles? Quels critères?

10Dans les années 60, Kirkpatrick a mis au point un modèle d’évaluation hiérarchique d’une formation, qui repose sur quatre niveaux : 1-réaction (les participants ont-ils apprécié les modalités pédagogiques, la formation?); 2-apprentissage (les participants ont-ils fait des apprentissages?); 3-comportement (les participants ont-ils transféré les apprentissages réalisés en situation professionnelle?); 4-résultats (la formation a-t-elle eu un effet sur l’organisation?). Chaque niveau est un critère de qualité de la formation. Plus le niveau est élevé, plus il fournit de l’information qui revêt de l’importance pour l’entreprise. Il ne s’agit cependant pas de choisir d’évaluer selon un des quatre critères, mais plutôt d’évaluer au regard des quatre critères. Bien que critiqué notamment sur la relation causale entre les niveaux, ce modèle, ou une déclinaison (Dunberry et Péchard, 2007; Praslova, 2010), est largement utilisé dans les entreprises françaises pour l’évaluation de formations professionnelles (Monnot, 2014); il a également désormais pleinement intégré le champ de la pédagogie universitaire. Ces modèles ont le mérite d’amener à expliciter précisément les finalités de l’action de formation, ce qui constitue un pas important dans son évaluation (Dunberry et Péchard, 2007). Le lecteur intéressé par ces différents modèles pourra se référer à Tamkin et al. (2002). Selon Gérard (2001), certains critères utilisés pour évaluer une formation professionnelle peuvent également servir à évaluer les systèmes éducatifs; c’est le cas notamment des niveaux-critères 2, 3 et 4 du modèle de Kirkpatrick que l’on va retrouver dans la notion d’efficacité, interne ou externe, d’un dispositif pédagogique.

11Ainsi, concernant la problématique de l’évaluation des systèmes éducatifs, les experts s’accordent pour l’articuler autour des concepts-clés de l’efficacité, de l’efficience, auxquels s’ajoute celui d’équité, dont Sall et De Ketele (1997) montrent l’importance.

12- L’efficacité d’une action de formation est évaluée sur un volet interne et sur un volet externe. L’évaluation interne vise à évaluer les acquis d’apprentissages. Plus précisément, il s’agit de vérifier que les objectifs de la formation ont été atteints, que les participants ont acquis, à la fin de la formation, les compétences visées. On parle ainsi de l’efficacité pédagogique de la formation (Gérard, 2001; Sall et De Ketele, 1997); on retrouve ici le niveau 2-apprentissages du modèle de Kirkpatrick. L’évaluation externe quant-à-elle a deux visées : d’une part évaluer le transfert des apprentissages (Les acquis de la formation sont-ils appliqués sur le terrain, dans d’autres cadres de la formation universitaire? Les participants, une fois revenus sur leur poste de travail, mettent-ils en œuvre les compétences acquises lors de la formation?) et d’autre part évaluer l’impact de la formation sur l’entreprise (Les compétences acquises lors de la formation permettent-elles de faire évoluer l’organisation?). On retrouve ici les niveaux 3-comportements et 4-résultats du modèle de Kirkpatrick. L’évaluation externe vise ainsi à évaluer l’impact de la formation sur le terrain. Notons qu’il est difficile sur le terrain d’isoler ce qui est dû uniquement à la formation. Pourtant, comme le souligne Gérard (2001), c’est ce point qui intéresse véritablement l’entreprise dans le cadre de la formation professionnelle.

13- L’efficience d’une formation mesure les résultats effectivement obtenus à la fin de l’action en fonction de la nature et du volume des moyens mis en œuvre pour la réaliser; il s’agit donc de l’efficacité rapportée aux moyens utilisés. Elle se décline également en efficience interne, et efficience externe (Sall et De Ketele, 1997).

14- Enfin, l’équité d’une formation, selon Sall et De Ketele (1997), se décline en cinq volets : équité en matière d’accès, de confort, de production, d’accomplissement et équité pédagogique (réduction de l’écart entre les plus performants et les moins performants entre le début et la fin de l’action pédagogique). Il n’est pas inutile d’indiquer que l’équité pédagogique et l’efficacité pédagogique ne sont pas nécessairement liés (Gérard, 2001). En effet, les apprenants peuvent avoir atteint les objectifs de la formation sans pour autant que l’écart de maîtrise des compétences ou de connaissances entre les apprenants ait été réduit, notamment s’il y a une forte hétérogénéité de maîtrise au départ.

15Il est intéressant de noter que dans leurs travaux sur la mesure de la qualité, Bouchard et Plante (2002) proposent un modèle basé sur neuf qualités transversales, parmi lesquelles on retrouve l’efficacité et l’efficience.

16Pour De Ketele et Gerard (2007) « Il ne s’agit pas seulement d’être efficace, mais aussi équitable. Il s’agit non seulement que l’ensemble du groupe d’élèves progresse, mais aussi que le fossé qui, au départ, sépare les élèves les plus faibles des plus forts ne se creuse pas et, si possible, se réduise. » (p. 12).

2.2. Quelles données et quels indicateurs à considérer?

17Le groupe de recherche AdAPTE (Actions d’Accompagnement Pédagogique, leur Typologie et leur Evaluation) a proposé une grille d’analyse des actions d’accompagnement pédagogiques des primo-entrants dans l’enseignement supérieur (Salmon et al., 2009). Six éléments constitutifs de l’évaluation sont identifiés : le commanditaire, les buts poursuivis (concevoir, justifier, réguler…), les données collectées (avis des acteurs, profils des étudiants…), les outils utilisés pour la collecte (questionnaires, entretiens…), les acteurs interrogés, le moment de l’évaluation. Outre le critère de réussite des étudiants pour évaluer la formation, le groupe mentionne le développement de stratégies d’études par les étudiants ou une meilleure affiliation.

18La méthode proposée par Gérard (2001) consiste à évaluer l’efficacité pédagogique d’une formation via une auto-évaluation par les apprenants de leur niveau de maîtrise pour chacune des compétences générales et spécifiques avant et après la formation. Mesurer l’écart avant-après ne correspond pas une évaluation des acquis d’apprentissage par l’enseignant, mais constitue néanmoins un indicateur de mesure de l’efficacité pédagogique. Gérard (2001) suggère de considérer en plus des gains bruts (différence de niveau entre après et avant), les « gains relatifs » qui correspondent au gain brut rapporté à ce qui aurait pu être gagné grâce à la formation. Concernant le moment où se déroule l’évaluation, la validation de l’outil par l’auteur montre que le double questionnement sur le niveau de maîtrise peut être fait à la fin de la formation. On peut penser que l’apprenant est plus à même d’estimer la différence de maîtrise entre avant et après lorsqu’il exprime les deux au même moment.

19Michaut (2003) propose de mesurer l’efficacité d’un dispositif pédagogique au regard de l’amélioration de la réussite à l’année, de la diminution des abandons, ou encore si le dispositif favorise l’intégration universitaire ou le développement des compétences des étudiants. Il met cependant l’accent sur la difficulté de mener une telle évaluation :

20- l’écart entre les taux de réussite (par exemple) des étudiants ayant suivi le dispositif et ceux ne l’ayant pas suivi peut être biaisé par un « effet groupe ». Pour l’éviter, il est nécessaire d’avoir une forte concordance entre les deux groupes, ce qui est rarement le cas notamment lorsque le dispositif est optionnel, ou obligatoire pour une sous-population spécifique;

21- la présence à l’université n’étant pas toujours obligatoire, la fréquentation du dispositif peut ne pas être un indicateur pertinent.

23Ces différents travaux se focalisent principalement sur la dimension de l’efficacité du dispositif pédagogique, qui est évaluée au regard des résultats académiques au semestre ou à l’année (Michaut, 2003; Perret, 2015; Salmon et al., 2009).

24Une autre approche consiste à se baser sur les avis des étudiants sur l’impact du dispositif. C’est ainsi que le Service Universitaire de pédagogie de l’Université Joseph Fourier de Grenoble a évalué, entre 2010 et 2014, deux approches mises en place pour favoriser le développement des méthodes de travail des étudiants, dans le cadre du PRL (Cosnefroy et al., 2014). Les auteurs se sont basés sur les avis des étudiants sur l’évolution de leurs pratiques et sur le dispositif, recueillis via des questionnaires d’évaluation administrés à la fin du dispositif. Ces questionnaires comportaient une vingtaine de questions fermées (réponses portées sur une échelle de Lickert à quatre modalités), une question d’appréciation globale avec une échelle à six modalités, et trois questions ouvertes (point forts, points faibles, points à améliorer). Pour évaluer l’impact du dispositif, les auteurs utilisent comme indicateur le fait que les étudiants déclarent avoir fait évoluer leurs pratiques.

25Perrault, Brassart et Dubus (2010) utilisent pour leur part le sentiment d’efficacité personnelle comme indicateur de la qualité d’une formation pour des futurs enseignants, couplé à une auto-évaluation des participants de leurs activités et également une évaluation des apprentissages par les formateurs.

26Figari et Remaud (2014) ont proposé le modèle ICP (Induit – Construit – Produit) dans lequel on retrouve les deux critères d’évaluation : efficacité et efficience, pour les volets pédagogique et économique, auxquels s’ajoute la pertinence qui concerne le volet politique de la mise en place d’un dispositif pédagogique à l’université. La pertinence mesure la conformité entre le dispositif et les objectifs visés par l’établissement. Par exemple, un dispositif à destination des étudiants ayant obtenu une mention TB (Très Bien) au baccalauréat est-il pertinent pour favoriser la réussite de tous les primo-entrants en 1^re année universitaire?

27Pour résumer, dans les travaux existants sur l’évaluation d’un dispositif pédagogique, différentes données sont considérées : des données sur le profil des étudiants et leur taux de participation; des données concernant leur degré de satisfaction par rapport à l’atteinte des objectifs annoncés, la qualité du dispositif ainsi que la réponse à leurs attentes; des données sur le ressenti des étudiants (utile/pertinent, rassurant, motivant, soutenant, incitant, …). Par ailleurs, des données sur les effets du dispositif sont également prises en compte : la réussite aux examens et l’évolution du comportement des étudiants. Toutefois, dans la majorité des cas, le critère utilisé pour évaluer le dispositif est l’efficacité mesurée par le taux de réussite aux examens. Or, si les dispositifs pédagogiques visent à améliorer la réussite, cette dernière dépend de nombreux autres facteurs : contexte d’études, connaissances initiales, pratiques d’étude, modalités de contrôles des connaissances (Berthaud, 2017; Michaut et Romainville, 2012; Paivandi, 2015). Par ailleurs, les dispositifs peuvent viser des objectifs intermédiaires à la réussite aux examens : le développement de stratégies d’étude efficaces, l’épanouissement des étudiants, leur persévérance, une meilleure affiliation... (Gilibert et Gillet, 2010). Ainsi, des indicateurs permettant de mesurer des changements chez les apprenants doivent également être proposés. Enfin, les indicateurs doivent fournir des pistes d’amélioration du dispositif en termes d’équité pédagogique et d’efficience.

3. Méthodologie d’évaluation proposée

28Au vu de notre revue de littérature, nous avons retenu trois critères pour évaluer un dispositif pédagogique : l’efficacité pédagogique, l’efficience et l’équité pédagogique.

29Pour évaluer ces critères, nous utilisons différents indicateurs qui sont calculés, à l’instar de Cosnefroy et al., (2014) et Gérard (2003), à partir de la perception de maîtrise des étudiants des thèmes travaillés dans le dispositif, et de l’évolution de celle-ci avant et après le dispositif. La perception de maîtrise est auto-rapportée par les étudiants, à la fin du dispositif.

3.1. Données collectées

31Un questionnaire a été administré en ligne auprès des étudiants de la promotion via la plateforme d’enseignement de l’Université à la fin du dispositif. Les étudiants devaient indiquer leur perception de maîtrise avant et après le dispositif concernant différents items abordés dans les ateliers. Ces items ont été élaborés au regard des thèmes travaillés dans le dispositif. Par exemple, pour le thème « Gérer son temps », un item proposé est « Je planifie mon travail sur la semaine », pour le thème « Rédiger des fiches de synthèse » un item proposé est « Je suis capable d’extraire les informations essentielles d’un document ou d’un cours ».

32Une échelle mixte de perception de maîtrise est utilisée pour les modalités de réponse (voir tableau 1 ci-dessous). L’échelle numérique permet de faire des calculs; on utilise des valeurs négatives et des valeurs positives pour traduire une perception négative ou positive. L’échelle qualitative permet à l’étudiant de se positionner.

33Il s’agit d’études longitudinales : les données sont collectées tous les ans (trois années à ce jour) afin de pouvoir mesurer l’évolution de l’évaluation des différents critères considérés.

Tableau 1. Exemple d’item et modalités de réponse

Je planifie mon travail sur la semaine
	-5 Non, pas du tout	-4	-3	-2	-1 Non, pas vraiment	1 Oui, plutôt	2	3	4	5 Oui, tout à fait
Avant
Après

3.2. Indicateurs utilisés

34À partir de la perception de maîtrise avant et après le dispositif, rapportée par les étudiants, nous calculons différents indicateurs présentés ci-dessous.

3.2.1. Moyenne et coefficient de variation

35Pour chacun des items, nous calculons la moyenne et le coefficient de variation des perceptions de maîtrise des étudiants, avant et après le dispositif (voir Tableau 2 ci-après).

Tableau 2. Indicateurs de tendance et de dispersion

Moyenne	x_moy	C’est un indicateur de tendance centrale des réponses.
Coefficient de variation	x_moy/sigma	sigma est l’écart-type des réponses. Le coefficient de variation est un indicateur de dispersion des réponses. Il est noté en pourcentage

3.2.2. Gain brut et gain relatif

36Par ailleurs, pour chacun des items on calcule deux autres indicateurs : le gain brut moyen et le gain relatif (voir Tableau 3 ci-après) :

Tableau 3. Gain brut moyen et gain relatif

Gain brut moyen	(xaprès – xavant)_moy	Correspond à ce qui a été « gagné » au cours de l’action
Gain relatif	Delta = (xaprès – xavant)_moy / (xmax – xavant)_moy	Rapport entre les moyennes de ce qui « a été gagné » et de ce qui « aurait pu être gagné » au cours de l’action (xmax étant la valeur maximale à atteindre).

37Pour illustrer les notions de gain brut et de gain relatif, considérons l’exemple de réponses de quatre groupes (voir Tableau 4 ci-dessous).

Tableau 4. Exemple de gain brut et relatif

Groupe	xavant_moy	xaprès_moy	Gain brut	Gain relatif
A	-5	-4	1	10 %
B	4	5	1	100 %
C	-1	1	2	33 %
D	-4	1	5	56 %

38Considérons les groupes A et B de cet exemple : on voit que le gain brut ne permet pas de discriminer ces deux groupes (le gain brut est de 1 pour les deux groupes) alors que les niveaux atteints ne sont pas les mêmes : le groupe A est arrivé à -4 alors que le groupe B est arrivé à 5. On utilise alors le gain relatif. Le gain relatif prend en compte ce qui aurait pu être gagné, c’est-à-dire l’écart entre le niveau de départ et le niveau maximum. Les groupes A et B n’ont effectivement pas le même gain relatif (respectivement 10 % et 100 %). Considérons les groupes C et D : ils ont atteint le même niveau après l’action (x_après_moy = 1), mais n’étaient pas au même niveau avant (-1 pour le groupe C, -4 pour le groupe D). Les gains relatifs sont alors de 33 % pour le groupe C et 56 % pour le groupe D.

3.3. Critères évalués à partir des indicateurs

39Le coefficient de variation est un indicateur de dispersion : nous l’avons retenu comme indicateur car il permet de mesurer l’hétérogénéité des réponses, c’est-à-dire la différence de perception de maîtrise entre les étudiants (Saporta 2006). Par conséquent, nous l’utilisons comme indicateur pour évaluer l’équité pédagogique du dispositif (Gérard 2003).

40La moyenne est un indicateur de tendance centrale, elle est utilisée pour calculer le gain brut. Celui-ci sert à évaluer l’efficacité pédagogique de l’action.

41Le gain relatif est l’efficacité rapportée à ce qui aurait pu être gagné : nous l’utilisons pour évaluer l’efficience de l’action. A l’instar de Gérard (Gérard, 2003), nous utiliserons le seuil de significativité de 30 % : l’action est considérée comme efficiente si le gain relatif est supérieur à 30 %.

42Notons que les données étant calculées sur un échantillon d’étudiants, il convient de valider les résultats à l’aide de tests statistiques (Saporta, 2006).

3.4. Illustration de l’analyse des indicateurs

43Afin d’illustrer l’utilisation des indicateurs pour évaluer les critères considérons le tableau 5 qui fournit les valeurs des indicateurs pour deux items de l’évaluation du dispositif.

Tableau 5. Exemple d’indicateurs pour deux items

		Moyenne	Coeff. de variation	Gain brut moyen	Gain relatif
Q1-Je connais les personnes ressources et leur rôle dans ma formation	Avant	-1	245,0 %	2,8	46,0 %
	Après	1,8	95,9 %
Q10-En général avant un contrôle, je sais quoi faire pour avoir une bonne note	Avant	1,3	131,7 %	1,0	23,9 %
	Après	2,3	72,9 %

44L’analyse des indicateurs pour l’item Q1 du tableau 5 fournit les éléments suivants :

45- Gain brut moyen : on constate une amélioration en moyenne du niveau de maîtrise perçu : on passe en moyenne de -1 avant à 1,8 après (gain brut moyen de 2,8). On peut considérer que l’action a été efficace. On valide cette décision à l’aide d’un test des rangs signés de Wilcoxon (Saporta, 2006). Notons ici que l’écart avant-après est statistiquement significatif (p-value<0,001).

46- Coefficient de variation du niveau de maîtrise : il a nettement diminué entre avant (245,0 %) et après (95,9 %). Cela signifie que les réponses après sont moins hétérogènes qu’avant. Ce résultat met en avant l’équité pédagogique de cette action.

47- Gain relatif : celui-ci étant supérieur à 30 %, on considère que l’action a été efficiente. Pour tester l’écart à 30 % on utilise un test Z (Saporta, 2006). Notons ici que l’écart avant-après est statistiquement significatif (p-value<0,001).

48Considérons maintenant l’item Q10 du Tableau 5 ci-dessus, et analysons les indicateurs :

49- Gain brut moyen : la perception de maîtrise augmente puisque la moyenne passe de 1,3 avant les ateliers à 2,3 après : l’action a donc été efficace.

50- Coefficient de variation : il a diminué entre avant (131,7 %) et après (72,9 %), ce qui met en avant l’équité pédagogique de cette action.

51- Gain relatif : le gain relatif est de 23,9 % (<30 %), donc on ne peut pas dire que l’action a été efficiente. Une explication de ce résultat que l’on pourrait avancer est que certains étudiants ont considéré qu’ils maitrisaient cet élément avant l’action et ont pris conscience après les premières évaluations des apprentissages que ce n’était pas le cas. Quoiqu’il en soit, cette valeur du gain relatif inférieur à 30 % peut être considérée comme un indicateur d’une piste d’amélioration pour l’action pédagogique.

4. Discussion : atouts et limites de la méthodologie proposée

52Au regard de la revue de littérature, nous proposons dans ce travail de considérer trois critères pour évaluer un dispositif pédagogique : l’efficacité pédagogique, l’équité pédagogique et l’efficience. Pour évaluer ces critères, nous nous basons sur la perception du niveau de maîtrise avant et après le dispositif, rapportée par les étudiants, et utilisons différents indicateurs :

53- Pour mesurer l’efficacité pédagogique, nous utilisons le gain brut moyen, c’est-à-dire ce qui a été « gagné »;

54- Pour mesurer l’équité pédagogique nous utilisons l’écart entre le coefficient de variation avant et après le dispositif, c’est-à-dire la différence d’hétérogénéité des réponses entre les étudiants avant et après le dispositif;

55- Pour mesurer l’efficience du dispositif nous utilisons le gain relatif, c’est-à-dire le rapport entre ce qui a été gagné lors du dispositif et ce qui aurait pu être gagné.

56Ces indicateurs sont utilisés pour le pilotage de la qualité du dispositif : le gain brut, le coefficient de variation et le gain relatif permettent d’identifier des points d’amélioration du dispositif. Ils sont intégrés aux bilans présentés aux instances finançant le dispositif et servent à la communication auprès des futurs étudiants (Université Paris-Saclay, 2020).

57Toutefois, un certain nombre de questions doivent être discutées. Tout d’abord, si la conception du dispositif est évidement un point important, son évaluation doit également être réfléchie dès sa conception. Par ailleurs, nous avons choisi comme données la perception de maitrise des étudiants auto-rapportée. Il ne s’agit donc pas d’un niveau de maîtrise effectif, mais perçu. Comme le soulignent Perrault et al. (2010) « Un sentiment d’efficacité personnelle élevé comme indicateur de l’efficacité d’une formation présente des limites, il ne garantit en aucun l’existence réelle de compétence. L’inverse est également vrai » (p. 5). Toutefois, il ne s’agit pas ici de considérer le niveau de maîtrise comme mesure, mais plutôt son évolution avant et après le dispositif. Notons que certains étudiants déclarent avoir le niveau maximum de maîtrise avant le dispositif, ou une perception de niveau de maitrise après le dispositif inférieur à celui d’avant. Dans les deux cas, on peut se demander si le dispositif a permis à ces étudiants de prendre conscience de leur niveau effectif de maîtrise, ce que l’on peut considérer comme un effet positif du dispositif. L’intérêt d’une auto-évaluation de son niveau de maîtrise dans un dispositif d’aide aux primo-entrants, c’est à dire la fonction formative de l’auto-évaluation pourrait ainsi être discuté, mais ce n’est pas l’objet d’étude de ce travail.

58Une autre interrogation porte sur le moment de l’évaluation du dispositif : à chaud ou à froid? Lorsque l’évaluation est menée à chaud, juste à la fin du dispositif (comme cela a été le cas dans le cadre de ce travail) il n’est pas possible de mesurer si les étudiants ont modifié leurs pratiques de manière pérenne, ou s’ils ont pu mettre en pratique ultérieurement dans leur formation les thèmes abordés dans le dispositif. Pour mesurer un transfert des apprentissages par les étudiants une auto-évaluation à froid, en plus de celle effectuée juste à la fin du dispositif, pourrait être pertinente. Toutefois, il faudrait être vigilant sur son interprétation car d’autres éléments peuvent intervenir sur le transfert des apprentissages entre la fin du dispositif et son évaluation à froid.

59Notons qu’un des obstacles pour réaliser l’évaluation d’un dispositif est celui d’avoir un échantillon représentatif des étudiants ayant bénéficié du dispositif. Le fait que les dispositifs analysés soient obligatoires pour tous les étudiants de la promotion a levé cet écueil.

5. Conclusion

60L’évaluation de dispositifs pédagogiques d’aide aux primo-entrants à l’université est devenue ces dernières années une préoccupation importante des universités. Evaluer un dispositif de formation permet de l’améliorer, de le valoriser et de rendre compte aux différentes parties prenantes (étudiants, enseignants, institution l’ayant financé, …) (Depover, et al., 2018; Bernard, 2011; Salmon et al., 2009).

Sall, H. N., et De Ketele, J. M. (1997). L’évaluation du rendement des systèmes éducatifs : apports des concepts d’efficacité, d’efficience et d’équité. Mesure et évaluation en éducation, 19(3), 119-142.