1L’innovation pédagogique est considérée comme un défi important pour l’enseignement supérieur (Bajada et al., 2019; Charlier et Peraya, 2003; Cros, 2000, 2004; Fraser, 2019; Lison et al., 2014; Mai Walter, 2014) et les méthodes d’enseignement et d’apprentissage dans les institutions académiques évoluent avec le développement du numérique. Par ailleurs, la transformation des métiers et l’évolution des besoins des étudiants et des enseignants (Lison et al., 2014; Mai Walter, 2014) entraînent une diversification des modalités de formation (Charlier et Peraya, 2003). Des mesures d’accompagnement sont mises en œuvre afin de répondre à cette évolution constante. Elles peuvent prendre des formes diverses : activités de formation et de recherche, de conseils et de soutien, de partage et d’échange au sein de différents types de structures, notamment au sein des learning labs (Bal et al., 2018; Brehm et Günzel, 2018; Learning Lab Network, 2019; Sanchez et al., 2021; Carron et al., 2018).
- 1 En guise de précision, le terme « learning lab » est utilisé sans majuscule lorsqu’il s’agit du ter (...)
2Les learning labs1, en cours de conceptualisation, tant sur le plan théorique que pratique sont définis comme des espaces physiques et numériques qui visent à repenser les modalités d’apprentissage et d’enseignement (Sanchez et al., 2021). Dans ce cadre, des activités de formation sont conçues et mises en place dans le but de développer les compétences numériques des étudiants et des enseignants. Ces activités de formation prennent le plus souvent des formes non conventionnelles au regard des pratiques existantes (Brehm et Günzel, 2018; Sanchez et al., 2021), ce qui interroge la manière dont elles sont reçues et perçues par les acteurs qui y participent et les moyens mis en place par les institutions pour évaluer ces activités. Nous questionnons la façon dont ces activités de formation et leurs effets peuvent être évalués, et enquêtons sur les défis liés à l’évaluation spécifique d’activités conçues et animées en faveur de l’innovation pédagogique en enseignement supérieur.
3Notre contribution porte sur les objets, méthodes et instruments d’évaluation des actions conduites au sein des learning labs. Le travail que nous avons mené relève de la recherche orientée par la conception (Sanchez et Monod-Ansaldi, 2015), une méthode de conduite de la recherche qui s’appuie sur la création et la mise en œuvre de solutions technologiques en conditions écologiques. La présente recherche repose sur la conception d’un module d’évaluation des activités de formation mise en place au Learning Lab de l’Université de Fribourg (Suisse), plus spécifiquement dans le cadre du « Lunch&Discover » ; une série d’activité d’apprentissage dispensée au printemps 2020.
4Dans une première partie, nous revenons sur la notion de learning lab puis sur les critères d’évaluation qu’il est possible d’appliquer afin de motiver nos questions de recherche décrites dans la troisième partie. Nous décrivons ensuite la méthode de conduite de la recherche que nous avons adoptée. La cinquième partie est consacrée à la présentation et l’analyse du module d’évaluation qui résulte de nos travaux. Ces résultats sont repris en dernière partie pour identifier et discuter certains défis à l’évaluation d’activités conduites dans un learning lab.
5L’innovation est une pratique qui relève de l’ingénierie et qui permet l’enrichissement des pratiques sociales (Chevallard, 1982). Babić et Nedelko (2020) présentent l’innovation comme un processus d’adaptation à des changements de l’environnement et à des pratiques nouvelles, notamment sur le plan institutionnel. L’innovation a pour caractéristique de proposer, de développer et d’implémenter une nouveauté par rapport à l’existant, dans un contexte donné (Cros, 2000, 2004; Lison et al., 2014). Tout changement ne relève pas de l’innovation (Lison et al., 2014) et l’innovation ne peut être considérée comme telle qu’en fonction d’un contexte donné. Dans le champ de la formation, innover consiste à mettre en place des changements de pratiques éducatives, notamment dans les modalités d’apprentissage et d’enseignement (Peraya et Viens, 2005), auxquelles formateurs, étudiants et institution ne sont que peu, voire pas du tout familier.
6Des dispositifs qualifiés de learning labs ont été mis en place, dans de nombreuses institutions d’enseignement supérieur soucieuses de favoriser et accompagner l’innovation (Learning Lab Network, 2019), ils visent notamment à instaurer une culture de l’innovation au niveau institutionnel (O’Banion et al., 2011). Néanmoins, les travaux de recherche et les publications scientifiques concernant les learning labs sont encore rares (Sanchez et al, 2021). Jusqu’à présent, différents types de learning labs ont vu le jour sous la forme de programmes de formation (Bal et al., 2018; Carron et al., 2018), d’espaces innovants dédiés à l’apprentissage en pédagogie de l’enseignement supérieur (Learning Lab Network, 2019) et d’activités offrant la possibilité de tester des technologies numériques (Brehm et Günzel, 2018). Notre approche nous a conduit à définir un learning lab comme un espace physique et numérique d’observation, d’expérimentation et d’évaluation, pour repenser et enrichir les attitudes et pratiques d’apprentissage et d’enseignement à l’université (Sanchez et al, 2021). L’idée d’espace renvoie à celle de dispositif, au sens de Peraya (1999) : « une instance, un lieu social d'interaction et de coopération possédant ses intentions, son fonctionnement matériel et symbolique enfin, ses modes d’interactions propres » (p. 153). Les learning labs sont caractérisés (Sanchez et al., 2021) par l’articulation de trois dimensions : (1) les espaces (physiques et numériques) au sein desquels se déroulent les activités, (2) la communauté mobilisée (principalement les étudiants, enseignants, chercheurs) et (3) les activités qui y sont conduites.
7Les activités organisées au sein du Learning Lab, destinées à engager les acteurs dans une démarche d’innovation pédagogique et à les questionner sur les méthodes d’enseignement et d’apprentissage, sont souvent elles-mêmes non conventionnelles. Ce sont majoritairement des activités d’apprentissage collaboratif, interdisciplinaires et de différentes natures (en termes de modalités, de durées et de public cible). Enseignants et étudiants sont invités à s’engager dans ces activités non seulement en tant que participants, mais aussi comme contributeurs, par exemple en participant à des ateliers de conception collaborative (Kleinsmann, 2006). Au sens de Mai Walter (2014), ces activités sont à la fois productrices d’innovation, elles sont innovantes dans les modalités de formation qu’elles proposent, et sont un soutien à l’innovation, dans les objectifs de formation auxquelles elles répondent.
8Sur le plan institutionnel, les activités contribuent à comprendre les pratiques, à capitaliser les ressources et à développer une culture d'innovation au sein des institutions (O’Banion et al., 2011). Les activités s’inscrivent dans un contexte institutionnel ayant une culture, des valeurs et un fonctionnement propre. L’évaluation des activités ne doit pas faire fit de ce contexte mais au contraire, permettre de rendre compte de l’adéquation entre l’activité et la culture, la politique et les stratégies institutionnelles dans laquelle elle s’inscrit. D’un point de vue institutionnel, les activités d’un learning lab tendent à favoriser et diversifier les interactions entre les membres de la communauté éducative, en particulier, à dépasser les barrières hiérarchiques pour développer la coopération entre enseignants et étudiants. Il est attendu qu’elles encouragent l’interdisciplinarité et permettent de capitaliser les expériences professionnelles et personnelles des acteurs de l’université à travers la production collective de ressources (Sanchez et al., 2021).
9En tant que soutien à l’innovation pédagogique, les activités conduites se doivent également de faciliter l’évolution des méthodes d’apprentissage des étudiants et le développement professionnel des enseignants. Elles représentent un terrain d’investigation scientifique pour la conduite de travaux de recherche collaboratives en sciences de l’éducation, non pas sur, mais avec les participants. La démarche poursuivie à travers ces activités s’inscrit dans le Scholarship of Teaching and Learning (SoTL). Le SoTL est à la fois un cadre théorique pour la recherche en éducation, en didactique disciplinaire mais aussi une démarche de développement professionnel (Rege Colet et al., 2011). Il se définit comme « une démarche de questionnement systématique (scholary inquiry) sur les apprentissages des étudiants qui permet d’améliorer la pratique enseignante en communiquant publiquement sur cette recherche ou ce questionnement. » (Rege Colet et al., 2011, p. 94). Le SoTL s’inscrit dans une approche qui relève de l’innovation pédagogique car il questionne et encourage l’évolution des pratiques d’enseignement et d’apprentissage (Burns, 2017), plus particulièrement en permettant aux acteurs de s’engager dans une démarche réflexive. Les activités du learning lab s’inspirent de la démarche SoTL dans la mesure où elles visent le développement des compétences transversales des acteurs de l’université (enseignants et étudiants), à partir d’activités qui ont pour but l’observation, l’échange, d’expérimentation ou encore la réflexion sur les pratiques et les expériences vécues au quotidien. Ces activités doivent permettre de travailler les compétences numériques, sociales (dont collaboratives), réflexives et créatrices des enseignants et des étudiants, et sont centrées apprenants, c’est-à-dire que l’apprenant est considéré en tant qu’acteur principal de son apprentissage (au sens de Charlier et Lambert, 2019). Selon les objectifs personnels des participants, les niveaux de performances visés peuvent être de l’ordre de porter attention, reconnaître, répliquer, analyser ou évaluer (Paquette, 2002). Ces activités doivent être pensées de sorte à prendre en compte la diversité des participants, leurs compétences, leurs motivations, leurs besoins ainsi que leurs attentes (Perrenoud, 2015).
10L’évaluation des activités est à la croisée de plusieurs regards. Dans un premier temps, l’évaluation doit permettre de rendre compte de l’activité au regard de la politique, des stratégies et de la culture de l’institution, cela afin de garantir qu’elle propose des modalités et un contenu innovant par rapport aux pratiques enseignantes du contexte, tout en étant en adéquation avec les stratégies et les volontés institutionnelles. Ensuite, les activités doivent être évaluées au regard des intentions du concepteur de l’activité, notamment en termes d’objectifs d’apprentissage. Il s’agit de mesurer si l’activité permet réellement de viser les objectifs d’apprentissage fixés. Enfin, en cohérence avec l’approche SoTL, il semble pertinent de demander aux participants des activités de s’impliquer dans l’évaluation des activités. L’évaluation doit permettre de mesurer à la fois dans quelle mesure ces activités répondent aux attentes des participants mais également aux besoins et objectifs de l’institution et des concepteurs des activités du learning lab. Nous relevons également la nécessité d’articuler deux types d’évaluation distinctes mais pas antinomique, l’évaluation des effets de l’activité sur les apprentissages et l’évaluation des modalités de l’activité.
11L’évaluation des apprentissages en éducation est décrite comme le processus de collecte et d’analyse de données relatives à l’atteinte d’objectifs inscrits dans des programmes d’études dans le but de prendre des décisions pédagogiques (Legendre, 1988). Les travaux du domaine soulignent le rôle de l’évaluation dans la régulation des apprentissages (assesment for learning) (Allal, 2016). Il existe une relation étroite entre activité d'apprentissage et évaluation (Faulx et Danse, 2017; Mottier-Lopez, 2015). L’évaluation des activités de formation représente un autre type d’évaluation, qui ne porte pas uniquement sur les apprentissages mais plus globalement sur les actions mises en place pour soutenir ces apprentissages (Mottier-Lopez, 2015), sur les programmes et les dispositifs de formation (Figari et Tourmen, 2006).
12Dans le cadre de notre recherche, nous retenons que la conduite de l’évaluation, qu’elle porte sur les apprentissages ou sur les activités qui soutiennent ces apprentissages, passe par la mise en place de ce que nous appelons un module d’évaluation dédié et intégré aux activités.
13A partir d’une revue de la littérature portant sur les pratiques d’évaluation de programmes, Stufflebeam et al. (2006) proposent l’extraction et la mise en évidence d’invariants de l’évaluation. Selon ce paradigme dans lequel nous avons inscrits nos travaux, un des invariants identifié est le fait que l’activité évaluative contribue à produire des données permettant de porter un jugement critique sur l’atteinte ou non d’objectifs visés (qu’il s’agisse d’objectifs liés au bon déroulement de l’activité ou plus spécifiquement à des objectifs d’apprentissage). Ce jugement critique serait produit par une comparaison de deux éléments : (i) les référés, données qui sont de l’ordre des faits, et (ii) les référents, à savoir des idéaux (attentes, intentions, objectifs) (Figari et Tourmen, 2006). Ainsi, par le terme « référé », Figari et Tourmen désignent ce qui est produit, autrement dit « les données sur l’état de l’objet évalué » (p. 9), alors que les référents représentent les attentes, ou plus concrètement les systèmes d’information qui permettent de donner du sens aux données produites. Le terme référent « peut être constitué d’un idéal ou d’une norme, mais aussi d’un niveau, d’un élément de comparaison non normatif » (Figari et Tourmen, 2006, p. 9). La conception d’un module d’évaluation, en tant que système complexe visant à produire des résultats précis implique une modélisation du processus qu’il soutient : la modélisation de l’évaluation.
Schématisation du processus de référentialisation selon Figari et Tourmen (2006)14La modélisation selon Figari et Tourmen (2006), qualifiée de « référentialisation », repose sur la transposition des référents en critères et les référés qui leur correspondent (fig. X). L’idée de référentialisation s’appuie sur le modèle CIPP de Stufflebeam (1980) considérant référés et référents comme des éléments en interaction dans un processus itératif construit par l’évaluateur (Figari et Tourmen, 2006). Les référents donnent lieu à la définition de critères, et ces critères sont observés à partir d’indicateurs. Ces indicateurs représentent ainsi des traces observables, mesurables et construites de la manifestation des critères d’évaluation (Figari et Tourmen, 2006). Ils sont renseignés grâce aux instruments dédiés à la collecte d’information.
15La mise en place de learning labs implique la recherche d’une stratégie d’évaluation qui puisse tenir compte du caractère non conventionnel des activités menées et de la complexité des dispositifs du point de vue de l’hétérogénéité du public, des compétences visées et des enjeux institutionnels (Sanchez et al., 2021). Différents systèmes de critères visant l’évaluation de technologies (Davis, 1989), d’interfaces informatiques et de systèmes interactifs (Nielsen, 1993) et de dispositifs éducatifs innovants (Tricot et al., 2003) sont décrits dans la littérature. Dans ses travaux, Davis (1989) développe et présente des échelles de mesure de l’utilité et de la facilité d’utilisation perçue par un utilisateur lors de l’emploi d’outils informatiques, afin d’en évaluer son acceptation. Sur la base de Davis (1989) et de Nielsen (1993), Tricot et al. (2003) définissent trois dimensions interdépendantes pour l’évaluation des Environnements Informatiques pour l’Apprentissage Humain (EIAH). Ces dimensions sont des catégories de critères nommées utilité (l’efficacité pédagogique), utilisabilité (la facilité d’utilisation du dispositif) et acceptabilité (la valeur donnée au dispositif).
16Le tableau ci-dessous synthétise et illustre les trois dimensions du modèle de Tricot et al. (2003).
Tableau 1. Synthèse et illustration des trois dimensions du modèle de Tricot et al. (2003)
17Cette contribution repose sur l’hypothèse selon laquelle le modèle d’évaluation proposé par Tricot et al. (2003), bien qu’il se rattache au domaine des Environnements Informatiques pour l’Apprentissage Humain (EIAH), peut être pertinent et applicable au contexte d’un learning lab, notamment aux activités qui y sont conduites. En effet, les activités doivent être utiles à l’apprentissage visé, utilisables par les participants et acceptables par ces derniers et l’institution qui l'accueille. De plus, ce modèle laisse à l’évaluateur un certain degré de liberté en termes de choix des critères, au sens de Figari et Tourmen (2006), à retenir sur chacune des dimensions selon le contexte et les objectifs poursuivis dans la mise en place de l’activité (Tricot et al.,2003). Deux approches sont possibles : l’évaluation empirique et l’évaluation par inspection. Nous nous concentrons ici sur la dimension empirique de l’évaluation, c’est-à-dire l’évaluation qui repose sur l’analyse de données empiriques produites avant, pendant et après l’activité.
18En accord avec Tricot et al. (2003) l’évaluation de l’utilité recouvre trois niveaux 1) l'adéquation entre l’objectif d’apprentissage défini par le concepteur de la formation et l’apprentissage effectif, 2) l’adéquation entre le dispositif et le format de la connaissance à acquérir (un savoir, un savoir-faire, une attitude, etc.) et 3) l’adéquation entre les objectifs d’apprentissage prescrits et les besoins des apprenants. Sur la base de Fastrez (2002), Tricot et al. (2003) proposent de mettre en perspective ces trois niveaux en comparant les connaissances de l’apprenant avant et après l’utilisation d’un dispositif, avec ou sans utilisation ou sur deux versions de celui-ci. Tricot et al. (2003) rappellent que « des phénomènes comme l’effet d’attente, l’anticipation, la reconnaissance de l’évaluation a posteriori peuvent biaiser les résultats » (p. 395). Comme exposé précédemment, le public visé par les activités de formation des learning labs est diversifié en termes de connaissances préalables, de fonctions au sein de l’institution (enseignants, étudiants, doctorants, etc.), et d’attentes concernant les apprentissages. Ainsi, pour évaluer l’utilité d’une activité d’apprentissage menée au sein d’un learning lab, il semble plus pertinent de saisir non pas ses effets directs, mais plutôt le point de vue des participants sur leurs apprentissages et leur sentiment de compétence, au sens de Deci et Ryan (2008), par le biais de questionnaires ou d’entretiens réalisés avant et/ou après les activités de formation afin de mesurer ces trois niveaux d’utilité de l’activité.
19Selon Tricot et al. (2003), le concept d’utilisabilité est apparu par l’introduction de l’usage des technologies dans l’éducation et il désigne la possibilité d’utiliser l’EIAH « au niveau de son interface (sa cohérence, sa lisibilité, la façon dont elle représente les actions possibles, etc.), de sa navigation (la cohérence, la simplicité, l’exhaustivité des déplacements possibles, etc.) et de sa cohérence avec l’objectif et le scénario didactique » (p.396). Les critères d’évaluation proposés par Tricot et al. (2003) pour une évaluation empirique de l’utilisabilité des EIAH consistent dans la possibilité pour l’utilisateur d’apprendre à utiliser le système, à la gestion et la prévention des erreurs, la mémorisation de son fonctionnement, l’efficience et le sentiment de satisfaction lors de son utilisation. L’approche empirique de l’utilisabilité prévoit une évaluation de l’utilisabilité par observations, entretiens et d’analyse des parcours (Tricot et al., 2003). Dans le contexte d’un learning lab, l’application du critère d’utilisabilité sur une activité serait de chercher à comprendre l’efficience de celle-ci et son affordance pour le participant, au sens de Simonian et al. (2016), c’est-à-dire, les possibilités et les processus d’action que les participants reconnaissent dans l’activité. Par exemple, l’agencement de l’espace d’une salle est-il en adéquation avec l’objectif du concepteur de favoriser les interactions entre les participants? La durée et la modalité de l’activité sont-elles adaptées, tout en respectant les intentions de conception? Par ailleurs, l’évaluation empirique de l’utilisabilité d’une activité conduite dans un learning lab concerne aussi bien l’espace numérique que l’espace physique. Ainsi, pour qu’une activité soit utilisable au sens de Tricot et al. (2003), une certaine cohérence est nécessaire dans ses modalités organisationnelles et fonctionnelles (la plage horaire, la durée des sessions, l’environnement physique et numérique, la pertinence des ressources en termes de facilité d’usage, etc.) afin de garantir un alignement avec les besoins et les possibilités des utilisateurs.
20Tricot et al. (2003) définissent l’acceptabilité d’un EIAH comme : « la valeur de la représentation mentale (attitudes, opinions, etc. plus au moins positives) à propos d’un EIAH, de son utilité et de son utilisabilité. Cette représentation mentale peut être individuelle ou collective » (p. 396). Pour les auteurs, cette représentation mentale dépend de nombreux facteurs, comme la culture et les valeurs de l’utilisateur, ses affects, sa motivation, l’organisation sociale et les pratiques dans lesquelles l’EIAH est inséré. Dès lors, si la représentation, que l’utilisateur se fait du dispositif en termes d’utilité et d’utilisabilité, est positive, elle favorisera son engagement. Amiel (2002) a ainsi démontré que les représentations de l’utilité et de l’utilisabilité peuvent être des variables de l’acceptabilité qui sont susceptibles de prédire si une personne décidera ou pas d’utiliser un dispositif (ou d’en prescrire l’utilisation). En ce sens, l’utilité et l’utilisabilité peuvent être conçues comme des variables de l’acceptabilité. Afin de saisir les motivations, les affects, la culture et les valeurs des utilisateurs, Tricot et al. (2003) proposent, selon une approche empirique, de procéder à des observations, de mener des entretiens ou de faire passer des questionnaires pour évaluer l’acceptabilité. Dans le cadre d’un learning lab, il s’agirait de considérer l’acceptabilité des activités du point de vue des valeurs et des motivations des participants. L’acceptabilité de l’activité proposée repose notamment sur la congruence entre la culture de l’institution et les valeurs véhiculées à travers l’activité conduite. Par exemple, dans une institution au sein de laquelle les interactions entre étudiants et enseignants-chercheurs seraient plutôt formelles, balisés et hiérarchisés, il est probable qu’une activité de formation soit évaluée » peu acceptable » si cette dernière repose sur des modalités de partage d’expérience entre étudiants enseignants-chercheurs au cours de laquelle ils seraient conduits à exprimer les doutes et difficultés rencontrées dans leur pratique.
21Le modèle d’évaluation de Tricot et al. (2003) nous semble adapté aux spécificités des activités d’un learning lab. Il permettrait le jugement critique du caractère innovant des activités mises en place, tenant compte des intentions des concepteurs, des besoins et attentes des apprenants, de leurs possibilités d’action, de la culture et des valeurs institutionnelle au sein de laquelle les activités sont conduites, à partir de l’analyse critériées de données produites avant, pendant et après les activités en question.
22Cela nous conduit à nous interroger sur comment les dimensions du modèle peuvent-elle être opérationnalisées dans le cadre de l’évaluation d’une activité du learning lab? Sur la base de quels critères? A l’aide de quels instruments? Quels sont les défis rencontrés lors de l’évaluation de ces activités?
23Le travail que nous conduisons vise à formaliser et discuter les instruments dédiés à l’évaluation des activités d’un learning lab.
- 2 En guise de précision, le terme « learning lab » est utilisé sans majuscule lorsqu’il s’agit du ter (...)
24La présente recherche s’inscrit dans un paradigme épistémologique constructiviste (Guba et Lincoln, 1998), considérant que le savoir n’est pas absolu mais qu’il est l’objet d’une construction sociale, inscrit dans un contexte, et relatif à ceux qui le construisent. Notre approche vise ainsi à contribuer à la construction de savoirs concernant l’évaluation des activités de learning lab. Ce travail repose sur la conception, l’expérimentation et l’analyse d’un module d’évaluation mis en place au Learning Lab2 de l’Université de Fribourg. Cette contribution ne vise pas à évaluer les activités du Learning Lab, mais à décrire et analyser le module d’évaluation mis en place dans le cadre de l’Université de Fribourg à partir des trois dimensions d’évaluation proposées par Tricot et al. (2003).
25Ce module d’évaluation décrit les objets à évaluer, les techniques et outils permettant cette évaluation et les modalités de mise en œuvre de ces instruments. Ce module est décrit et analysé à partir des dimensions de l’évaluation définies par Tricot et al. (2003) et permet de préciser les systèmes de référence, les critères spécifiques et les instruments et modalités de collecte d’information (Figari et Tourmen, 2006) dans le but d’évaluer les activités.
26Cette contribution vise à répondre aux questions suivantes :
-
Dans le cadre d’une série d’activité mise en place au Learning Lab Unifr, quels sont les objets à évaluer en termes d’utilité, utilisabilité et acceptabilité, et quels sont les instruments de mesure à mettre en place pour évaluer ces objets?
-
Quels sont les défis rencontrés dans la conduite de l’évaluation et comment les surmonter?
27Les résultats attendus pour répondre à ces questions sont de l’ordre de (1) la description du module d’évaluation, plus précisément en termes de systèmes de références, des critères d’évaluation et d’instruments de production des référés, (2) de la caractérisation du module d’évaluation relativement aux dimensions de l’utilité, l’utilisabilité et l’acceptabilité, et (3) des pistes et recommandations à l’intention des personnes qui souhaitent penser et évaluer les activités d’un learning lab. Le module décrit et les pistes proposées dans cette contribution sont un premier pas vers la compréhension des systèmes d’évaluation des activités conduites au sein de structures éducatives institutionnelles innovantes telles que les learning labs. Selon une approche constructiviste de la recherche, les futurs travaux devraient être en mesure de mettre à l’épreuve ce module et ces pistes dans d’autres contextes en vue d’élaborer un modèle théorique permettant la compréhension et la description de ces systèmes d’évaluation.
28La recherche orientée par la conception, ou design-based research, est une démarche méthodologique de recherche qui s’appuie sur la conception de dispositifs et ressources pédagogiques de manière collaborative et itérative (Sanchez et Monod-Ansaldi, 2015; Design-Based Research Collective, 2003). Elle offre la possibilité d’éprouver des modèles théoriques à partir de productions concrètes testées en conditions écologiques et révisées au cours de plusieurs cycles itératifs (Sanchez et Monod-Ansaldi, 2015). Ainsi, le travail de conception et de mise en œuvre d’un dispositif technopédagogique permet de mettre à l’épreuve et de faire évoluer le modèle théorique qui sous-tend le dispositif.
29Dans notre projet, le dispositif conçu est le module d’évaluation des activités du Learning Lab de l’Université de Fribourg, développé et notamment mis en œuvre dans le cadre d’une série d’activités appelées « Lunch&Discover ». Le modèle théorique sous-jacent est, quant à lui, élaboré sur la base des dimensions définies par Tricot et al. (2003). Ainsi, les résultats sont simultanément d’ordres pragmatique (la conception du module d’évaluation) et heuristique (l’adaptation des dimensions du modèle de Tricot et al. à notre contexte). Une précédente contribution (Sanchez et al., 2021) détaille la démarche méthodologique suivie pour la conception de learning labs au sein de quatre universités (Université de Sousse, Université d’Alexandrie, Université de Beyrouth, Université de Fribourg). Cette précédente contribution (Sanchez et al.) visait à définir et conceptualiser la notion de learning lab à partir des travaux conduits au sein des quatre universités. Elle a notamment permis de souligner et discuter certains défis de conception et d’implémentation des learning labs, notamment celui d’institutionnaliser les missions qu’ils poursuivent, et celui de réunir, construire et fidéliser une communauté universitaire sur les questions de l’innovation pédagogique.
30Dans le présent article, nous nous poursuivons ces précédents travaux en nous concentrons cette fois sur la question de l’évaluation de ces espaces, plus spécifiquement en analysant un module d’évaluation conçu et mis à l’épreuve de manière itérative dans le cadre d’activités nommées « Lunch&Discover » à l’Université de Fribourg.
31Entre février et mai 2020, le Learning Lab de l’Université de Fribourg a organisé quatre sessions thématiques, d’une activité nommée Lunch&Discover. Chaque session était d’une durée de 45 minutes sur le temps de midi (une première en présence et les trois autres à distance en raison de la crise sanitaire). Le but principal de ce type d’activité était de permettre l’échange entre les différents acteurs universitaires, comme les enseignants, les chercheurs et les étudiants de toutes disciplines confondues (entre 8 à 33 participants ont été compté selon les sessions). Elle s’inspire directement d’une démarche SoTL dans la mesure où elle encourage le développement professionnel des acteurs basée sur un principe de causalité entre la réflexion, l’évaluation et la pratique (Hannan et Silver, 2000) ainsi que la conduite d’une enquête experte sur ses propres pratiques pédagogiques (Andresen, 2000). La participation était volontaire, et le participant pouvait s’inscrire au nombre de sessions souhaitées selon son intérêt pour la thématique. La thématique abordée lors de chacune des sessions était annoncée au préalable et proposée par les concepteurs en référence à l’actualité du contexte académique. Les thématiques traitées (une thématique par session) étaient les suivantes :
-
Session 1) présentation d’un exemple d’enseignement hybride à l’Université;
-
Session 2) Passer son cours à distance en période de crise sanitaire liée à la pandémie;
-
Session 3) Suivre et donner un cours à distance (récits d’enseignants et étudiants);
-
Session 4) Défis et opportunités de l’évaluation à distance (avec l’intervention d’un spécialiste du domaine).
32Lors des sessions, des intervenants étaient mobilisés pour apporter un regard d’expert ou partager leur expérience sur la thématique mise à l’ordre du jour. Les participants étaient quant à eux été invités à témoigner, à réagir et à partager leurs expériences professionnelles ou expériences d’étudiants. Ces activités avaient pour objectifs (1) d’encourager les échanges entre les participants (enseignants, étudiants, intervenants) et (2) de partager ou de construire collectivement une ressource pédagogique. Les objectifs pédagogiques communs aux quatre sessions de Lunch&Discover étaient de découvrir et questionner les pratiques éducatives en contexte universitaire, de s’interroger sur ses pratiques d’enseignement et d’apprentissage en tant qu’enseignante ou apprenante à l’université et de remettre en question ses représentations de la pédagogie en enseignement supérieur. Chaque session visait également à répondre à des objectifs pédagogiques spécifiques aux thématiques abordées (par exemple pour la session 1, le fait d’être capable d’imaginer des modalités d’hybridation des contenus de cours à mettre en place dans sa propre pratique enseignante). Trois collaborateurs du Learning Lab, spécialistes en sciences de l’éducation, étaient impliqué sur l’ensemble des sessions. Ils prenaient les rôles à la fois de concepteur (travail d’ingénierie pédagogique pour élaborer l’activité), de promoteur (communication à l’interne de l’université et invitation à participer) et d’animateur (animation de l’activité avec les participants).
33Inspiré par les principes de la recherche orientée par la conception, notre travail de recherche regroupe des activités de conception du module d’évaluation (objectif pragmatique) et l’étude de celui-ci (objectif théorique). Nous exposons et décrivons ici notre méthode de conduite de la recherche, comprenant le travail de conception, de mise en œuvre et de révision du module, ainsi que la production et l’analyse des données permettant d’étudier celui-ci, à partir de ce que Hoadley nomme la narration du processus de conception (design narrative) (Hoadley, 2002; Hoadley, 2004). Cette narration permet d'expliciter les savoirs mobilisés, de caractériser leur évolution et de montrer comment les décisions prises lors de la conception conduisent à réviser le modèle. Les expérimentations menées, c’est-à-dire, la mise à l’épreuve du module d’évaluation, sont également des moments importants permettant de recueillir des données qui conduisent à analyser le module et à le réviser.
34Dès la mise en œuvre de la première session (février 2020), les concepteurs du Lunch&Discover, désireux d’en évaluer l’appréciation et les effets, ont élaboré une liste de questions à adresser aux participants. Construites à partir des besoins définis a priori par les concepteurs des activités, la première version du module d’évaluation (Module N) se présente sous la forme d’items répartis dans (1) le formulaire d’inscription à l’activité et (2) un formulaire de feedback, diffusés en ligne. En parallèle, un travail est engagé pour identifier et comprendre les critères et indicateurs permettant d’évaluer les activités sur la base de la littérature du domaine. Le module d’évaluation (N), élaboré lors de la première session, a été analysé et révisé à partir du modèle de Tricot et al. (2003) aboutissant à une nouvelle version du module (N+1). Le processus s’est poursuivi pour la totalité des quatre sessions de Lunch&Discover (entre février 2020 et mai 2020), permettant de raffiner le module d’évaluation et de discuter les dimensions du modèle de Tricot et al. (2003). Conception et modélisation ont fait l’objet de plusieurs réunions de travail impliquant trois chercheurs en éducation et une stagiaire en communication engagés dans les travaux du Learning Lab. Trois chercheurs d’universités partenaires, impliqués dans le projet « LETS - learning lab » et ayant eux-mêmes développé des activités au sein des learning labs dans les Université de Sousse, Alexandrie et Beyrouth (Sanchez et al., 2021), ont également pu tester et discuter le module lors d’une réunion spécifique. La méthode d’analyse retenue pour cette contribution repose sur la description d’une version spécifique du module (version N+1) et la discussion des choix effectués pour sa conception au regard du modèle de Tricot et al. (2003). Ainsi, les données sur lesquelles s’appuie notre analyse comprennent le module d’évaluation dans sa dernière version, les comptes-rendus des réunions dédiées à la conception du module (réunions conduites dès les premières activités de Lunch&Discover dès février 2020 et sur une période de quatre mois, jusqu’à mai 2020) et, les décisions consensuelles écrites (PV de réunion) qui résultent de ces réunions. En effet, de février 2020 à mai 2020, en parallèle des activités Lunch&Discover, des échanges et des discussions au sein de l’équipe de conception ont dirigé les décisions concernant l’évaluation de ces activités.
35Dans la suite de cette contribution, nous décrivons et discutons le module d’évaluation développé sur la base de l’évaluation des sessions Lunch&Discover et nous exposons les conclusions que nous en tirons pour l’évaluation des activités menées au sein de learning labs.
36La version actuelle du module d’évaluation articule les trois dimensions du modèle de Tricot et al. (2003) et l’approche d’évaluation décrite par Figari et Tourmen (2006). Chacune des trois dimensions (utilité, utilisabilité et acceptabilité) est considérée comme un objet à évaluer. Le tableau ci-dessous (figure 2), résultat de notre analyse descriptive, synthétise le module d’évaluation en quatre colonnes, adaptées de Figari et Tourmen (2006), représentant : (1) les objets à évaluer, (2) les systèmes de référence, (3) les critères et (4) les instruments mobilisés. (Fig. 2). Les objets à évaluer sont l’utilité, l’utilisabilité et l’acceptabilité. Sur la base de référents (Figari et Tourmen, 2006), nous nommons « systèmes de référence » (colonne 2), les informations (de référence) qui permettent d’attribuer un sens à la donnée collectée. Ces systèmes de référence reposent sur l’adéquation entre plusieurs caractéristiques du Learning Lab, de l’activité et des participants. Cette adéquation est analysée à partir des critères (colonne 3) identifiés comme des éléments représentatifs des objets à évaluer dans le contexte d’une activité du Learning Lab. Ces critères sont documentés à partir des instruments (colonne 4) permettant de collecter des traces, c’est-à-dire des renseignements sur l’activité : (1) la description de l’activité, renseignée à l’aide du plan d’activité, et (2) l’avis des participants, mesuré à travers les formulaires d’inscription et de feedback et lors de rencontres concepteur-participant.
Tableau 2. Synthèse du module d’évaluation des activités du Learning Lab
37Le module d’évaluation comprend trois méthodes différentes de collecte d’information, autrement dit, trois moyens pour produire et regrouper des référés (Figari et Tourmen, 2006) : (1) la documentation des activités par les concepteurs/animateurs, nommé plan d’activité (PA), (2) des formulaires d’inscription et de feedback à l’intention des participants et (3) des rencontres concepteur-participant qui succèdent aux activités.
38Le premier instrument qui figure dans le module d’évaluation est le « Plan d'activités » (PA). Ce document est complété par les concepteurs avant et après la mise en œuvre de chaque activité. Il permet de relever pour chacun des Lunch&Discover : le type d’activités envisagées, les objectifs généraux et objectifs d’apprentissage visés par l’activité, son public cible, les participants présents, les ressources mobilisées et produites durant la session, ainsi que les remarques particulières concernant son déroulement. Le plan d’activité est un instrument permettant au concepteur de définir a priori les référents (Figari et Tourmen, 2006) - les objectifs de l’activité, les objectifs d’apprentissage, le public cible et les modalités visées - et, a posteriori, les référés (Figari et Tourmen) - en tant que données produites par l’activité (dans ce cas, le nombre de participants, les ressources produites, les interactions principales entre les participants). Au sens de Figari et Tourmen, ce travail de documentation avant et après l’activité permet de comparer certains référés (en tant que données produites) et leurs référents (système d’adéquation optimal). Le plan d’activités repose sur des critères de l’ordre des décisions et souhaits des concepteurs ainsi que des caractéristiques de l’activité.
39Les formulaires d’inscription, complétés en ligne par les participants, constituent une deuxième méthode de recueil de référés. Complétés avant l’activité, ils renseignent certaines caractéristiques des participants (statut, fonction, intérêts et motivations à participer, affinité avec la thématique qui sera abordée). Les formulaires de feedback, sont complétés par les participants après l’activité dans un délai de quelques jours, et tendent à recueillir leurs perceptions sur l’activité et les apprentissages effectués.
40Si compléter le formulaire d’inscription est obligatoire pour participer à l’activité, le formulaire de feedback est facultatif et anonyme. Seule une minorité des participants y ont répondu (8 réponses pour 39 participations au total lors des sessions 1 et 2 du Lunch&Discover). Lors des réunions, les concepteurs ont souligné deux principales limites du formulaire de feedback : il est chronophage pour des participants qui disent être très occupés (cinq à dix minutes pour répondre à neuf questions à choix et quatre questions ouvertes) et, il est redondant, puisque le même formulaire doit être complété après chacune des sessions de Lunch&Discover. En effet, les participants qui s’engagent dans ce type d’activité au format court (séance de 45 minutes sur le temps de midi) ne souhaitent pas prendre du temps supplémentaire pour compléter le formulaire de feedback, d’autant plus s’ils jugent que les questions posées sont redondantes. C’est la raison pour laquelle, les concepteurs ont modifié la modalité de production des référés pour la troisième session de Lunch&Discover, ajoutant certains critères (caractéristiques des participants, intentions d’apprendre, valeurs et culture de l’enseignement/apprentissage) au formulaire d’inscription.
41La troisième modalité proposée dans le module d’évaluation est la rencontre concepteur-participant. Elle est inspirée des entretiens à usages complémentaires (Blanchet et Gotman, 1992) qui consistent à demander conduire une entrevue auprès d’un individu qui a, au préalable, complété un questionnaire afin d’en approfondir les réponses. Dans le cadre du module d’évaluation, la rencontre entre le concepteur et le participant, conduite quatre à cinq semaines après l’activité, doit permettre d’apporter des éclaircissements aux renseignements collectés à l’aide des formulaires. Cette modalité de production de référés a été mise en place à la fin de la série des quatre sessions de Lunch&Discover, avec trois volontaires ayant participé à une ou plusieurs activités. Ces rencontres étaient d’une durée approximative de 30 minutes et les participants se sont portés volontaire suite à la demande des concepteurs. Une difficulté inhérente à l’évaluation de dispositifs éducatifs en général est de prendre en compte les « nombreux facteurs contextuels potentiels » (Figari et Tourmen, 2006, p. 15). Ces rencontres doivent permettre, à travers l’échange entre participant et concepteur, d’explorer et d’approfondir différents facteurs contextuels ou, plus particulièrement de préciser les référés produits par les formulaires. Il ne s’agit pas de produire des référés représentatifs pour l’ensemble des participants, mais plutôt d’approfondir finement certains référés. Dans le cadre des activités Lunch&discover, les profils des trois participants volontaires étaient diversifiés (participation à différentes sessions Lunch&discover, statut d’enseignant et ou d’étudiant, différentes attentes vis à vis des activités, etc.). Au-delà de la fonction évaluative, ces rencontres ont pour objectif d’accompagner le participant dans l’adoption d’une posture réflexive, permettant d’articuler évaluation et apprentissage dans une perspective d’assesment for learning (Allal, 2016). Le laps de temps écoulé entre la participation aux activités et la rencontre concepteur-participant doivent permettre au participant interrogé d’observer ou de tester des pratiques professionnelles discutées lors de l’activité, tel que cela avait été suggéré dans les sessions de Lunch&Discover. En ce sens, l’évaluation offre une extension des activités d’apprentissage et permet de leurs donner du sens (Faulx et Danse, 2017).
42L’évaluation empirique « consiste à interpréter les performances des usagers à qui on prescrit une tâche et, plus généralement, à interpréter les attitudes, comportements et opinions » (Tricot et al., 2003, p.4). Nous analysons et détaillons ci-dessous la façon dont le module d’évaluation des activités du Learning Lab traite les dimensions utilité, utilisabilité et acceptabilité telles qu’elles sont définies par Tricot et al. (2003). Dans le présent chapitre, nous reprenons chacun des objets à évaluer (présenté par le tableau 2), en détaillant les critères sur lesquels elles s’appuient et la manière dont ces critères sont renseignés.
43Le module d’évaluation traite de l’utilité des activités en examinant l’efficience de l’activité en termes d’innovation et plus particulièrement de développement de compétences. Il s’agit de questionner l’utilité de l’activité au regard des objectifs d’apprentissage formulés en amont par ses concepteurs et d’étudier l’engagement des acteurs dans une démarche de développement professionnel suivant une démarche SoTL.
44Le premier système de référence mobilisé pour évaluer l’utilité est l’adéquation entre les activités et les objectifs d’apprentissage visés (tableau 3). Cette adéquation est mesurée à partir du plan d’activité qui offre une vision globale des différentes activités conduites et de leurs modalités (type, objectifs, ressources, public cible, etc.). Ce plan permet de vérifier la cohérence entre les caractéristiques d’une activité, ses modalités et ses finalités en termes d’objectifs d’apprentissage. Les objectifs visés lors de la quatrième session de Lunch&Discover sont : « d’être capable de questionner sa pratique d’évaluation en ligne à partir des exemples et des éléments théoriques discutés » et « d’imaginer des pistes d’action et des recommandations à l’intention des collègues pour évaluer en ligne ». L’adéquation entre ces objectifs d’apprentissage et l’activité a été évaluée suffisante dès lors que les participants étaient amenés produire une ressource pédagogique de manière collaborative (« Mémento des points de vigilance pour évaluer à distance ») grâce aux échanges sur leurs pratiques. Par contre, le temps à disposition pour l’activité (format de 45 minutes) n’a pas été jugé suffisant par rapport aux objectifs visés.
Tableau 3. Synthèse des systèmes de référence, critères et instruments déployés pour évaluer l’utilité des activités du learning lab
45Le deuxième système de référence de l’utilité est l’adéquation entre les objectifs d’apprentissage visés et les besoins des apprenants (tableau 3). Il repose sur l’articulation entre les réponses au formulaire d’inscription, de feedback et les informations collectées lors des rencontres concepteur-participant à partir des besoins et attentes des apprenants. Ces nouveaux éléments sont mis en discussion avec les objectifs d’apprentissage définis dans le plan d’activité. Lors de la deuxième session de Lunch&Discover#2, les attentes (concernant les apprentissages) de la participante nommée P1 ont été renseignées à partir du formulaire d’inscription (avant l’activité). Ensuite, le formulaire de feedback a documenté son degré d’accord à 4 (« plutôt d’accord », sur une échelle de Likert allant de 1 à 5) en réponse à l’item « J’ai pu avoir des clarifications et des réponses à mes questions pour l’utilisation d’une technologie/d’un outil/de méthodes en lien avec la thématique ». Enfin, au cours d’une rencontre organisée avec le concepteur, P1 a eu l’occasion d’approfondir sa réponse en indiquant : « Ma question initiale était la suivante : qu’est-ce que l’évaluation en ligne pour les étudiants et les enseignants universitaires? Parce qu’en effet, je pense qu’il y a une cognition différente de qu’est l’évaluation entre les étudiants et les enseignants et je voulais donc avoir l’occasion d’avoir aussi la perspective d’un enseignant et grâce aux échanges entre enseignants et étudiants lors de ce LetD, j’ai pu avoir les deux points de vue et clarifier donc mes questionnements initiaux. » (P1). Dans ce cas, le module d’évaluation permet de mesurer l’alignement entre les objectifs d’apprentissage formulé par le concepteur et les attentes de la participante.
46Le troisième système de référence est l’adéquation entre les apprentissages visés (définis par le concepteur) et les apprentissages effectifs selon les participants eux-mêmes (tableau 3). Il ne s’agit pas d’évaluer les compétences développées par les participants, mais plutôt de recueillir leurs représentations sur les apprentissages effectués et les connaissances acquises (Loup-Escande et al., 2013). Le formulaire de feedback comporte notamment l’item « J’ai découvert de nouvelles stratégies d’enseignement/apprentissage » pour renseigner le sentiment de découverte. Ainsi, le formulaire de feedback et les rencontres concepteur-participant documentent : (1) le sentiment de compétence du participant vis-à-vis de la thématique abordée, (2) les nouvelles découvertes, (3) les principaux éléments qu’il a retenus, et (5) ses intentions et les actions entreprises dans sa pratique relativement aux thématiques abordées (transfert). Il ressort du module d’évaluation des Lunch&Discover que les rencontres concepteur-participant étaient à privilégier pour évaluer ce troisième critère. En effet, lors de cette rencontre, la participante P2 précise l’outil qu’elle souhaite mettre en place dans sa pratique enseignante suite à la session Lunch&Discover qui traitait de l’évaluation à distance. Une adéquation est identifiée entre l’objectif d’apprentissage « réfléchir à des pistes d’actions pour l’évaluation à distance » défini par les concepteurs et les intentions de P2 qui souhaite « créer et tester une grille d’évaluation collaborative dans son enseignement ». Étant donné la nature des objectifs d’apprentissage, il semble pertinent d’espacer dans le temps les activités et la rencontre concepteur-participant afin de permettre aux participants de prendre du recul, d’observer des situations professionnelles dans leur pratique quotidienne ou de tester certains gestes discutés lors du Lunch&Discover. Par ailleurs, la dimension utilité du module d’évaluation devrait permettre de rendre compte de la transférabilité de connaissances acquises dans la pratique professionnelle (Loup-Escande et al., 2013) d’où la nécessité de documenter les intentions des participants suite à l’activité et à les questionner sur les actions qu’ils entreprennent pour les mettre en œuvre ou tester certaines pratiques pédagogiques découvertes lors des activités.
47Le module d’évaluation traite de l’utilisabilité des activités en interrogeant la cohérence entre les caractéristiques du public cible (les participants à l’activité) et les modalités de l’activité en matière d’organisation, de déroulement, d’espace physique et numérique et de matériel. L’utilisabilité donne à voir l’accessibilité et la praticité de l’activité de Lunch&Discover perçues par les participants.
48Le principal système de référence de l’utilisabilité est l’adéquation entre l’agencement de l’espace ou les modalités de l’activité, et les exigences ou possibilités des participants. Il s’agit de découvrir si la durée, de la plage horaire et la modalité (à distance, en présence ou hybride) de l’activité conviennent aux participants.
Tableau 4. Synthèse des systèmes de référence, critères et instruments déployés pour évaluer l’utilisabilité des activités du learning lab
49À travers le formulaire de feedback, les participants sont invités à s’exprimer sur l’environnement physique et numérique de l’activité : « Citez ci-dessous deux ou trois mots-clés (noms, adjectifs ou verbes) qui qualifient selon vous l'environnement (numérique et/ou physique) où s’est déroulé l'événement » (item formulaire de feedback). Il s’agit à la fois de mesurer la satisfaction du participant l’activité (items du formulaire de feedback : « La plage horaire m’a convenu » - échelle de Likert de « pas du tout » à « totalement », « la durée de la session était : … » - échelle de Likert de « trop courte » à « trop longue ») mais également bien de comprendre ses représentations concernant l’espace et les modalités de travail (« Citez ci-dessous deux ou trois mots-clés qui qualifient selon vous l'environnement numérique et/ou physique où s'est déroulée l’activité »). Renseigner la participation à d’autres activités dont les modalités sont analogues permet aussi de comprendre à quel point l’activité est jugée novatrice par le participant du point de vue de la manière dont elle est organisée. De plus, la collecte de ces renseignements donne la possibilité d’impliquer les participants dans la conception des activités à venir (question posée dans une rencontre concepteur-participant : « quelle modalité proposeriez-vous pour les futures éditions? »).
50Le module d’évaluation traite de l'acceptabilité (Tricot et al., 2003) des activités à travers l’étude de la congruence entre les valeurs, les principes, les pratiques enseignantes/apprenantes des participants et les caractéristiques de l’activité. Rappelons que l’utilité et l'utilisabilité du dispositif sont considérées comme des variables de l’acceptabilité (Tricot et al., 2003). Les différents critères définis pour mesurer l’acceptabilité dans le module d’évaluation sont en lien étroit avec les deux objets à évaluer : utilité et utilisabilité. Il s’agit de considérer les participants en tant qu’acteurs de l’institution (ici l’Université de Fribourg) qui encadre la mise en place des activités. En ce sens, le module d’évaluation vise à rendre compte de l’adéquation entre les activités conduites dans le cadre des Lunch&Discover et la culture et les valeurs institutionnelles.
51Le premier système de référence de l’acceptabilité (tableau 4) est l’adéquation entre les caractéristiques de l’activité et les valeurs, motivation et intérêts des participants. Ce critère prend aussi compte des caractéristiques des participants définies au préalable dans les dimensions utilité et utilisabilité (participation à des activités analogues, attentes et besoins, etc.). Les critères documentés par le formulaire de feedback sont les suivants : (1) les valeurs (croyances et théories personnelles sur la thématique, relation avec l’enseignement/apprentissage, alphabétisation numérique, etc.), (2) le niveau d’intérêt pour l’activité et sa thématique, (3) les motivations ou les raisons de l’inscription à l’activité. Le formulaire d’inscription de la quatrième session du Lunch&Discover contenait notamment la question « Quelles sont les motivations de votre participation à cet événement? ». Pour les 17 participants inscrits, cela a permis de renseigner un intérêt commun pour la thématique « évaluation à distance », mais situé à différents niveaux de compétence (exemples de réponses des participants : « connaître les types d’évaluations en ligne », « suggérer des méthodes à mes collègues », « connaître les types d’évaluations en ligne », « avoir l’opinion de différents acteurs de l’évaluation »). Une rencontre concepteur-participant a permis d’approfondir cette question avec la participante P1 : « La thématique de l’évaluation à distance m’intéressait déjà avant la crise et [par cet événement], je voulais saisir l’opportunité d’échanger avec les enseignants et écouter leur témoignages/points de vue ». La plupart de ces critères peuvent être documentés en amont de l’activité à partir du formulaire d’inscription, ce qui permet par ailleurs d’adapter l’activité en fonction des intérêts des participants.
Tableau 5. Synthèse des systèmes de référence, critères et instruments déployés pour évaluer l’utilisabilité des activités du Learning Lab
52Le second critère retenu pour examiner l’acceptabilité (tableau 4) est l’appréciation générale de l’activité par les participants. Dans le cadre du Lunch&Discover, ce critère est documenté après l’activité à l’aide du formulaire de feedback. Il s’agit de rendre compte de l’appréciation générale de l'événement par les participants en termes de points forts, de points faibles et de suggestions, et de leur intérêt à prendre part à des activités futures (item du formulaire de feedback : « Quels autres types d'événements/ressources souhaiteriez-vous que le Learning Lab mette en place/organise? »). La fréquentation (nombre de participants à l’activité) est également prise en considération.
53A partir de la description et l’analyse du module, nous identifions et discutons certains défis à l’évaluation d’activités du Learning Lab. Sur la base de ces défis et limites, nous proposons quelques pistes pour l’action.
- 3 Description de l’activité « Hello Robot » à l’adresse suivante : https ://www.lip-unige.ch/2020/11/ (...)
54Un premier défi identifié dans notre analyse est le temps que le participant doit dédier à l’évaluation d’une activité alors que celle-ci est de courte durée. En effet, si dans le cadre des Lunch&Discover, la durée d’une activité ne dépasse pas 45 minutes, d’autres activités décrites dans le cadre de learning labs sont d’une durée plus courte encore. C’est notamment le cas de l’activité « Hello Robot »3 qui prend le temps d’une rencontre informelle de quelques minutes entre un robot de télé-présence du Learning Lab et des étudiants présents dans les couloirs de l’université. Il semble ainsi peu pertinent de demander aux participants de cette activité de consacrer un temps supplémentaire pour évaluer l’activité. Une piste pour l’action est d’évaluer à partir de traces produites au cours de l’activité. Il s’agirait également de collecter et traiter des renseignements avant que l’activité ne se déroule, tel proposé par le module d’évaluation. En effet, le formulaire d’inscription à l’activité est considéré comme un instrument permettant de produire certains référés tels que les attentes, besoins, intérêts, intention d’apprendre des participants ou encore de leur familiarité avec la modalité de l’activité. Dans ce sens, l’évaluation ne repose pas uniquement sur des traces produites à l’issue de l’activité (à travers des formulaires de feedbacks ou des rencontres), mais également sur des traces produites en amont et pendant l’activité, par exemple à l’aide de formulaires d’inscription, de fiches d’observation, d’enregistrement des activités ou des traces numériques produites au cours de celle-ci.
55Un deuxième défi souligné dans l’analyse du module est le fait qu’il peut sembler redondant d’évaluer plusieurs sessions d’une même activité à l’aide d’un formulaire identique. Nous avons souligné que, dans le cadre du Lunch&Discover, il n’a pas été demandé aux participants de compléter des formulaires de feedback après chaque session. Pourtant, les sessions d’une même activité peuvent différer en matière d’objectifs pédagogiques visés, de contenus abordés, de modalité de présentation et de discussion, de ressources à mobiliser et/ou à produire, de disposition de l’espace, etc. Une piste pour l’action est d’appréhender l’évaluation comme une tâche intégrée à l’activité mise en place, plus précisément en privilégiant des méthodes d’évaluation partenariales (Faulx et Danse, 2017), au sens ou l’évaluation doit être rendue utile conjointement pour les participants et pour les concepteurs/animateurs. Il s’agirait également de favoriser l’évaluation basée sur les performances (Shute et Ventura, 2013), qui suggère de prendre en compte le transfert sur le lieu de travail des compétences développées par les participants lors de l’activité. Dans le cadre du module d’évaluation des Lunch&Discover, le formulaire d’inscription peut être lui-même pensé comme une activité au bénéfice de l’apprentissage. Aussi, selon le principe d’isomorphisme d’activité (Faulx et Danse, 2017), la rencontre concepteur-participant soutient l’engagement de ce dernier une démarche réflexive, prolongeant les activités Lunch&Discover. Perret et Demougeot-Lebel (2016) soulignent le caractère formatif d’une évaluation des enseignements lorsqu’elle permet d’accompagner les enseignants à modifier leurs pratiques. L’évaluation peut aussi être mise en place afin d’accompagner le participant à réfléchir sur le contenu, les connaissances acquises et la manière dont il pourrait les mettre en œuvre. Il s’agirait alors du retour évaluatif par anticipation du transfert (Faulx et Danse, 2017). Cela reviendrait à considérer l’évaluation de l’utilité, utilisabilité et l’acceptabilité (articulant évaluation des apprentissages et évaluation de l’activité de formation), en l’intégrant dans les activités de formation qui, en plus d’être évaluatif, serait mise au service de l’apprentissage et de leur transfert sur le lieu de travail, ceci étant au service de l’innovation pédagogique. Ces stratégies permettent ainsi d’éviter les évaluations intrusives, chronophages et redondantes, perçues par les participants comme une perte de temps.
56La multiplicité des instruments présentés dans le module pour la collecte d’informations représente également un défi pour les acteurs qui doivent évaluer les activités. Si cette diversité permet d’évaluer l’utilité, l’utilisabilité et l’acceptabilité à partir de systèmes de référence de manière complexes et systémiques (adéquation entre plusieurs référents), la mise en place d’une évaluation sur la base du module engendre le déploiement de plusieurs instruments. En raison de la charge de travail conséquente, le module d’évaluation peut être appréhendé comme un élément constitutif de la stratégie de pilotage du Learning Lab. La conception et l’implémentation du module d’évaluation nous conduisent à le considérer comme un dispositif de pilotage et de suivi des activités d’un learning lab qui permet d’anticiper leur utilité, leur utilisabilité et leur acceptabilité. Il ne s’agit pas uniquement d’un instrument qui apparait en fin d’activité pour en faire l’état des lieux, mais plutôt d’un support à la conception pour les concepteurs/animateurs et d’un soutien à l’apprentissage pour les participants. Ces outils doivent permettre de discuter l’adéquation entre activité, participants, contexte et objectifs visés de manière aussi peu intrusive que possible.
57Un autre défi de l’évaluation des activités est de rendre compte des représentations de différents acteurs de l’institution. En l’état actuel, le module d’évaluation analysé repose essentiellement sur un principe d’évaluation empirique à partir des opinions et ressentis des participants. Plus sensiblement, l’utilisabilité et l’acceptabilité des activités doivent aussi être évaluées du point de vue des concepteurs. L’analyse par inspection permettrait de mettre en question la transposition possible des activités dans un autre contexte (par exemple « à quel point l’activité est-elle utilisable pour un autre animateur? »). Tricot et al. (2003) proposent une évaluation par inspection permettant aux concepteurs de se questionner directement sur l’utilité, l’utilisabilité et l’acceptation du dispositif développé, indépendamment de sa mise en place. Loup-Escande et al. (2013) exposent la dialectique entre un univers prospectif (univers des possibles envisagés a priori par le concepteur de l’activité) et un univers rétrospectif (regard sur l’activité a posteriori). « L’utilité effective d’un artefact est en grande partie déterminée par la façon dont ces deux univers sont explorés de manière approfondie et articulée par les acteurs de la conception (Loup-Escande et al., 2013, p. 38). On peut formuler l’hypothèse que réfléchir à l’utilisabilité des activités par et pour des concepteurs d’un learning lab permettrait une meilleure prise en main de ces activités et faciliterait leur mise en place ce qui semble une piste pour leur pérennisation et leur institutionnalisation (Sanchez et al., 2021). Par ailleurs, il est aussi apparu nécessaire de questionner des personnes qui n’ont pas participé aux activités afin de déterminer dans quelle mesure les activités ne leur semblaient pas utiles, utilisables ou acceptables. Au-delà de la collecte de l’avis des participants à l’activité, il s’agit également de tenir compte de la vision, des stratégies et de la culture institutionnelle en matière d’innovation pédagogique. L’évaluation doit être pensée dans l’optique de la diffusion des résultats auprès de l’institution et permettre un suivi institutionnel des activités. Figari et al. (2006), soulignent la nécessité de prendre en compte les attentes et besoins des destinataires de l’évaluation dès la constitution du système de référence.
58Enfin, les questions de l’institutionnalisation et de la pérennisation des outils et des méthodes d’évaluation apparaissent comme un défi lié à l’évaluation des activités du Learning Lab en particulier et de sa contribution au développement de l’innovation pédagogique au sein de l’institution. Dans le cadre de notre analyse, il s’agirait de questionner la manière avec laquelle le module d’évaluation pourrait être réemployé pour évaluer d’autres activités et la façon dont il permet de reconnaitre aux activités une légitimité institutionnelle. La systématisation et l’autonomie du système d’évaluation semblent aussi être des questions essentielles. De plus, l’évaluation doit également permettre la reconnaissance institutionnelle des compétences développées par les participants et leur engagement dans un processus de développement professionnel au service de l’innovation pédagogique. Une solution pourrait être la mise en place d’open badges (De Lièvre et al., 2017). Il s’agit de systèmes numériques qui permettent la reconnaissance et la valorisation de compétences à travers l’attribution de badges virtuels. Chaque badge contient des métadonnées qui caractérisent l’apprenant et son évolution. Ce système permettrait à la fois un accompagnement pédagogique des participants au fur et à mesure des activités, une reconnaissance des compétences développées et la traçabilité systématique de leur évolution.
59Les travaux conduits nous amènent à souligner aussi la nécessité de disposer d’instruments d’évaluation modulables. L’évaluation doit être à la fois souple et stable pour s’adapter aux différents types d’activités en tenant compte de leurs spécificités propres et leur caractère innovant. Le module d’évaluation pourrait ainsi être repris par des concepteurs d’activités, non pas dans son entièreté, mais en sélectionnant certains critères en fonction des besoins et des intérêts des évaluateurs.
60Si l’évaluation des enseignements ne dispose pas de critères universels (Younès et Romainville, 2014), nous avons analysé et discuté de la manière dont les activités de formation conduites dans le cadre d’un learning lab peuvent être évaluées à partir de l’adaptation de trois dimensions (utilité, leur utilisabilité et leur acceptabilité) initialement décrites par Tricot et al. (2003). Ainsi, le travail que nous avons conduit porte plus précisément sur les systèmes de référence et les critères permettant l’évaluation de l’acceptabilité, l’utilisabilité et l’utilité d’une série d’activités de formation mise en place dans au Learning Lab de l’Université de Fribourg. Cette analyse a permis de montrer comment les trois dimensions (utilité, utilisabilité et acceptabilité) peuvent être appréhendées en tant qu’objets à évaluer, au sens de Figari et Toumen (2006) en évaluant l’adéquation entre différents critères à partir des systèmes de référence prédéfinis. Ce travail a également permis de rendre compte d’instruments permettant d’évaluer l’utilité, l’utilisabilité et l’acceptabilité des activités ainsi que la manière dont ces instruments peuvent être déployés avant, pendant et après les activités. Nous avons également souligné l’intérêt de ces instruments pour l’accompagnement aux apprentissages en favorisant la réflexivité chez les apprenants. Nous avons souligné certains défis à l’évaluation, liés au fait qu’elle puisse paraitre chronophage et redondante pour les participants aux activités, des défis liés à la diversité des méthodes et instruments d’évaluation à déployer en encore des défis relatifs à la question de la systématisation et l’institutionnalisation de l’évaluation.
61Nous tirons également de nos travaux la nécessité de mettre en œuvre des méthodes d’évaluation furtives, car intégrées aux activités menées, et systématiques, permettant un suivi longitudinal des activités. Une particularité de notre approche réside dans le fait qu’elle concerne un contexte particulier. Bien que ce modèle ait été construit et testé sur la base des travaux conduits dans les learning labs des quatre institutions partenaires (projet LETS – learning lab), notre analyse repose sur sa mise en place dans le contexte des activités du Learning Lab de l’Université de Fribourg. Il paraît nécessaire de rester vigilant quant à la forme de l’évaluation selon les contextes. En effet, nous avons évoqué plus haut le caractère contextuel de l’innovation pédagogique. Ainsi, il ne serait pas pertinent de s’engager dans une démarche évaluative en se restreignant sur des critères immuables et de plaquer, dans d’autres contextes, des méthodes toutes faites pour produire l’évaluation. Les contraintes et les ressources propres de chaque contexte doivent être prises en compte (Figari et Tourmen, 2006). De plus, il faut souligner que le module présenté ici ne permet pas d’évaluer l’ensemble d’un learning lab en tant que dispositif tridimensionnel (espaces, activités, communauté), puisqu’il se focalise uniquement sur les activités qui y sont conduites. La question de l’évaluation de l’ensemble du dispositif que constitue un learning lab (espace, activité, communauté) reste posée. Cette évaluation nous semble en effet nécessaire pour comprendre si un learning est utile, utilisable et acceptable au sein de l’institution universitaire qui l’héberge et s’il est susceptible de permettre le développement d’une culture de l’innovation.
Andresen, L. W. (2000). A useable, trans-disciplinary conception of scholarship. Higher Education Research and Development, 19, 137–153.