1De nos jours, les forums de discussion asynchrones constituent les principaux instruments d’interaction apprenants-apprenants et apprenants-enseignants des Massive Open Online Courses ou MOOC (Chen et al., 2019). Les tuteurs les utilisent pour fournir des informations sur le MOOC, générer des discussions et aider les apprenants en répondant aux questions. Les apprenants, quant à eux, sont susceptibles d’apprendre plus efficacement dans les forums lorsqu’ils publient et répondent fréquemment aux messages des autres apprenants que par le biais de la lecture passive des vidéos ou la lecture de supports de cours (Pena-Shaff et Altman, 2015 ; Thomas, 2002). En outre, grâce à l’interaction entre pairs dans les forums, les étudiants apprennent à mieux négocier la signification du contenu, car ils ont le temps de justifier leurs arguments (Aloni et Harrington, 2018 ; Eryilmaz et al., 2015). De plus, ils gagnent en auto-efficacité (Huang, 2017), bénéficient de l’accroissement et du maintien de leur motivation et de leur engagement dans les formations en ligne, dont les MOOC (Salter et Conneely, 2015).
2Parlant particulièrement du maintien de l’engagement, Sukaina (2016) observe que les apprenants qui font des publications hebdomadaires sont moins susceptibles d’abandonner les MOOC de la plateforme Coursera. En revanche, le sentiment de solitude que peuvent ressentir les apprenants des MOOC est associé au manque d’interaction sociale dans les forums et à des taux d’achèvement moins élevés (Moreno-Marcos et al., 2019). Outre la persistance, Anderson et al. (2014) ont remarqué que les participants actifs aux forums ont de meilleures notes que les autres dans les devoirs et les quiz des MOOC. Cependant, le moment de la participation joue un rôle important dans la persistance et la performance des apprenants. Rosé et al. (2014) ont signalé que les apprenants qui participent activement aux discussions du forum dès le début du MOOC sont moins susceptibles d’abandonner. Par ailleurs, l’augmentation brusque du nombre de messages publiés sur le forum juste avant l’examen final a rarement aidé les étudiants initialement inactifs à obtenir une note élevée dans les cours en ligne (Canal et al., 2015).
3Bien que les analyses semblent montrer des formes de corrélations suggérant que les forums de discussion pourraient promouvoir des niveaux de cognition plus élevés, réduire l’abandon et augmenter la réussite dans les MOOC, amener les apprenants à y participer est souvent cité comme un défi pour les instructeurs (Hew et Cheung, 2014). De nombreuses études ont montré que seulement 3 % à 15 % des étudiants participent activement aux discussions des forums (Kizilcec et al., 2014 ; Margaryan et al., 2015), ce qui implique que la plupart des apprenants ne bénéficient pas de ce précieux mode d’apprentissage. Par ailleurs, de nombreux apprenants ayant l’intention de terminer les MOOC se désengagent progressivement des forums de discussion et les quittent (Yang et al., 2013). Même chez les étudiants les plus actifs, on a observé que la valeur perçue des discussions dans les forums diminue au fur et à mesure que le MOOC progresse (Yang, 2014). Une diminution significative de l’activité des forums est particulièrement observée dès la première moitié du cours, indépendamment du thème, de la langue et de la durée du MOOC (Jordan, 2015). C’est ainsi que Canal et ses collègues (2015) recommandent aux instructeurs en ligne d’aider les apprenants à maintenir une participation régulière au forum dès le début des MOOC. Cependant, les instructeurs doivent être capables d’identifier les apprenants qui risquent le plus de se désengager des forums et d’élaborer des stratégies d’engagement plus actives, ciblées et nuancées à leur égard. Pour ce faire, ils doivent disposer d’outils éprouvés de mesure de l’engagement des étudiants dans les forums tout au long des MOOC. En effet,
whatever means teachers used to assess engagement in their classes, gathering appropriate feedback can help close the gap between what teachers think is happening in their classes and what students are actually experiencing. (Barkley et Major, 2020, p. 50)
4C’est ainsi que, dans cet article, nous nous intéressons à la mise au point d’un instrument efficace de mesure de l’engagement dans les forums de discussion des MOOC. Pour ce faire, il est au préalable indispensable de conceptualiser ce phénomène de manière adéquate.
5À ce jour, peu de recherches se focalisent sur l’engagement des apprenants dans les forums des MOOC. L’engagement a surtout été étudié en contexte de classe traditionnelle et comme phénomène global dans les formations à distance (FAD) et les MOOC. Dans ces trois terrains de recherche, il n’existe pas de consensus sur la conceptualisation et la mesure de l’engagement, si ce n’est la reconnaissance croissante que ce construit est composé d’au moins trois dimensions de la participation aux activités d’apprentissage : comportementale, émotionnelle/affective et cognitive (Deng et al., 2020 ; Fredricks et Mc Colskey, 2012 ; Molinari et al., 2016). Par exemple, certains chercheurs ne distinguent pas l’engagement des concepts de motivation et d’auto-efficacité (Sinatra et al., 2015). Même lorsque des conceptions de l’engagement semblent similaires, on note un grand écart dans le contenu des items utilisés dans les instruments de mesure. De plus, principalement dans les FAD et les MOOC, les recherches se basent sur diverses définitions de l’engagement qui les orientent vers la détection des comportements très spécifiques qu’on peut attribuer à des formes particulières de ce phénomène (Molinari et al., 2016). Dans les forums de discussion des MOOC, c’est la dimension comportementale de l’activité des apprenants qui est principalement étudiée (Moore et al., 2019). Ces variations substantielles dans la conceptualisation et l’opérationnalisation de l’engagement nuisent à la justesse des comparaisons des résultats des recherches et des conclusions à tirer sur les facteurs et les conséquences de ce construit. Afin de pallier ces écarts, nous avons conceptualisé la notion d’engagement des apprenants dans les forums des MOOC à laquelle nous nous référons (voir Nleme Ze et Molinari, 2021). Nous concevons cet engagement comme un construit dynamique, s’inscrivant dans le continuum « absence d’engagement – niveau d’engagement inférieur – niveau d’engagement élevé » et ayant quatre dimensions (comportementale, affective/émotionnelle, cognitive et sociale) interdépendantes.
6Premièrement, les indicateurs comportementaux de l’engagement (par exemple, poser des questions et répondre aux questions ; fournir aux autres des réponses rapides) permettent d’observer directement l’engagement, car ils correspondent aux traces laissées par les étudiants dans les forums. Ensuite, les indicateurs émotionnels/affectifs (par exemple, être heureux de participer à un forum ; être intéressé par les sujets des discussions) se rapportent à l’intérêt et à la valeur que les étudiants accordent aux discussions dans le forum ainsi qu’à l’intensité émotionnelle ressentie en y participant. Ces indicateurs relatifs aux dimensions comportementale et émotionnelle/affective de l’engagement sont en accord avec les définitions de Fredricks et al. (2016). En outre, trois types d’indicateurs permettent de rendre compte de l’engagement cognitif. Le premier type fait référence à l’utilisation de stratégies d’apprentissage, en particulier les stratégies d’organisation et d’élaboration (par exemple, synthétiser les discussions, argumenter et clarifier les réponses aux questions), tandis que le deuxième type fait référence à des stratégies d’autorégulation qui incluent des stratégies métacognitives (par exemple, essayer de comprendre ses erreurs lors les échanges) et des stratégies de gestion (par exemple, faire des recherches sur le sujet abordé par la question postée). Le troisième type d’indicateurs concerne le temps nécessaire pour mettre en œuvre ces stratégies cognitives (par exemple, consacrer suffisamment de temps à la participation au forum). Cette approche est conforme à la majorité des recherches sur l’apprentissage et l’engagement (Fredricks et al., 2016 ; Maisonneuve et al., 2016 ; Miller et al., 1996 ; Viau, 2014). Enfin, la signification de l’engagement social est double. D’une part, elle renvoie à la volonté des apprenants de maintenir des relations positives dans les forums de discussion (par exemple, commenter les idées et les opinions des autres avec respect et empathie) (Quintin et Masperi, 2010 ; Molinari et al., 2016). D’autre part, elle fait référence à la tentative des étudiants à s’engager dans des échanges hautement transactifs (par exemple, combiner ses propres idées avec celles des autres pour répondre à des questions) (Molinari et al., 2016 ; Weinberger et Fischer, 2006).
7En somme, il ressort que pour mesurer efficacement l’engagement des étudiants dans les forums de discussion tant pour la recherche que pour la pratique, il est nécessaire de concevoir un instrument capable de jauger ce phénomène selon la perspective quadridimensionnelle susmentionnée. Cela permettra particulièrement de mieux examiner comment ces dimensions fluctuent et interagissent dans le temps. Dans la section suivante, nous argumentons le choix d’un questionnaire autorapporté pour mesurer cet engagement.
8Les traces ou données d’utilisation enregistrées automatiquement et les questionnaires autorapportés sont principalement utilisés pour évaluer l’engagement des étudiants dans les forums. Concernant les formations à distance et les MOOC, Molinari et ses collègues (2016) relèvent que « si les traces peuvent être considérées comme des mesures objectives de l’engagement comportemental, elles en disent toutefois peu sur l’engagement cognitif, c’est-à-dire sur les stratégies utilisées, ou le degré effectif d’investissement intellectuel ou affectif » (paragr. 22). D’autres auteurs (Galikyan et Admiraal, 2019 ; Ouyang et al., 2020 ; Xing et al., 2019) relèvent que, pour mieux étudier l’engagement cognitif, affectif et social dans les forums de discussion, seules les traces ne suffisent pas. Ces dernières doivent être croisées avec d’autres données issues des questionnaires et entretiens. Étant donné qu’il n’est pas clair que l’utilisation des traces permet une mesure valable des dimensions cognitive, affective et sociale de l’engagement dans les forums des MOOC, nous nous intéressons aux questionnaires autorapportés, plus couramment utilisés comme mesure multidimensionnelle de l’engagement des étudiants (Almutairi et White, 2018). En effet, les différentes dimensions de l’engagement sont interdépendantes et les traiter séparément serait une erreur. Les questionnaires offrent l’avantage de sonder avec efficience les perceptions subjectives des apprenants pendant leurs apprentissages. Ainsi, les questionnaires sont utiles et convenables pour mesurer les dimensions affective et cognitive de l’engagement qui, généralement autodéclarées, relèvent davantage des processus internes parce que non directement observables (Appleton et al., 2008). Ces données subjectives viennent compléter les données objectives relatives à l’engagement comportemental dans les forums.
9Cependant, s’agissant des recherches relatives aux MOOC, les questionnaires qui saisissent à la fois les dimensions comportementale, affective, cognitive et sociale font défaut. Les rares questionnaires existants s’intéressent à l’ensemble des activités des MOOC et ne se focalisent pas sur les forums. Par exemple, Deng et al. (2020) ont développé une échelle de mesure à quatre dimensions (affective, cognitive, comportementale et sociale) spécifique aux MOOC. Seule la dimension sociale, évaluée à l’aide de trois items, fait référence à l’engagement des apprenants dans les forums. Les deux premiers items (I often responded to other learners’ questions ; I contributed regularly to course discussions) renvoient à l’engagement comportemental dans les forums tandis que le troisième (I shared learning materials (e.g., notes, multimedia, links) with other classmates in the MOOC) permet d’y évaluer partiellement l’engagement social. Ainsi, les mesures de l’engagement dans les forums des MOOC avec les questionnaires autorapportés existants peuvent être optimisées. C’est à dessein que l’objectif de cet article est de développer et faire une validation exploratoire de l’Échelle de mesure de l’engagement dans les forums (EMEF) des MOOC. Dans la section suivante, nous présentons le processus de développement de notre échelle ainsi que les modifications apportées à l’instrument au fil des différentes étapes en fonction de nos leçons apprises.
10Cette section présente le processus d’élaboration de la version préliminaire de l’EMEF et sa réduction par les experts. Elle étaye ensuite les prétests cognitifs et, enfin, décrit la procédure et les résultats de sa validation psychométrique.
11À l’exemple de l’étude de Fredricks et al. (2016), notre échelle a été conçue sur la base des données qualitatives recueillies lors des entretiens avec les apprenants des MOOC (Nleme Ze et Molinari, 2021), en respectant les étapes préconisées par Gehlbach et Brinkworth (2011) et décrites dans les sous-sections ci-après.
12La démarche d’élaboration de la version préliminaire du questionnaire est associée à la validité de contenu, c’est-à-dire, le fait que l’échelle mesure effectivement le phénomène qu’il est censé mesurer. Nous avons débuté cette démarche en passant en revue la littérature pertinente afin de rassembler les conceptualisations de l’engagement des apprenants (e.g., Deng et al., 2020 ; Fredricks et al., 2016 ; Molinari et al., 2016) et les instruments existants, dont des items pouvaient être utilisés/adaptés pour rendre compte de l’engagement dans les forums de discussion des MOOC. En plus de définir l’engagement des étudiants et de connaître ses principales caractéristiques identifiées par la littérature précédente, cette étape a permis d’obtenir un premier échantillon de potentiels items de l’engagement.
13À l’étape suivante, nous avons réalisé 11 entretiens individuels semi-structurés avec des « certifiés » d’un MOOC pour savoir comment ils conceptualisent leur engagement dans les forums de ces cours (cf., Nleme Ze et Molinari, 2021). Les réponses de ces entretiens ont permis d’obtenir une liste d’indicateurs de l’engagement qui ont constitué le second échantillon d’items potentiels. Les items issus de l’analyse documentaire et ceux issus des entretiens ont été comparés pour en déterminer les similitudes et les divergences. Lorsqu’il y avait un accord entre les conceptions de l’engagement, mais des différences dans la formulation d’un item spécifique, nous avons utilisé le vocabulaire des interviewés pour décrire l’engagement. Cela nous a permis d’établir la liste initiale d’items du questionnaire dans laquelle nous avons inclus des indicateurs (1) mentionnés par les interviewés, mais non identifiés dans la littérature, et (2) issus des mesures d’engagement existantes, mais non mentionnés par les interviewés. En fin de compte, 34 items ont été retenus pour un examen plus approfondi par les experts (voir annexe A).
14La soumission des items à la procédure de validation par des experts avait pour but de s’assurer de leur clarté et pertinence : c’est la vérification de la validité du contenu de l’échelle (Hardesty et Bearden 2004). Ces experts de l’engagement des étudiants en contexte de classe, FAD et MOOC ont été identifiés de deux manières. D’une part, à partir des articles sur l’engagement qu’ils ont publiés dans des revues internationales à comité de lecture. D’autre part, via la diffusion d’un appel à participation à la recherche auprès de l’Association des Technologies de l’Information pour l’Éducation et la Formation (ATIEF). Nous leur avons envoyé un courriel clarifiant l’objectif de notre recherche, la nature volontaire de leur participation, le temps à y consacrer et l’utilisation qui serait faite des renseignements fournis. Ce courriel contenait également le lien des deux tâches à réaliser à distance par LimeSurvey. Afin d’accroître la fiabilité des réponses des experts, ces derniers ont reçu des instructions claires relatives à ces tâches.
15En particulier, 14 experts ont réalisé la première tâche qui consistait à évaluer la clarté de l’ensemble des items. De plus, ils ont été invités à préciser ce qui faisait défaut pour les items jugés incompréhensibles et à faire des suggestions de reformulation ou de suppression. À cause du caractère chronophage de cette première tâche, seuls 6 experts parmi les 14 ont réalisé la seconde. Cette dernière visait à classer pour chaque item, les dimensions (comportementale, cognitive, affective et sociale) de l’engagement par ordre de pertinence (de la dimension la plus représentative à la moins représentative de l’item). Pour ce faire, les experts se sont référés aux définitions contenues dans un fichier PDF joint au courriel d’invitation à la recherche. Un minimum de 5/6 experts devait correctement attribuer une dimension à un item pour qu’il soit conservé. Par ailleurs, ces six experts exerçant dans trois différents pays (1 au Canada, 4 en France et 1 en Suisse) étaient constitués de deux professeurs d’université en technologie éducative, un professeur d’université en sciences de l’éducation, un doctorant en sciences de l’éducation, un concepteur de MOOC et un enseignant-concepteur de cours hybride et utilisateur de MOOC. Cette diversité d’experts a permis de croiser les différentes compréhensions de l’engagement afin de mieux évaluer ce construit dans les forums des MOOC.
16Nos experts ont relevé certains éléments à modifier dans notre liste d’items, notamment 1) la présence des énoncés conditionnels, c’est-à-dire, les items dont la question principale dépend du respect d’une série de conditions (e.g., 13. Je suis satisfait·e parce que mes contributions et explications aident les autres) ; 2) l’existence des termes ambigus ou vagues dans certains items (e.g., 3. Je réponds aux questions « à temps ») ; 3) la présence d’items doubles, c’est-à-dire, qui évoquent deux thèmes (e.g., 29. J’essaye d’aider les autres à résoudre les problèmes et à mieux comprendre les thèmes abordés) ; 4) le manque de précision du contexte de quelques items ; et 5) des similitudes entre certains items de la dimension affective de l’engagement. Sur la base des suggestions des experts (voir annexe 2), nous avons apporté plusieurs modifications à nos items et échelles, notamment 1) créé des options de réponse des items de l’engagement comportemental distinctes de celles des items des autres formes d’engagement ; 2) reformulé des items jugés flous ; 3) scindé les items doubles ou conditionnels en deux ou plusieurs énoncés distincts ; 4) formulé tous les items au passé composé, car ils évaluent l’engagement des apprenants dans les forums à la fin du MOOC ; 4) abandonné les items jugés inutiles (e.g., 4. Je m’assure de régulièrement participer aux discussions ; 23. Je consacre suffisamment de temps aux forums) ; 5) fusionné les items similaires de la dimension affective ; 6) ajouté à certains items de la dimension affective de l’engagement, la liste complète des émotions (issues des entretiens) que pourraient ressentir les apprenants en participant aux forums ; et 6) supprimé certains items qui pourraient être mal interprétés par les apprenants (e.g., 8. Je suis « confiant·e » lorsque je donne mon avis ; 10. Je me sens « connecté·e » aux autres dans le forum). Tous les changements apportés aux items ont tenu compte du niveau langue utilisé par les apprenants lors des entretiens. Par ailleurs, aucun item n’a été supprimé sur la base de l’examen de sa pertinence, car, au moins 5/6 experts ont attribué la bonne dimension de l’engagement à chaque item (voir annexe 2). Finalement, 26 items ont été retenus et intégrés dans un questionnaire (voir annexe 3) puis soumis à un prétest cognitif.
17Après la révision du questionnaire préliminaire par les experts, nous avons réalisé un prétest cognitif (PC) afin d’évaluer la clarté des énoncés et de savoir si les étudiants les comprennent ou les interprètent de la même manière que nous, chercheurs (voir Karabenick et al., 2007). L’objectif était de nous assurer que les apprenants des MOOC seront en mesure de remplir le questionnaire sans difficulté, réduisant ainsi les erreurs de mesure de l’engagement. Spécifiquement, nous avons organisé trois entretiens de groupe (de trois personnes) par vidéoconférence, d’une durée de 90 minutes à 120 minutes. Les participants qui y ont volontairement participé suivaient un MOOC et se caractérisaient par leur diversité en ce qui concerne l’âge (31,7 ans, écart-type = 10,7), le genre (7 hommes et 2 femmes), le niveau d’études (1 niveau d’étude secondaire, 2 licences, 5 masters et 1 doctorat), l’aire géographique de résidence (4 en Europe, 3 en Afrique et 2 aux Caraïbes). Ils étaient donc qualitativement représentatifs de la population-cible du questionnaire final. Ils nous ont expliqué ce qu’ils comprennent de chaque item du questionnaire en répondant aux quatre questions recommandées par Woolley et al. (2004), contenues dans notre guide d’entretien.
18La question Q1 a spécifiquement évalué la langue et le vocabulaire utilisés par les items. Les questions Q2, Q3 et Q4 ont respectivement recueilli des données évaluant la validité de chacune des trois étapes critiques du traitement cognitif :
-
« L’interprétation d’un item ». L’interprétation de ce que signifie l’item est-elle acceptable ? ;
-
« L’élaboration des réponses cohérentes ». Les souvenirs (e.g., expériences, pensées, sentiments ou des perceptions) traités cognitivement par les apprenants lorsqu’ils répondent à une question sont-ils acceptables ? ;
-
« Le choix d’une réponse cohérente ». Y a-t-il une adéquation entre la sélection des réponses possibles et ces élaborations cohérentes ?
19Par ailleurs, deux questions supplémentaires relatives à la forme du questionnaire, ont été posées (Spontón et al., 2012) : (Q5) Que pensez-vous de la longueur du questionnaire ? ; (Q6) Que pensez-vous de l’emplacement des réponses ? En ce qui concerne le nombre d’items, nous avions l’intention d’obtenir un instrument final court. Les réponses à ces six questions ont permis d’améliorer les items du questionnaire où les mots paraissaient ambigus ou difficiles à comprendre, de supprimer tous les énoncés redondants et d’en générer de nouveaux.
20Nos entretiens cognitifs ont révélé que les apprenants ont interprété la majorité des items comme nous l’avions prévu. Toutefois, les interviewés ont évoqué la difficulté à comprendre quelques options de réponse aux items. Dans la partie 1, l’option « oui, suffisamment » posait problème. Par exemple, « avoir suffisamment posé des questions » était interprété comme « avoir posé un maximum de questions au point de ne plus devoir le faire » au lieu d’être compris comme « avoir posé un nombre moyen de questions ». Aussi, dans les parties 2, 3 et 4, les répondants ont fait une distinction peu claire entre les options de réponse « moyennement vrai » et « assez vrai ». Ainsi, l’option de réponse « oui, suffisamment » a été remplacée par « oui, moyennement » tandis que les options des réponses « assez vrai » et « très vrai » ont été respectivement remplacées par « très vrai » et « totalement vrai ». Par ailleurs, les interviewés ont noté qu’il n’était possible de répondre à certaines questions que s’ils avaient réalisé certaines actions ou vécu certaines expériences dans les forums (COM5, ainsi que tous les items des dimensions cognitive, affective et sociale de l’engagement). Par exemple, l’apprenant ne peut répondre à l’item AE2 (lorsque j’ai créé des discussions dans les forums, je me suis senti·e joyeu·se·x / satisfait·e /enthousiaste), que s’il a créé des discussions dans les forums. Ainsi, il a été suggéré d’ajouter l’option de réponse « non applicable » pour ce type d’items. Enfin, les interviewés avaient du mal à répondre à certaines questions et d’autres ont été jugés imprécis, trop précis ou mal formulés (voir légende annexe 3). Sur la base de ces observations, certains items ont été supprimés (CO4, SO3) et d’autres reformulés (COM5, AE2, AE3, AE4, AE5, CO1, CO7, SO2, SO6). Ainsi, nous avons obtenu un questionnaire final de 24 items (voir annexe 4) qui a été soumis à une validation psychométrique.
21Le questionnaire final a été soumis à 344 apprenants de 8 MOOC de l’université de Genève. Outre les renseignements sociodémographiques, le questionnaire a interrogé ces participants sur leur engagement dans les forums de discussion du MOOC auquel ils avaient participé avec succès au plus de six semaines avant le début de l’étude. Il leur a fallu 10 minutes en moyenne pour répondre à toutes ces questions avec l’outil LimeSurvey. La participation à l’étude était volontaire et aucune récompense n’a été prévue. En référence à Tessier et al. (2007), nous avons obtenu une excellente acceptabilité du questionnaire (94,24 %) en calculant le rapport entre le nombre de personnes ayant entièrement rempli le questionnaire (N1 = 344) et le nombre total de participants qui ont répondu positivement au formulaire de consentement (N2 = 365). Seules les données des 38 personnes (32 hommes et 6 femmes) qui ont activement contribué aux forums (c’est-à-dire, ceux qui n’ont répondu « non applicable » à aucun item du questionnaire) ont été analysées.
22Ces 38 répondants, finalement issus de 7 MOOC (voir tableau 1), étaient des Africains (n = 18), des Européens (n = 9), des Latino-Américains (n = 9) et des Nord-Américains (n = 2). Vingt-neuf d’entre eux résidaient en zone urbaine, 7 en zone semi-urbaine et 2 en zone rurale. Trente-sept des répondants avaient un niveau d’études postsecondaires dont 11 un bachelor, 22 une maîtrise et 4 un doctorat. Parlant de leurs occupations principales, ils étaient 24 travailleurs, 8 étudiants, 4 retraités et 2 des sans-emploi Leurs âges oscillaient entre 22 ans et 77 ans pour une moyenne de 43,8 ans (écart-type = 13,8).
Tableau 1. Effectifs des répondants par MOOC
|
Effectifs
|
MOOC « Le Bien, le Juste. l’Utile. Introduction aux éthiques philosophiques »
|
8
|
MOOC « Violences et religions »
|
1
|
MOOC « Gestion et politique de l’eau »
|
6
|
MOOC « Rédaction de contrat »
|
13
|
MOOC « Calvin - Histoire et Réception d’une Réforme »
|
2
|
MOOC « Genre : quels enjeux ? Violences, globalisation, biomédecine, sexualités »
|
7
|
MOOC « Ébola : Vaincre ensemble ! »
|
1
|
Total
|
38
|
23S’il est vrai que l’analyse des composantes principales (ACP) avec rotation orthogonale Varimax est de loin la plus répandue pour une analyse factorielle exploratoire, vraisemblablement parce que c’est la méthode d’extraction par défaut des logiciels tels que SPSS et SAS, il ressort que l’ACP n’est pas une réelle méthode d’analyse factorielle (Bourque et al., 2006, p. 329) et qu’elle peut se montrer inférieure à cette dernière (Worthington et Whittaker, 2006). Ainsi, nous avons opté pour l’analyse factorielle exploratoire (AFE) afin de vérifier quelles sont réellement les dimensions du concept d’engagement qui se dégagent des items du questionnaire présenté aux apprenants (Tabachnick et Fidell, 2001). Les facteurs ont été extraits à l’aide de la méthode de factorisation en axes principaux (FAP), car elle est insensible à la normalité de nos distributions d’items qui était parfois questionnable (Bourque et al., 2006). Aussi, afin d’être cohérente avec les études précédentes sur l’engagement qui ont démontré des corrélations positives entre les dimensions de l’engagement (e.g., Fredricks et al., 2004), la rotation oblique Promax a été utilisée avec l’analyse factorielle FAP afin de permettre la corrélation entre nos facteurs et favoriser une structure factorielle simple (Worthington et Wittaker, 2006). En outre, avant de mener les analyses factorielles, nous nous sommes assurés de la factoriabilité de la matrice de corrélation (test de Kaiser-Meyer-Olkin et celui de la sphéricité de Bartlett) plutôt que de covariance, car cela permet d’interpréter les résultats tout en minimisant les risques d’obtenir des solutions incohérentes (Bourque et al., 2006).
24La mesure Kaiser-Meyer-Olkin (KMO) était de 0,67, ce qui suggère que les données étaient suffisantes pour l’AFE. Le test de Bartlett de sphéricité de Bartlett χ2 (276) = 580,11, p < 0,001 indique que les items sont bien ajustés aux facteurs latents. Six facteurs ont été initialement extraits de cette analyse, avec seulement 2 items se chargeant sur le cinquième facteur et des items avec un indice de saturation inférieur à 0,30 sur le sixième facteur. Par conséquent, nous avons spécifié une extraction à 4 facteurs dans l’AFE. De plus, cette façon de faire est en accord avec Bourque et al. (2006) qui suggère que si ces observations correspondent sensiblement aux critères théoriques recherchés, il est possible de fixer a priori le nombre de facteurs à retenir.
- 1 Les communautés, ou variance partagée, représentent la proportion de la variance d’un item expliqué (...)
25Suite à cette nouvelle extraction, nous avons, d’une part, éliminé les items ayant obtenu un indice de saturation inférieur à 0,40 ou supérieur à cette valeur sur plus d’un facteur, et retiré les items qui ne s’associaient pas théoriquement au facteur approprié (Worthington et Witthaker, 2006). D’autre part, nous avons supprimé les items dont l’indice de communauté (ou variance partagée)1 serait inférieur à 0,40 (Tabachnick et Fidell, 2001).
26Sur la base de ces critères, 8 items ont été exclus (voir annexe 5), et un inventaire de 16 items a été obtenu (voir tableau 2). Nous avons obtenu une solution à quatre facteurs, représentant 60,10 % de la variance commune. Les dimensions factorielles coïncident avec notre conceptualisation théorique sur l’engagement des apprenants dans les forums des MOOC (Nleme Ze et Molinari, 2021), et ont été étiquetées comme engagement cognitif (Facteur 1), engagement social (Facteur 2), engagement comportemental (Facteur 3) et engagement émotionnel/affectif (Facteur 4). Une valeur significative du chi carré pour le test de sphéricité de Bartlett χ 2 (120) = 342,76, p < 0,001 et l’indice d’adéquation de l’échantillonnage de Kaiser-Meyer-Olkin de 0,73 suggèrent respectivement qu’il existe des corrélations significatives entre les items et que ces derniers sont bien ajustés aux facteurs latents. Les valeurs alpha (α) de Cronbach (1951) pour les quatre dimensions de l’engagement variaient de 0,74 à 0,84, démontrant des fiabilités adéquates (Field, 2009).
Tableau 2. Résultats de l’analyse factorielle FAP retenue avec rotation Promax pour les quatre sous-échelles de l’engagement dans les forums des MOOC
27Par ailleurs, le tableau 3 indique que les corrélations entre les quatre facteurs se sont toutes révélées positives, modérées et significatives d’après le test de Spearman. Cela démontre que chaque facteur est distinct, sans chevauchement significatif et sans facteurs supplémentaires. Par ailleurs, il est observé qu’un apprenant qui démontre un comportement moyen en créant et lisant les discussions ainsi qu’en posant et répondant aux questions des forums, s’y investirait davantage de manière cognitive, encore plus socialement sans pour autant éprouver plus de plaisir.
Tableau 3. Corrélations entre les quatre dimensions de l’engagement des apprenants (n = 38)
28Dans cet article, nous avons présenté l’EMEF, une échelle qui évalue l’engagement des apprenants dans les forums de discussion des MOOC. Cet instrument a été conçu en quatre étapes préconisées par Gelhbach et Brinkworth (2011). Les trois premières étapes, dont l’élaboration d’une liste préliminaire d’items, leur revue par les experts et le prétest cognitif ont permis d’assurer la validité de contenu de l’échelle (Vallerand et Hess, 2000). Dans la quatrième étape, nous nous sommes assurés de la validité de construit de l’échelle par une analyse factorielle (factorisation en axes principaux) avec rotation oblique Promax et de sa consistance interne à travers l’examen des coefficients de Cronbach (1951).
29L’application des critères de suppression des items suggérés par Worthington et Witthaker (2006) et Tabachnick et Fidell (2001) a permis de réduire le nombre d’items de l’EMEF à 16 sans sacrifier sa fiabilité. En effet, les alphas de Cronbach (0,74 à 0,84) obtenus pour chacune des sous-échelles attestent de l’excellente homogénéité des différents items en leur sein. Cette réduction nous a également permis d’obtenir une échelle de mesure courte et compréhensible, donc facile et rapide à renseigner, ce qui augmenterait davantage son acceptabilité qui était déjà excellente. La part de chaque facteur dans la variance (Facteur 1 = 35,89 % ; Facteur 2 = 10,06 % ; Facteur 3 = 8,89 % ; Facteur 4 = 5,54 %) relève que l’engagement dans les forums, tel que perçu par les apprenants, est d’abord cognitif, social, comportemental et enfin émotionnel (principalement de valence positive). Ainsi, les sous-échelles obtenues coïncident avec notre conceptualisation théorique de l’engagement (cf. Nleme Ze et Molinari, 2021) et ont été désignées comme engagement cognitif, engagement social, engagement comportemental et engagement émotionnel, respectivement.
30S’agissant de la sous-échelle « engagement cognitif », les items retenus sont de deux types. Le premier type réfère aux stratégies d’apprentissage, dont les stratégies d’élaboration (CO3 et CO6) et d’organisation (CO5) qui évaluent un apprentissage en profondeur (Maisonneuve et al., 2016 ; Miller et al., 1996 ; Viau, 2003). Le second type s’intéresse aux stratégies autorégulatrices mobilisées par les apprenants, dont les stratégies métacognitives (CO1) et les stratégies de gestion (CO2). Quant à la sous-échelle « engagement social », elle examine les échanges transactifs des apprenants à travers les items SO7, SO4 et SO5 (Molinari et al., 2016 ; Weinberger et Fischer, 2006) ainsi que leur volonté à entretenir des relations positives via l’item SO1 (Molinari et al., 2016 ; Quintin et Masperi, 2010). Ensuite, les items COM3, COM4, COM1 et COM2 associés à la sous-échelle « engagement comportemental » apprécient les comportements souhaitables des apprenants et directement observables, car correspondant aux traces qu’ils laissent (nombre de discussions créées et lues ; nombre de questions et réponses publiées) lorsqu’ils participent aux forums des MOOC (Onah et al., 2014). Enfin, la sous-échelle « engagement émotionnel » évalue l’intensité des émotions positives (e.g., joie, satisfaction, enthousiasme) ressenties en créant des discussions (AE2) et en posant des questions (AE4). Ces items semblent également évaluer le flow des apprenants tel que défini dans les études de Heutte et al. (2014, 2016). En effet, un apprenant est en état de flow si l’activité lui procure beaucoup de bien-être, s’il a le sentiment de vivre un moment enthousiasmant et s’il ressent des émotions qu’il a envie de partager en évoquant cette activité. Par ailleurs, cette envie de partager les émotions positives ressenties est en adéquation avec l’item SO2 et donc en cohérence avec présence dans cette dimension émotionnelle/affective plutôt que dans la dimension sociale comme nous l’avions initialement prédit.
31En somme, l’importance de cette étude est triple. Premièrement, elle enrichit la littérature existante sur l’engagement dans les MOOC en proposant une échelle d’engagement dans les forums à quatre dimensions (cognitive, sociale, comportementale et émotionnelle/affective). Deuxièmement, elle est utile pour les enseignants donnant une priorité aux interactions dans les MOOC, car elle leur permet d’évaluer et d’optimiser l’efficacité du scénario pédagogique intégrant les forums, et ce à des fins d’engagement des étudiants. En effet, l’EMEF peut être utilisée pour mesurer l’engagement des apprenants dans ces forums à différents moments du MOOC de sorte à en appréhender les fluctuations et à faire des remaniements continus du dispositif de formation en fonction de ces fluctuations. En outre, cet instrument fournit des informations utiles sur les stratégies d’apprentissage mobilisées et le ressenti des étudiants dans les forums de discussion. La dimension sociale étant positivement et la plus fortement corrélée à la dimension émotionnelle de l’engagement, nous pouvons faire l’hypothèse que le maintien des relations de qualité dans les forums augmenterait le plaisir des apprenants à interagir et contribuerait à créer le lien social nécessaire pour supporter le sentiment de solitude associé à l’abandon dans les FAD et les MOOC (Garrot, 2007 ; Xing et Du, 2019). Troisièmement, cette échelle peut aider les étudiants à s’auto-évaluer afin d’autoréguler leur engagement dans les forums des MOOC et potentiellement améliorer les taux de réussite de ces cours.
32Malgré les forces de notre étude, celle-ci présente un ensemble de limitations qu’il convient de reconnaître. Premièrement, sur les 344 apprenants qui ont répondu au questionnaire, seuls 38 ont réellement participé aux forums de discussion. Ainsi, le bassin de population (n = 38) utilisé pour la validation psychométrique et uniquement constitué de ces apprenants actifs des forums des MOOC peut paraître de petite taille. Cependant, cette taille reflète la réalité des MOOC sur la rareté d’apprenants qui participent aux forums comme le relève l’étude de Margaryan et al. (2015) qui indique un taux de participation de 3 % pour 76 MOOC analysés. Aussi, notre ratio est supérieur au minimum (≤ 2) observé par Costello et Osborne (2005). Selon ces auteurs, la taille adéquate de l’échantillon pour une AFE est en partie déterminée par la nature des données. En général, plus les données sont solides plus l’échantillon peut être petit pour une analyse précise. Cette solidité est attestée d’une part, par la mesure Kaiser-Meyer-Olkin qui a indiqué un échantillonnage suffisant pour l’AFE et, d’autre part, par des indices de communauté assez élevés obtenus (Costello et Osborne, 2005 ; Worthington et Whittaker, 2006). Deuxièmement, notre mesure de l’engagement dans les forums des MOOC s’est faite avec un échantillon ne comprenant que les étudiants ayant validé les MOOC, ce qui limite la généralisation de l’étude à tous les participants à ces cours. Troisièmement, relevons le caractère rétrospectif de la mesure de l’engagement des étudiants. Toutefois, cette collecte s’est faite auprès des apprenants ayant achevé le MOOC au plus de six semaines avant la passation de l’EMEF. Cela contribue à minimiser les erreurs de collecte, car les répondants pouvaient facilement se souvenir de leurs expériences dans les MOOC. Quatrièmement, notons la nature autodéclarée de l’engagement mesuré par l’EMEF. En effet, cette mesure peut être sujette à des biais de réponses et ne peut pas refléter avec précision les résultats réels des comportements (Mega et al., 2014). D’ailleurs, les résultats autodéclarés sont de bons prédicteurs de l’engagement réel pour les apprenants les plus engagés alors que cela n’est pas le cas pour ceux qui ne le sont pas (Fredricks et al., 2016). Afin de limiter les biais de désirabilité sociale et maximiser la variabilité dans la mesure de l’engagement, nous avons présenté chaque item sous la forme d’une question à échelle de type Likert à 5 points.
33Pour finir, les précautions prises lors du développement de l’EMEF ainsi que l’examen de ses propriétés psychométriques confirment sa validité préliminaire. Les travaux futurs permettront de contre-valider ces résultats obtenus d’une part en testant la validité externe de l’échelle en croisant les réponses des participants avec certaines traces. Cela n’a pas été possible pour le moment pour des raisons éthiques, car il faut au préalable l’accord de toutes les personnes ayant enrichi les forums. D’autre part, une analyse factorielle confirmatoire sera nécessaire avec un échantillon distinct et équivalente à celle utilisée dans le cadre de notre analyse exploratoire (Costello et Osborne, 2005). Par ailleurs, cet article est également le point de départ d’autres études qui permettront d’examiner la généralisation de l’utilisation de l’EMEF à d’autres types de formations à distance.