Navigation – Plan du site
Articles

Questionner les traces d’activités en ligne pour mieux comprendre l’expérience d’apprentissage des étudiants

Karim Boumazguida, Gaëtan Temperman et Bruno De Lièvre

Résumés

Avec la disponibilité des traces d’apprentissage, les environnements numériques mis à la disposition des étudiants en contexte universitaire offrent une opportunité d’étudier le lien entre le processus d’apprentissage et les produits de celui-ci. Cette contribution a pour objectif d’étudier ce type de relation au sein d’un SPOC accessible sur la plateforme d’apprentissage Moodle. Notre analyse s’appuie sur une exploitation des traces de différentes activités réalisées en ligne par les apprenants et un post-test sur table permettant d'objectiver le degré de maîtrise atteint. Elle met en évidence que plusieurs variables liées aux activités en ligne des apprenants contribuent à expliquer le degré de maîtrise atteint. Nous observons en particulier que les tâches informatives, formatives et interactives expliquent, en partie, le degré de maîtrise du contenu des apprenants. Le processus d’auto-évaluation (tâches formatives), la reformulation du contenu dans le forum (tâches interactives) ainsi que l’intensité de la lecture des séquences didactiques (tâches informatives) mises à disposition favorisent l’apprentissage des apprenants. Une typologie obtenue par une approche par cluster et créée à partir de ces différentes variables permet de distinguer trois profils d’apprenants : les « participants observateurs » (en retrait dans l’apprentissage), les « participants passifs » (caractérisés par un degré d’intensité de visionnage des capsules vidéopédagogiques plus important et par un engagement intermédiaire pour les évaluations formatives et les échanges sur les forums) et enfin les « participants actifs » (investis sur l’ensemble des composantes du SPOC). Enfin, l’opinion des étudiants recueillie à partir d’un questionnaire de perceptions concorde avec ce qu’ils réalisent effectivement dans l’environnement en ligne.

Haut de page

Texte intégral

1. Introduction

1Proposer et encadrer des séquences pédagogiques susceptibles favoriser l’apprentissage ainsi que l’activité cognitive des apprenants inscrits, notamment avec des grands groupes, dans le premier cycle à l’université constitue un important challenge pour l’enseignant. Ce souci de recherche d’efficacité par l’enseignant rejoint d’une certaine manière le concept d’industrialisation proposé par Moeglin (1998). Cet auteur met en évidence l’intérêt pour l’enseignant-chercheur de concevoir/rechercher des ressources pédagogiques efficaces susceptibles de répondre au besoin d’encadrement (humain) pouvant parfois manquer aux apprenants compte tenu de la nature massive de ce type de public. Pour répondre à ces besoins, bon nombre d’institutions d’enseignement supérieur développent des environnements numériques de travail à distance à destination de leurs étudiants : les SPOC (Small Private Online Course). Kaplan et Haenlein (2016) qualifient ces cours en ligne privés destinés à des petits groupes d’apprenants comme étant une réadaptation des MOOC (Massive Open Online Course) à une échelle locale. La plus-value du SPOC par rapport au MOOC « se situe précisément à ce niveau-là, celui d’une limitation du nombre de participants afin de rendre plus qualitative la nature de leurs échanges et de leurs éventuels apports respectifs, avec la mise en place possible d’un système d’auto-évaluation » (Oliveri et Moatti, 2018, p. 3). C’est précisément le double objectif poursuivi par que notre dispositif.

2D’une part, permettre aux apprenants d’apprendre et aux enseignants de « faire apprendre » en s’émancipant des contraintes spatio-temporelles. Et d’autre part, ces environnements d’apprentissage ont l’avantage d’offrir aux apprenants la possibilité de bénéficier d’une distribution des informations et de favoriser l’interaction avec ces dernières. De plus, l’intégration d’outils collaboratifs comme les forums de discussions ou encore de wikis dans ces environnements d’apprentissage permet aux étudiants d’échanger et de partager l’information et in fine, de susciter d’interactions sociales susceptibles de favoriser leur développement cognitif.

3Contrairement à une situation en présentiel, ces activités en ligne laissent des traces dans les bases de données de ces environnements. Pour les enseignants et les chercheurs, ces traces enregistrées peuvent se révéler être une source précieuse d’informations sur le plan pédagogique pour mieux comprendre l’apprentissage et le réguler (Janssen et al., 2011). À l’aide de requête dans les bases de données et d’outils de visualisation de type « tableau de bord », l’analyse croisée de ces traces avec les progrès effectifs des élèves leur donne la possibilité d’identifier les comportements efficaces et inefficaces en cours du processus d’apprentissage. Dans une perspective de recherche appliquée, les enseignants peuvent ainsi mieux adapter le support aux élèves dans l’environnement virtuel en cours de processus, mais également faire évoluer a posteriori leur scénario pédagogique. Dans cette contribution, nous proposons de décrire et de mettre en œuvre une démarche d’évaluation à partir d’une exploitation de la trace. Notre étude concerne un échantillon de 174 apprenants évoluant au sein d’un dispositif d’enseignement à distance de type SPOC accessible hébergé sur la plateforme d’apprentissage Moodle (Modular Object-Oriented Dynamic Learning Environment) dédié à la découverte en autonomie de deux thématiques relatives à des concepts en sciences de l’éducation à destination d’apprenants inscrits au premier cycle universitaire. Pour mener notre étude, nous nous focalisons dans un premier temps à la notion de trace en éducation en distinguant ensuite les types de traces possibles selon l’outil à potentiel cognitif utilisé par l’enseignant (capsules vidéopédagogiques, questionnaires formatifs et forums). Dans un second temps, nous nous intéressons sur les perceptions des apprenants inscrits dans le processus d’apprentissage en ligne de type SPOC.

2. Traces d’apprentissage en ligne

4L’analyse du processus d’apprentissage concerne le parcours des apprenants et les données recueillies en cours de la réalisation de l’activité. Lors de cours en présentiel, il s’agit de la dimension la moins investiguée en sciences de l’éducation dans la mesure où les données sont plus difficilement accessibles et le traitement de celles-ci est chronophage pour les enseignants. Étant donné le nombre relativement élevés des apprenants inscrits en début de cycle à l’université et la complexité des prises d’informations (identifier les erreurs, détecter la perte d’attention, etc.), ces observations se doivent d’être instrumentées.

5Pour le chercheur ou pour l’enseignant, cette instrumentation est dorénavant facilitée avec les environnements d’apprentissage humain informatisés avec l’enregistrement et la comptabilisation des différentes activités réalisées par l’apprenant dans ceux-ci. Cette démarche d’observation du processus est cohérente avec une approche socioconstructiviste de l’apprentissage qui accorde de l’importance à la démarche d’apprentissage des individus et entre les individus évoluant au sein du dispositif de formation, et en ne se limitant pas uniquement aux résultats de celle-ci. Le développement de compétences inhérentes à l’objet d’apprentissage ne peut d’ailleurs se mesurer qu’à travers les essais et les erreurs pour la mettre en œuvre. Ces informations (les traces laissées par les apprenants) peuvent prendre la forme d’indices, de signes perçus lors d’observations ou d’artefacts laissés par l’action elle-même. Le terme générique de trace est généralement associé à toutes les formes possibles de ces informations. Sur le plan conceptuel, la trace correspond à « un enregistrement automatique d’éléments en interaction entre un utilisateur et son environnement dans le cadre d’une activité donnée » (Laflaquière et Prié, 2007, p. 1).

6Elle peut être associée à une séquence temporelle d’opérations et à la mobilisation d’outils par l’utilisateur en interaction avec un système informatique. Chaque activité de l’utilisateur avec les outils et les ressources disponibles dans l’environnement est alors enregistrée avec une référence temporelle dans une base de données. Les informaticiens désignent cet enregistrement de la trace de l’activité d’un utilisateur comme une donnée brute ou plus communément par le terme de « logfile ». Pour mieux comprendre comment un individu progresse dans un dispositif de formation, la recherche d’indicateurs significatifs constitue une démarche heuristique qui demande de combiner les traces brutes obtenues. Nous rejoignons la définition d’un indicateur formulée par Dimitracopoulou et Bruillard (2006, p. 8) : « Un indicateur est une variable au sens mathématique à laquelle est attribuée une série de caractéristiques. […] Chaque indicateur, en tant que variable, peut être indépendant ou dépendant d’autres variables, voire d’autres indicateurs d’analyse d’interactions. »

7Les analyses de comportements sur la base d’indicateurs peuvent concerner différents aspects complémentaires (Li, Kidzinski, Jermann et Dillenbourg, 2015). Elles peuvent correspondre aux accès à l’environnement, aux données issues des interactions sociales (messages postés, ouverture d’un message, création d’un fil de discussion...), aux actions dans un espace de structuration des connaissances comme le wiki (éditions, consultations, enregistrements, modifications...), aux consultations d’une ressource en ligne, à la navigation dans un glossaire, au téléchargement d’un document mis à disposition, à la réalisation d’un questionnaire, etc. Différents outils à potentiel cognitif (OPC) qualifiés plus généralement de “ressources” peuvent être utilisés par les concepteurs de SPOC (forums, zones d’écriture collaborative, questionnaires formatifs…) selon les besoins de la formation. Depover, Karsenti et Komis (2007) définissent ces ressources comme des environnements informatisés pouvant être intégrés dans des situations de formation pour favoriser l’apprentissage. Ces différents usages peuvent ainsi être classés en trois grandes catégories. Les usages informatifs concernent la consultation des ressources (podcasts, glossaire, documents à consulter, etc.), les usages formatifs sont liés aux démarches d’évaluation (tests en ligne) et enfin les interactions sociales sont liées aux co-constructions de connaissances dans des espaces permettant les échanges médiatisés (forum, wiki, etc.).

2.1. Usages des ressources informatives

8Concernant l’usage des ressources mises à disposition des apprenants, la dimension informative des environnements d’apprentissage à distance peut passer par la mise à disposition de capsules vidéopédagogiques (Wilhelm, C., 2015) complémentairement aux ressources textuelles. McCombs et Liu (2007) caractérisent ces outils à potentiel cognitif de podcasts mixtes constitués d’éléments sonores, d’images fixes, etc. Comme l’explique Roland et Emplit (2015), ces capsules correspondent à de courtes séquences audiovisuelles créées par un enseignant à destination des étudiants pour leur permettre d’approfondir, d’illustrer ou mettre en contexte un aspect sur un point précis du cours. Guo, Kim et Rubin (2014) considèrent par l’étude des différentes modalités que manifestent les apprenants dans leurs usages des vidéos proposées comme une solution pertinente permettant aux enseignants de prendre conscience de l’effet de celles-ci. Cette rétroaction permettrait une adaptation des vidéos en tenant compte des caractéristiques spécifiques des apprenants qui sont amenés à les visionner, et ce, dans le but de les améliorer afin de les rendre les plus propices à l’acquisition de compétences. Ces auteurs se sont principalement focalisés sur la manière dont la vidéo influence l’engagement des apprenants mettent en évidence qu’une courte durée (en moyenne moins de six minutes) de la vidéo favoriserait ce dernier. Dans la même lignée, Guo, Kim et Rubin (2014) rejoignent Mayer (2010) et préconisent une personnalisation des supports d’apprentissage qui passe par l’application de principes qui favorisent un traitement efficace de l’information afin de soutenir un engagement plus efficace. Ce traitement n’est pas toujours efficace. Kim, Kim, Khera et Getman (2014) ont ainsi observé que généralement malgré le fait qu’ils soient conscients des effets positifs de la vidéo pour le processus d’apprentissage la majorité des étudiants semblent regarder ce média principalement pour réaliser une tâche qui leur est assignée sans pour autant « penser » à la réinvestir pour les évaluations en visualisant à nouveau celle-ci avant de réaliser lesdites évaluations.

9L’analyse des différents comportements de lecture de séquences vidéos réalisée par Li, Kidzinski, Jermann et Dillenbourg (2015) met en évidence que des « replays » fréquents et des usages importants de « pauses » traduisent souvent une compréhension plus difficile des apprenants par rapport au contenu. Ces usages peuvent évidemment varier en fonction du contexte pédagogique. Selon Roland et Emplit (2015), l’usage des podcasts par les apprenants dépend de plusieurs paramètres comme le type de supports proposés, la difficulté du cours, ou encore sur la manière dont l’enseignant propose le contenu via ce support.

2.2. Usages formatifs

10Par rapport aux activités d’auto-évaluation des connaissances qui entraîne l’usage d’exerciseurs ou de quiz en ligne, il existe un relatif consensus autour de l’idée que l’autoquestionnement réalisé par l’apprenant constitue un facteur-clef dans l’apprentissage. Dans ses méta-analyses, Hattie (2009) rapporte qu’il s’agit de la démarche pédagogique qui a le plus d’effet sur l’apprentissage (taille de l’effet = 1.4). Dans ce cas de figure, l’évaluation n’est pas sanctionnante. Elle est de nature formative dans la mesure où l’apprenant peut bénéficier d’une rétroaction et peut utiliser celle-ci pour réguler le cas échéant son apprentissage. Pour expliquer la réussite à un MOOC, Koedinger, Kim, Jia, Mc Laughlin et Bier (2015) mettent ainsi en évidence que l’activité d’autoquestionnement des apprenants a plus de poids qu’une simple consultation des ressources. Thomas, Wadsworth, Jin et Thunders (2016) montrent quant à eux que ce n’est pas le score aux tests d’auto-évaluation qui a un impact significatif sur la qualité de l’apprentissage, mais bien le nombre de tentatives qui s’avère être un prédicteur positif.

11Dans cette démarche, ce résultat est à mettre tout simplement en relation avec la mise en œuvre du principe du feed-back (Hattie, 2009) donnant la possibilité aux apprenants de réguler leur apprentissage. En termes de conditions favorables, Dunlosky, Rawson, Marsh, Nathan et Willingham (2013) mettent clairement en évidence que la pratique de test réalisée selon une logique de répétitions espacées constitue la stratégie la plus efficace pour s’approprier un contenu. Ils observent toutefois que c’est la démarche la moins utilisée par les étudiants spontanément. D’un point de vue pédagogique, il importe dès lors d’intégrer dans les dispositifs de formation ce type de support.

2.3. Interactions sociales

12Bien qu’une situation orale puisse paraître plus efficiente dans une situation écrite, le passage à l’écrit donne la possibilité à l’apprenant d’avoir une attitude réflexive par rapport à la situation de communication. Crinon (2010) exprime parfaitement ce bénéfice sur le plan cognitif : « Communiquer par écrit signifie qu’on ne bénéficie pas de la rétroaction immédiate de son interlocuteur et de la régulation que constituent ses réactions et ses questions éventuelles. L’écrit induit donc un effort cognitif supplémentaire pour expliquer ses références hors de la situation d’énonciation, pour construire avec des mots le monde de référence lui-même. » (p. 17) Lors de la communication écrite, les coûts de la production et de la formulation du message sont évidemment plus élevés dans la mesure où les tâches portant sur l’argumentation, les environnements d’apprentissage collaboratif à distance privilégient les outils basés sur une communication écrite.

13La modalité asynchrone favorise de toute évidence l’accessibilité à l’outil de communication par rapport à une communication synchrone qui contraint les utilisateurs à se connecter simultanément pour dialoguer. Les messages sont stockés de manière à ce que les interlocuteurs puissent prendre connaissance de ceux-ci quand ils le souhaitent.

14Au niveau du contenu des échanges, Erkens et Janssen (2008) et Dillenbourg et al. (2007) mettent clairement en avant que le développement de compétences dans ces espaces de discussion est lié à l’émergence d’échanges élaborés qui s’appuient sur une argumentation et sur une mobilisation des concepts issus du contenu du cours. Ces résultats confirment les conclusions de Tapiero (2007) qui mentionnent que la production d’un texte argumenté, c’est-à-dire dont les idées s’enchaînent correctement, est liée positivement à la compréhension du domaine de ce dernier dans la mesure où les articulations logiques facilitent l’ancrage des connaissances.

15Berkowitz et Gibbs (1983) définissent le fait que les apprenants évoluant au sein d’un espace cognitif créent du sens en exploitant tantôt le contenu d’apprentissage tantôt le raisonnement et des idées de leurs pairs. Cette logique de transactivité se renforce dans le sens où une participation régulière indique une prise en compte de l’intervention des partenaires et un travail en fonction de l’évolution de la production collective (Quintin et Masperi, 2006). Un espace de communication se révèle donc être un outil particulièrement adapté pour recueillir les avis divergents des apprenants dans la perspective de résoudre un problème ouvert (Depover, De Lièvre et Temperman, 2006).

2.3.1. Caractéristiques individuelles et activités en ligne

16Si les traces enregistrées dans ces différents espaces sont précieuses pour aboutir à une meilleure compréhension de l’apprentissage, elles ne constituent cependant pas la seule source d’informations utile. Il peut également être intéressant de convoquer les caractéristiques individuelles des apprenants (Li et al., 2015). Celles-ci sont en effet susceptibles de constituer un facteur susceptible de moduler le comportement des apprenants. Plusieurs études abondent dans ce sens au niveau de la motivation. Barba, Kennedy et Ainley (2016) montrent que le degré de motivation intrinsèque élevé exprimé par les apprenants dans un questionnaire à l’entame de la formation constitue un prédicteur important de leur performance après leur niveau de participation dans la formation. Quintin (2008) montre quant à lui que les buts de compétence interagissent positivement avec l’engagement dans le forum de discussion et participent à expliquer la progression dans la maîtrise des compétences visées. D’un point de vue méthodologique, il apparaît dès lors utile d’évaluer les buts de motivation (Deci et Ryan, 2000) en lien avec l’exploitation des traces enregistrées dans l’environnement. Cette prise en compte de la motivation se justifie si nous nous référons au modèle de Slavin (1995) qui met clairement en évidence la relation positive entre le profil motivationnel de l’apprenant et son niveau de maîtrise au terme de la formation.

3. Description du scénario pédagogique et de l’environnement d’apprentissage

17Notre examen théorique de la littérature tend à montrer que plusieurs types de traces doivent être considérés dans des analyses susceptibles de mettre en évidence le lien entre l’activité des apprenants en cours d’apprentissage et la qualité de l’apprentissage des étudiants. Cette démarche peut constituer une piste pour objectiver l’efficacité de dispositif de formation de type SPOC mis à leur disposition. Dans cette étude, notre hypothèse générale est que les traces d’activités informatives, formatives et interactives interagissent positivement pour expliquer en partie le degré de maîtrise du contenu au terme de l’apprentissage. Pour éprouver notre hypothèse, nous avons choisi d’évaluer un environnement d’apprentissage qui s’intègre dans le contexte des travaux pratiques d’un cours en sciences de l’éducation proposé aux étudiants en première année de bachelier en psychologie et sciences de l’éducation à l’université de Mons. Ce SPOC accessible via la plateforme d’apprentissage en ligne « Moodle » de l’institution concernée a été proposé aux étudiants inscrits en début de cycle de bachelier en sciences psychologiques et de l’éducation de l’Université de Mons dans le cadre des travaux pratiques d’un cours en sciences de l’éducation proposé aux étudiants durant le premier quadrimestre de l’année académique 2015-2016. Les apprenants ont bénéficié de deux modules d’apprentissage proposé dans le SPOC : un premier se focalisant sur la conception des supports d’apprentissage et un second traitant des styles et des stratégies d’apprentissage. Chacun des modules proposés s’étendait sur une période d’une semaine et restait accessible par la suite pour permettre aux étudiants de se préparer à l’évaluation certificative du cours : les examens de la première session organisés durant le mois de janvier 2016.

18En arrivant dans l’environnement Moodle, les étudiants bénéficient d’une vue globale du déroulement de la séquence d’apprentissage leur permettant une navigation fluide dans le cours en ligne. La scénarisation pédagogique reste ainsi transparente et explicite pour les apprenants tout au long de leur formation. Chaque module se structure de la manière suivante : une zone « consignes », une zone « ressources » comprenant une capsule pédagogique à visualiser, une zone « communication » proposant un forum d’équipe et enfin une zone « test des connaissances ».

4. Méthodologie

19L’échantillon considéré se compose de 174 apprenants. L’expérimentation s’est déroulée sur une période de deux semaines sur la plate-forme Moodle. La première semaine a été l’occasion de découvrir une thématique portant sur les principes de conception des supports pédagogiques. La deuxième semaine a permis aux apprenants de s’approprier un second thème traitant de la question des styles d’apprentissages. Afin d’éprouver notre hypothèse liée à l’interaction positive entre les variables de processus pour expliquer le niveau de maîtrise des apprenants, notre analyse se structure autour de trois questions complémentaires.

20Dans le cadre de cette expérimentation, nous nous sommes posé trois questions de recherche qui reposent, d’une part, sur le processus d’apprentissage et d’autre part sur les perceptions qu’ont les apprenants du SPOC :

  • Question n° 1 : Quelles variables issues du processus d’apprentissage expliquent le développement des compétences des apprenants ?

  • Question n° 2 : Quels profils d’apprentissage se distinguent dans l’environnement proposé ?

  • Question n° 3 : Les perceptions des apprenants relatives à l’environnement d’apprentissage se différencient-elles selon leur profil spécifique ?

21Pour répondre à ces différentes questions, nous allons nous appuyer sur des variables issues du processus, du produit et de la perception des apprenants.

22Les variables de processus concernent le parcours des apprenants et les traces recueillies en cours d’apprentissage. Nous exploitons les traces issues des usages du forum de discussion (traces interactives), des tests d’auto-évaluation (traces formatives) et de lecture de capsules vidéopédagogiques (traces informatives).

23Les traces « informatives » proviennent de la visualisation des capsules vidéopédagogiques par les apprenants. Ceux-ci ont réalisé une tâche de nature informative dans laquelle ils doivent visionner une capsule pédagogique leur permettant de s’approprier un contenu théorique ciblé pour chacune des deux thématiques. Les capsules pédagogiques sont hébergées sur l’environnement « Office Mix ». Notre choix d’utiliser cet environnement n’est pas arbitraire et découle du fait que ce plug-in gratuit s’intégrant au célèbre logiciel de présentation « PowerPoint » édité par Microsoft a pour principale particularité d’offrir aux utilisateurs la possibilité de récolter des traces (learning analytics) susceptibles de se révéler intéressantes à des fins de recherches en éducation. Concrètement, les capsules pédagogiques créées avec d’Office Mix sont des diapositives comme celles qui constituent une présentation « PowerPoint » à la différence qu’elles sont commentées à l’aide de fichiers audio, dotés de questionnaires intégrés et qu’elles sont mises à disposition en ligne. Office Mix permet donc de générer un lien Internet menant vers une composition d’enchainements de diapositives commentées et enrichies que nous pouvons qualifier de vidéos.

24Les traces « interactives » découlent de l’analyse des interactions des apprenants sur les forums du SPOC. En effet, il leur a été demandé de réinvestir les aspects théoriques découverts dans chacune des capsules vidéos puis de recontextualiser ceux-ci dans des situations concrètes pour enfin en discuter collaborativement dans le forum de discussion. Pour la première thématique (thème 7), où nous comptabilisons 1031 messages, les étudiants (N = 159) ont dû rechercher et identifier sur des sites web d’hébergement de vidéos, à l’instar de « YouTube » ou encore « Dailymotion », une séquence où ils estiment qu’au moins trois principes théoriques de la théorie multimédia de Mayer (2010) avaient été mis en œuvre. Pour la seconde thématique (thème 8) où nous avons noté un total de 956 publications dans le forum, les apprenants (N = 150) proposent une réponse étayée à une question ouverte à savoir : « Comment transférer un principe découvert théoriquement vers le contexte réel dans lequel l’appliquer ? ». Ces deux activités ont pour but de stimuler la reformulation du contenu par les apprenants et de partager leur point de vue avec leurs autres étudiants dans un contexte d’apprentissage par les pairs. Notons que le scénario pédagogique articule donc des tâches dites « convergentes » par la découverte des capsules vidéopédagogiques associée à de l’auto-évaluation des connaissances ainsi que des tâches plutôt divergentes par le biais d’activités nécessitant des échanges entre les apprenants sur le forum. Précisons que nous ne nous sommes pas « limités » à un comptage des messages écrits/lus ou au nombre de mots produits.

25En effet, il nous a semblé plus pertinent d’objectiver le lien entre les productions des étudiants dans cet espace de communication et le domaine de connaissances traité.

26De ce fait, nous nous sommes focalisés plus en profondeur sur les messages échangés sur le forum de la plateforme Moodle de manière à disposer d’indicateurs plus fins pour évaluer de manière pertinente l’activité cognitive des apprenants.

27Il importe plutôt d’objectiver le lien entre les productions des étudiants dans cet espace de communication et le domaine de connaissances traité. À partir d’une analyse lexicométrique, automatique réalisée dans Excel selon la démarche documentée par Temperman (2013), nous envisageons cette mise en évidence par l’évaluation du nombre de concepts différents produits dans le forum qui sont liés à chacune des thématiques.

28De manière à obtenir une valeur relative, le degré de couverture de chaque domaine est apprécié par le rapport entre le nombre de concepts différents de la thématique produit par étudiant dans le forum et le nombre de concepts total que comporte la même thématique (par exemple : Si l’étudiant a formulé dix concepts différents sur les quarante concepts-clés de la thématique, alors son degré de couverture du contenu sera de 0,25. Cette observation nous permet d’apprécier dans quelle mesure les apprenants font référence dans leurs échanges à l’objet d’apprentissage en question.

29En ce qui concerne l’usage et la lecture de la capsule pédagogique, l’exploitation des traces des capsules vidéopédagogiques hébergées sur Office Mix et directement intégrées dans le SPOC nous permet d’obtenir deux variables : le temps de lecture et le nombre de diapositives, constituant la capsule vidéopédagogique, visualisées par l’apprenant. À nouveau, nous avons préféré utiliser un indicateur relatif en calculant le rapport entre le nombre de vues effectuées par apprenant et le nombre de vues maximum de chaque capsule. Cette valeur nous donne l’opportunité d’évaluer le degré d’intensité d’appropriation des ressources informatives fournies.

30Enfin, les apprenants ont eu la possibilité d’évaluer leur compréhension de la matière proposée dans les capsules vidéopédagogiques par la réalisation d’évaluations formatives. Cet indicateur nous semble particulièrement intéressant, car il peut être révélateur d’une volonté de persévérance. Il correspond au nombre de tentatives d’auto-évaluation réalisées par les apprenants dans l’environnement. Ces évaluations non obligatoires intégrées dans le SPOC nous ont permis de récolter des traces que nous qualifions de « formatives ». L’évaluation formative est composée de neuf items revêtant la forme de questions à choix multiples avec quatre propositions possibles  ; deux dans le cadre de « Vrai ou faux ».

31Si nous nous intéressons à la valeur ajoutée du dispositif, il importe de prendre en considération le degré de maîtrise des compétences développées dans le dispositif (dimension produit). Il correspond au niveau atteint par les apprenants au terme de l’apprentissage. Dans notre contexte, nous l’apprécions à l’aide d’un post-test composé de six questions fermées et proposé aux apprenants, sur table, de manière différée six semaines après la participation aux activités proposées dans l’environnement en ligne.

32Finalement, nous nous sommes intéressés aux perceptions des apprenants au début et au terme de l’apprentissage. Au début de l’apprentissage, nous avons évalué les buts motivationnels des étudiants à l’aide d’un questionnaire en ligne standardisé mis au point par Bouffard, Mariné et Chouinard (2004). Ce questionnaire constitué de 22 items permet d’apprécier un niveau de motivation intrinsèque (buts de maîtrise), un niveau de motivation extrinsèque (buts de performance) ainsi qu’un degré d’amotivation (buts d’évitement). Il se compose d’une série d’échelles de Likert à six niveaux (tout à fait d’accord, plutôt en désaccord…). Chaque item correspond à un axe motivationnel. Le traitement des réponses de ce questionnaire permet donc d’évaluer un score relatif à chaque axe (buts de maîtrise, buts de performance et buts d’évitement).

33Au terme de l’apprentissage, nous avons également recueilli l’opinion des apprenants à l’aide d’un questionnaire en ligne par rapport à l’environnement d’apprentissage proposé. Il se compose de différents items fermés et proposés à partir d’une échelle numérique (de 0 à 5).

5. Résultats

34Notre analyse se structure à partir des trois questions de recherche formulées en conservant l’ordre proposé ci-dessus. Cette démarche nous donne en effet l’occasion d’articuler les différentes analyses réalisées.

5.1. Question n° 1 : Quelles variables issues du processus d’apprentissage expliquent le développement des compétences des apprenants ?

35Cette première question de recherche repose sur l’exploitation des traces laissées par les des apprenants (N =174) dans l’environnement d’apprentissage via l’outil « Office Mix » et le forum de Moodle. Elle vise à l’identification de facteurs émanant de l’activité pédagogique qui seraient susceptibles d’influencer la performance des étudiants. Nous avons utilisé une technique d’analyse de régression multiple « descendante » (Backward elimination regression) afin de mettre en relation une variable prédite - la performance - et un ensemble de variables prédictrices. Ce choix découle du fait que « les modèles de régression multiple sont des modèles mathématiques qui permettent d’étudier l’association entre des facteurs exploratoires et une variable à expliquer, dans un objectif de description et/ou de prédiction » (Gillaizeau et Grabar, 2011, p. 360). Comme l’explique Foucart (2006), cette méthode statistique permet à son utilisateur de mettre en exergue les relations supposées entre une variable dépendante et plusieurs variables indépendantes. Nous avons donc opté pour son utilisation, car il nous a semblé qu’il s’agissait d’une manière efficace de mettre en exergue le modèle donnant le degré plus élevé de prédiction tout en en écartant les variables les moins pertinentes. En effet, selon cette méthode descendante, « toutes les variables sont incluses dans le modèle puis les variables les moins significatives (p-valeur les plus élevées et supérieures au seuil de significativité choisi) sont retirées une à une jusqu’à ce que toutes les variables restantes soient significatives » (Gillaizeau et Grabar, 2011, p. 360). Comme le préconise Temperman (2013), pour utiliser de manière appropriée cette méthode, il faut à la fois veiller à obtenir un nombre restreint de prédicteurs pertinents et significatifs tout en s’intéressant au degré de prédiction fourni par la valeur du coefficient de détermination (ou R² ajusté). Il s’agit « d’une grandeur qui varie entre 0 et 1. Plus la valeur du R² est proche de 1, plus la qualité d’ajustement du modèle est bonne » (Gillaizeau et Grabar, 2011, p. 365). Enfin, nous avons également pris en considération l’indice de colinéarité dans le modèle proposé qui nous « donne la possibilité d’identifier un éventuel problème de colinéarité dans le modèle proposé » (Temperman, 2013, p. 211).

36Selon cet auteur se référant à Stafford et Bodson (2006), une valeur de tolérance inférieure à .20 est susceptible d’entraîner des problèmes d’estimation des coefficients associés aux variables affectées de colinéarité.

Tableau 1. Modèle prédictif du niveau de maîtrise atteint (post-test)

R

.445

Tolérance

R2

.198

Taux de significativité

.000

Prédicteur n° 1

Degré de couverture du contenu (Forum)

.897

Bêta

.181

Taux de significativité

.014

Prédicteur n° 2

Nombre de tentatives de tests d’auto-évaluation

.917

Bêta

.302

Taux de significativité

.000

Prédicteur n° 3

Degré d’intensité de lecture des capsules

.951

Bêta

.145

Taux de significativité

.041

37Le tableau 1 met en avant le modèle issu de l’analyse de régression multiple descendante. La variable prédite correspond à la performance  ; c’est-à-dire le score obtenu par les apprenants à un post-test qui a leur été proposé six semaines après la fin de la formation. Ce modèle nous permet d’observer que la puissance estimée à partir du R² est de .198. Cela signifie que le modèle proposé permet d’expliquer pratiquement 20 % du degré de maîtrise des apprenants.

38Si ce pourcentage s’avère relativement faible, il s’agit d’un degré d’explication qui peut être considéré comme déjà appréciable dans une étude réalisée en contexte réel nous ne sommes pas en mesure de contrôler certaines variables (caractéristiques individuelles, niveau de départ, etc.). En effet, comme l’explique Wilhelm, J. (2015) il faut prendre en considération que cela soit imputable à l’existence de facteurs incontrôlables, voire indéterminables, et inconnus qui influencent la réponse. En d’autres termes, un R² de 10 % peut être plutôt satisfaisant selon le contexte alors que dans le contexte d’une expérience de laboratoire physique ou chimique bien contrôlée, un R² de 75 % peut-être des plus insatisfaisants.

39Allant dans ce sens, Frost (2016) explique que dans le cadre de la mesure d’un processus physique, il n’est pas surprenant d’avoir un R² tournant autour .9 alors que dans un contexte de prédiction d’un comportement cela serait trop élevé. Pour cet auteur, il est nécessaire pour le chercheur de faire appel à ses connaissances dans le domaine d’étude ou de se référer à des recherches similaires pour déterminer si la valeur du R² est problématique ou non. Nous observons que trois variables permettent de prédire le niveau de maîtrise des compétences atteint au terme de l’apprentissage. Elles peuvent être associées à chacune des étapes du scénario d’apprentissage. La variable qui a le poids le plus important concerne le processus d’auto-évaluation (Bêta = .302  ; p = .000). Cette variable interagit avec l’activité dans le forum de discussion appréciée par le degré de couverture du contenu (Bêta = .181  ; p = .000) et le degré d’intensité de lecture des capsules pédagogique (Bêta = .145  ; p =.000). Notons que les autres variables du processus (temps de lecture de la capsule, score aux tests d’auto-évaluation, nombre de messages dans le forum, nombre de mots dans le forum) ne contribuent pas de manière significative à l’explication du modèle.

  • 1 Le coefficient de variation (CV) est le rapport de l'écart-type à la moyenne. Selon D’Hainaut, (197 (...)

40Si nous nous intéressons à présent aux statistiques descriptives relatives aux variables explicatives (tableau 2), nous pouvons observer que les apprenants visualisent plusieurs fois des capsules proposées (moyenne = 168 %) et qu’ils ont un degré de couverture des concepts relativement faible dans le forum (27.08 %). À partir des coefficients de variation1 considérés, nous remarquons également que l’activité des apprenants est relativement hétérogène dans l’environnement d’apprentissage en particulier au niveau de la démarche d’auto-évaluation (CV = 89,20 %). Ce résultat (CV = 89,20 %) est assez logique dans la mesure où cette activité ne représente pas un caractère obligatoire. Par ailleurs, il est intéressant d’observer qu’il s’agit du comportement qui contribue le plus à l’apprentissage (2.37 pour le nombre moyen de tentatives de tests) et celui où la variabilité est la plus importante.

Tableau 2. Statistiques descriptives des variables explicatives

Moyenne

CV

Degré de couverture du contenu

27.08 %

39.54 %

Nombre de tentatives de tests

2.37

89.20 %

Degré d’intensité de lecture

168.00 %

53.86 %

5.2. Question n° 2 : Quels profils d’apprentissage se distinguent dans l’environnement proposé ?

41Nous allons prendre à présent en compte les différentes variables considérées dans l’analyse de régression pour essayer de catégoriser les types d’apprenants qui ont évolué dans le dispositif. Pour y parvenir, nous allons nous appuyer sur une démarche de classification automatique. Cette procédure statistique vise à trouver une structure intrinsèque aux données en les organisant en groupes homogènes et distincts, appelés clusters. Pour former un cluster, les éléments doivent être à la fois similaires entre eux et différents de ceux regroupés dans d’autres clusters. D’un point de vue statistique, plusieurs démarches de classification sont possibles. Dans notre contexte, l’approche « k-means » (Nuées dynamiques) est appropriée dans la mesure où elle permet de traiter des données continues et de fixer le nombre de classes souhaité. Parce que les différentes variables sont quantifiées sur des échelles différentes, il importe dans un premier temps de les standardiser en utilisant la note Z. L’examen du dendrogramme obtenu à l’aide de SPSS 24 sur la base des scores Z moyens des différentes variables nous a amenés à plutôt privilégier une classification en trois classes. Le tableau 3 reprend les centres de classes finaux exprimés en scores Z moyens pour chaque variable considérée et pour les trois clusters mis en évidence. La lecture de ce tableau indique que le premier cluster comporte 59,77 % de l’échantillon et le troisième cluster un peu plus d’un quart de l’effectif (27,58 %). On note également que le nombre d’apprenants dans le cluster 2 est relativement faible (12,64 %) par rapport aux deux autres catégories. Afin d’en faciliter l’interprétation, la figure 1 traduit de manière visuelle le tableau 3.

Tableau 3. Scores Z moyens par variable et par cluster

Cluster 1

Cluster 2

Cluster 3

Degré d’intensité de lecture

-.41

1.93

-.00

Nombre de tentatives de tests

-.47

.11

1.06

Degré de couverture du contenu

-.41

.35

.72

Niveau de maîtrise

-.40

.24

.76

Effectif du cluster

104

22

48

 % de sujets de l’échantillon par cluster

59.77

12.64

27.58

42Une analyse de variance dont les résultats sont repris au tableau 4 confirme les différences significatives pour les quatre variables entre chaque cluster.

Tableau 4. Scores z moyens par variable et par cluster

F

Degré de liberté

Sig

Degré d’intensité de lecture

114.91

171

.000

Nombre de tentatives de tests

68.69

171

.000

Degré de couverture du contenu

29.81

171

.000

Niveau de maîtrise

30.64

171

.000

Figure 1 : Profils des apprenants dans l’environnement

Figure 1 : Profils des apprenants dans l’environnement

43Nous nous sommes inspirés de la typologie de Hill (2013) relative aux utilisateurs inscrits dans les MOOC pour constituer une typologie caractérisant les apprenants qui s’engagent dans un dispositif d’apprentissage à distance de type SPOC. Cet auteur (Hill, 2013) comptabilise cinq profils d’apprenants : « No-Shows », « Observers », « Drop-Ins », « Passive Participants » et « Active Participants ».

44Les apprenants du profil 1 ou « participants observateurs » (59.77 % de l’échantillon) sont les étudiants qui sont le plus en retrait dans l’apprentissage. Ils ont une activité très réduite dans l’environnement (usages de la capsule, production dans le forum de discussion et nombre de tentatives de tests) et manifestent une performance réduite au terme de l’apprentissage (niveau de maîtrise atteint).

45Ils adoptent plutôt un comportement fuyant par rapport à l’apprentissage. Ce premier profil d’apprenant peut s’apparenter aux « Observers » de la typologie de Hill (2013) où les apprenants sont présentés comme des utilisateurs qui s’inscrivent dans un cours en ligne, regardent quelques capsules vidéopédagogiques, mais ne participent pas vraiment à l’activité d’évaluation. À ce niveau, nous observons d’ailleurs que ces étudiants ont un niveau motivationnel d’évitement à la limite de la significativité (F = 2.897 ; ddl = 2 ; p = .058) qui est plus élevé par rapport à celui des étudiants des deux autres profils.

46Les apprenants issus du profil 2 ou « participants passifs » (12.64 % de l’échantillon) se caractérisent par un degré d’intensité de lecture des capsules vidéopédagogiques significativement plus important que le premier profil d’apprenants et par un engagement intermédiaire dans le processus d’auto-évaluation et de partage dans le forum de discussion.

47Les comportements de ces apprenants ressemblent à la catégorie des « Passive Participants » que Hill (2013) décrit comme des apprenants qui suivent un cours en participant aux travaux à remettre sans réellement s’investir dans les échanges sur les espaces de discussions. Plusieurs hypothèses peuvent être avancées pour expliquer cet usage plus conséquent du support pédagogique.

48On peut penser que cette tendance traduit une compréhension plus difficile du contenu proposé. Elle les amène à regarder et à écouter à plusieurs reprises les podcasts proposés.

49Nous pouvons également avancer comme idée que ces étudiants ont un profil plus dépendant par rapport à l’enseignant et ont une préférence pour la réception d’informations.

50Enfin, les apprenants du profil 3 ou « participants actifs » (27,58 % de l’échantillon) ont un comportement plus actif en ce qui concerne l’auto-évaluation de leurs connaissances et la reformulation du contenu dans le forum. Dans la typologie de Hill (2013), ce type d’apprenants qualifiés d’« Active Participants » sont des utilisateurs qui s’investissent « activement » dans la réalisation des tâches demandées et interagissent abondamment dans les forums.

51Nous pouvons les caractériser comme étant engagés dans l’environnement d’apprentissage. De manière logique, ils parviennent également à un niveau de maîtrise significativement plus élevé au terme de l’apprentissage. L’analyse descriptive des différentes variables intégrées dans l’analyse par cluster est également intéressante à commenter (voir tableau 5). Nous constatons tout d’abord que le niveau de maîtrise (80 %) est seulement atteint par les étudiants du cluster « participants actifs » (79,86 %).

52Quand nous nous intéressons à l’homogénéité des comportements, nous observons que le profil « participants observateurs » est toujours celui qui adopte le comportement le plus hétérogène dans l’environnement, quelle que soit la variable considérée. Si le profil « participants passifs » progresse de manière un peu plus homogène, nous constatons que c’est le profil « participants actifs » qui a un comportement plus cohérent (à l’exception de la lecture de la capsule) au sein de notre échantillon. Dans notre échantillon, il apparaît donc clairement que le degré d’hétérogénéité diminue à mesure que le niveau d’activité dans l’environnement augmente.

Tableau 5. Statistiques descriptives par variable du processus

Profil n° 1 :

« Participants observateurs »

Profil n° 2 :

« Participants passifs »

Profil n° 3 :

« Participants actifs »

Moy

CV

Moy

CV

Moy

CV

Degré d’intensité de lecture de la capsule ( %)

131,33

35,78

343,49

29,88

168,28

34,52

Nombre de tentatives de tests

1,39

95,68

2,13

72,76

4,62

43,93

Degré de couverture du contenu dans le forum ( %)

22,72

42,29

30,89

29,51

34,78

24,52

Niveau de maîtrise ( %)

57,21

30,30

69,69

24,06

79,86

19,69

5.3. Question n° 3 : Les perceptions des apprenants relatives à l’environnement d’apprentissage se différencient-t-elles selon leur profil spécifique ?

53Complémentairement à l’exploitation des traces, nous avons recueilli l’opinion des apprenants au terme de leur expérience d’apprentissage à partir d’un questionnaire composé d’items liés à une échelle de Likert. Dans une perspective de triangulation, cette démarche nous permet de voir la cohérence entre ce qu’ils réalisent effectivement au travers des différents profils et ce qu’ils nous disent de leur démarche d’apprentissage. L’analyse des réponses aux items fermés fait apparaître plusieurs résultats intéressants. Tout d’abord, nous pouvons observer à partir de l’examen du tableau 6 que la perception des apprenants est globalement positive.

54Si les avis ne se différencient statistiquement pas en fonction des trois profils mis en évidence en ce qui concerne l’item 4 (F = 0,980 ; p = 0,377) et l’item 5 (F = 0,851 ; p = 0,429), nous remarquons que l’avis par rapport aux capsules à l’item 2 est significativement plus positif (F = 3,082 ; p = 0,048) pour les apprenants au profil “participants actifs”. Ils semblent mieux percevoir l’apport des capsules que ne le font les deux autres profils. Ce bénéfice perçu semble également s’accompagner d’un plus grand degré de satisfaction par rapport aux capsules découvertes (F = 2,915 ; p = 0,057). Enfin, ils expriment une préférence plus marquée pour ce type d’approche par rapport à un cours classique à l’université (F = 3,636 ; p = 0,028).

55En termes de dispersion, l’avis est également plus hétérogène pour les apprenants au profil « participants observateurs ». Ils semblent adopter le même comportement que lors du processus d’apprentissage. Au vu de ces différents résultats, nous pensons pouvoir dire que les apprenants sont plutôt en concordance avec les comportements qu’ils adoptent dans l’environnement d’apprentissage et avec le degré de maîtrise atteint au niveau du contenu.

Tableau 6. Statistiques descriptives des variables perceptives

Profil n° 1 :

Participants observateurs

Profil n° 2 :

Participants passifs

Profil n° 3 :

Participants
actifs

Moy

CV

Moy

CV

Moy

CV

Item n° 1 : J’ai apprécié de consulter les capsules pédagogiques pour m’approprier les concepts abordés.

74.00

35.94

82.60

23.97

83.20

23.79

Item n° 2 : J’ai le sentiment d’avoir appris quelque chose grâce aux capsules pédagogiques.

80.60

24.37

86.20

17.86

88.00

19.04

Item n° 3 : Je préfère ce type d’approche de la matière à un cours plus traditionnel.

60.00

47.33

60.80

45.72

72.00

29.08

Item n° 4 : J'ai réalisé les tests pour approfondir la matière et le badge m'a motivé(e).

58.80

42.51

61.20

38.56

64.80

36.72

Item n° 5 : Je serai motivé de réitérer ce type d’apprentissage dans le cadre d’autres cours à l’université.

70.80

40.00

73.60

32.88

77.00

33.50

6. Discussion des résultats

56Ce modèle tend à montrer que l’exploitation des traces donne la possibilité de comprendre l’apprentissage réalisé par les apprenants dans l’environnement. Il montre l’importance de considérer des indicateurs pertinents liés aux différentes activités mises en œuvre par l’apprenant dans la séquence pédagogique. D’un point de vue pédagogique, il est intéressant d’observer que les caractéristiques conatives des apprenants (buts de maîtrise, buts d’évitement et buts de performance) n’entrent pas dans le modèle considéré. Parmi les variables qui permettent d’expliquer l’appropriation individuelle, nous retrouvons des variables contributives issues des différentes activités proposées aux apprenants (informatif, formatif et interactif). Selon nous, l’important réside dans l’identification d’indicateurs qui ont du sens d’un point de vue pédagogique et sont susceptibles d’être en interaction dans l’apprentissage.

57Au niveau informatif (capsules vidéopédagogiques), la durée ne semble pas constituer un facteur intéressant à prendre en considération. On peut en effet être connecté à un environnement et effectuer une tout autre tâche. Il semble plus intéressant d’observer une proportion de vues par rapport au nombre de vues totales liées à la thématique (Un indice supérieur à 100 % indique une relecture de la séquence). D’un point de vue pédagogique, une analyse plus approfondie diapositive par diapositive donnerait ainsi la possibilité d’identifier les passages qui posent des difficultés à l’apprenant (Li et al., 2015).

58Au niveau formatif (évaluation), nous rejoignons les observations de Koedinger et al. (2015) qui mettent en évidence que le processus d’autoquestionnement constitue le facteur qui contribue le plus au développement de compétences des apprenants. Dans notre contexte, nous observons que ce ne sont pas les scores obtenus aux tests qui entrent dans le modèle explicatif, mais bien le nombre de tentatives de tests. Ce résultat est cohérent avec les observations de Thomas et al. (2016) qui montrent que ce sont le nombre de tentatives et non la performance à celles-ci qui prédisent la réussite. La persévérance et l’engagement des apprenants semblent donc être déterminants dans l’appropriation du contenu. Ces comportements peuvent être mis en relation avec le principe de « répétition espacée » qui consiste à s’auto-interroger à intervalles réguliers afin de favoriser l’ancrage des connaissances en mémoire à long terme (Cull, 2000).

59D’un point de vue interactif (Forum), il ressort de notre analyse qu’un traitement quantitatif (nombre de messages, nombre de mots, etc.) n’est pas pertinent pour expliquer la qualité de la production au terme de l’apprentissage. Il s’avère indispensable d’entrer dans le contenu des échanges et de mettre en relation celui-ci avec le domaine de connaissances traité. Sur la base d’une analyse lexicométrique, le rapport « nombre de concepts différents traités » sur le nombre de concepts total met en évidence qu’il existe un mécanisme de reformulation et d’appropriation du contenu.

60Nous rejoignons les observations de Temperman (2013) qui, sur la base d’une analyse lexicométrique similaire à celle mise en œuvre ici, montrent que l’usage des notions-clefs dans les échanges en ligne constitue un indicateur de la qualité des interactions susceptible d’être utilisé dans une visualisation de suivi de l’apprentissage.

61Les trois variables considérées sont à chaque fois des indicateurs obtenus à partir des données brutes. Cette démarche montre qu’il est important dans un processus de type « learning analytics » de ne pas se satisfaire simplement des « logs » obtenus. En effet, notre travail d’analyse qualitative de type lexicométrique se veut complémentaire aux traitements quantitatifs réalisés.

62Dans la perspective d’élaborer des indicateurs, il importe de mettre en œuvre un protocole « heuristique » qui exploite et combine des traces porteuses de sens en termes d’apprentissage.

63Par ailleurs, il convient toutefois de relativiser ce résultat dans la mesure où le modèle mis en avant n’explique que 20 % de la qualité de l’apprentissage. Nous sommes bien conscients que d’autres facteurs externes expliquent le degré de maîtrise du contenu. Une étude plus qualitative (par exemple, des entretiens) permettrait de mieux approcher la réalité de l’apprentissage des individus engagés dans un dispositif d’autoformation.

64D’un point de vue statistique, il semble que l’analyse de régression et l’analyse de classification automatique se révèlent complémentaires lors d’une exploitation des traces d’activités. L’identification des variables qui contribuent à expliquer le degré d’appropriation des compétences permet en effet d’intégrer ensuite des variables réellement pertinentes pour établir des profils d’apprenants contrastés dans l’environnement. À ce niveau, notre analyse par cluster s’avère instructive pour l’encadrement des apprenants dans la mesure où nous observons que les apprenants qui font un usage plus intensif de la capsule n’aboutissent pas forcément à un meilleur degré de maîtrise. Ils semblent en effet compenser négativement la vision fréquente des vidéos par un désengagement dans les activités d’appropriation (forum et test). Cette information pourrait être utile aux tuteurs pour aider les apprenants sur le contenu et de les relancer de manière proactive dans les tâches proposées dans l’environnement (De Lièvre, Depover et Dillenbourg, 2006).

65Enfin, nous observons en termes de perception que l’avis des apprenants est cohérent avec le processus d’apprentissage mis en œuvre. L’examen des buts de motivation laisse apparaître que la perception de l’expérience d’apprentissage par les étudiants peut être modulée par leur degré d’évitement. L’administration de ce test à l’entame de l’apprentissage peut selon nous être une source d’informations pour identifier les apprenants à risque dans l’environnement.

7. Conclusion et perspectives

66Les résultats obtenus s’avèrent instructifs pour envisager le développement du scénario pédagogique initial. Nous observons tout d’abord que les tâches proposées se révèlent significatives et contribuent au développement des compétences. Au niveau du scénario d’apprentissage, il convient probablement de proposer des tâches intégratives permettant de relier les différentes thématiques entre elles. Nous pensons que le forum de discussion constitue un endroit privilégié pour structurer l’activité d’appropriation des apprenants dans la mesure où il permet aux apprenants de formaliser leur compréhension du contenu et de la voir enrichie ensuite de l’apport de leurs pairs. En ce qui concerne le scénario d’encadrement, plusieurs informations se révèlent précieuses pour coordonner le tutorat. Les indicateurs identifiés pourront en effet être utiles pour développer des outils de visualisation basés sur les indicateurs significatifs pour l’apprentissage, en mesure d’aider les tuteurs, mais aussi les apprenants à réguler les activités.

67Les profils mis en évidence seront utiles pour orienter les interventions de manière efficiente et étayer ainsi la tâche des tuteurs en cours d’apprentissage.

68En termes de perspectives, nous avons le projet d’affiner l’exploitation de la trace en nous dotant d’outils d’analyse permettant de mieux objectiver la manière dont les apprenants font l’expérience du forum de discussion, des capsules vidéopédagogiques informatives et des tests formatifs. Si les technologies sont des outils au service de l’apprentissage, nous pouvons également considérer que les outils eux-mêmes constituent des outils précieux entre les mains des chercheurs pour mieux comprendre l’apprentissage mis en œuvre.

69Enfin, il nous semble indispensable de compléter ces analyses quantitatives par une démarche plus qualitative permettant de questionner les apprenants sur des aspects que l’analyse des traces ne permet pas d’approcher. Nous pensons en particulier à la manière dont ils envisagent leur environnement d’apprentissage personnel (Väljataga et Laanpere, 2010) lors d’un apprentissage réalisé dans un environnement à distance.

Haut de page

Bibliographie

Barba, P., Kennedy, G. et Ainley, M.D. (2016). The role of students' motivation and participation in predicting performance in a massive open online course (MOOC). Journal of Computer Assisted Learning, 32(3), 218-231.

Berkowitz, M. W. et Gibbs, J. C. (1983). Measuring the developmental features of moral discussion. Merrill-Palmer Quarterly, 29(4), 399-410.

Bouffard, T., Mariné, C. et Chouinard, R. (2004). Interdépendance des caractéristiques individuelles et contextuelles dans la motivation à apprendre. Revue des sciences de l’éducation, 30(1), 3-8.

Crinon, J. (2010). Communication numérique et pédagogie. Cahiers pédagogiques, 482, 16-18.

Cull, W. L. (2000). Untangling the benefits of multiple study opportunities and repeated testing for cued recall. Applied Cognitive Psychology, 14, 215-235.

D'Hainaut, L. (1975). Concepts et méthodes de la statistique (Vol. 1). Bruxelles : Editions Labor.

De Lièvre, B., Depover, C. et Dillenbourg, P. (2006). The relationship between tutoring mode and learners’use of help tools in distance education. Instructional Science, 34, 97-129.

Deci, E. L. et Ryan, R. M. (2000). The « What » and « Why » of Goal Pursuits: Human Needs and the Self-Determination of Behavior. Psychological Inquiry, 11(4), 227–268.

Depover, C., De Lièvre, B. et Temperman, G. (2006). Points de vue sur les échanges électroniques et leurs usages en formation à distance. Revue des Sciences et Technologies de l’Information et de la Communication pour l’Éducation et la Formation, 13.

Depover, C., Karsenti, T. et Komis, V. (2007). Enseigner avec les technologies : Favoriser les apprentissages, développer des compétences. Montréal : Presses de l’Université du Québec.

Dillenbourg, P., Hakkinen, P., Hamiakinen, R., Kobbe, L., Weinberger, A., Fisher, F. et Harrer, A. (2007). Structurer l’environnement collaboratif au moyen d’environnements informatiques. Éducation et Formation, 286, 45-50.

Dimitracopoulou, A. et Bruillard, E. (2006). Enrichir les interfaces de forums par la visualisation d’analyses automatiques des interactions et du contenu. Sciences et Technologies de l’Information et de la Communication pour l’Éducation et la Formation. ATIEF, 13.

Dunlosky, J., Rawson, K., Marsh, E., Nathan, M. et Willingham, D. (2013). Improving Students' Learning With Effective Learning Techniques: Promising Directions From Cognitive and Educational Psychology. Psychological Science In the Public Interest, 14(1), 4-58.

Erkens, G. et Janssen, J. (2008). Automatic coding of dialogue acts in collaboration protocols. International Journal of Computer-Supported Collaborative Learning, 3(4), 447-470.

Foucart, T. (2006). Colinéarité et régression linéaire. Mathematics and Social Sciences, 1(173), 5-25.

Frost, J. (2016, 24 février). Five Reasons Why Your R-squared Can Be Too High. [The Minitab Blog]. Repéré à http://blog.minitab.com/blog/adventures-in-statistics-2/five-reasons-why-your-r-squared-can-be-too-high.

Gérard, F.-M., Braibant, J.-M. et Bouvy, T.(2006). Évaluer l'efficacité pédagogique d'une formation ou d'un cours à l'aide d'un outil d'autoévaluation. Dans Actes de la 19e Colloque de l’ADMEE-Europe (p. 1-15). Repéré à https://alfresco.uclouvain.be/alfresco/service/guest/streamDownload/workspace/SpacesStore/643ddd81-7da3-11dd-bdb8-b377fd3def91/GerardBraibantBouvy-Admee-2006.pdf ?guest =true.

Gillaizeau, F. et Grabar, S.(2011). Modèles de régression multiple. Sang Thrombose Vaisseaux, 23(7), 360-370. doi :10.1684/stv.2011.0632.

Guo, P., Kim. J. et Rubin. R. (2014). How Video Production Affects Student Engagement: An Empirical Study of MOOC Videos. Dans Proceedings of the first ACM conference on Learning@ scale conference (p. 41-50).

Hattie, J. (2009). Visible Learning: A Synthesis of Over 800 Meta-Analyses Relating to Achievement. Oxon: Routledge.

Hill, P. (2013, 10 mars). Emerging student patterns in moocs: A (revised) graphical view. [Blog]. Repéré à https://mfeldstein.com/emerging-student-patterns-in-moocs-a-revised-graphical-view/.

Janssen, J., Erkens, G. et Kirschner, P. (2011). Group awareness tools: It’s what you do with it that matters. Computers in Human Behavior, 27(3),1046-1058.

Kaplan, A. et Haenlein, M. (2016). Higher education and the digital revolution: About MOOCs, SPOCs, social media, and the Cookie Monster. Business Horizons, 59(4), 441-450.

Kim, M.K., Kim, S.M., Khera, O. et Getman, J. (2014). The Experience of Three Flipped Classrooms in an Urban University: An Exploration of Design Principles. The Internet and Higher Education, 22, 37-50.

Koedinger, K., Kim, J., Jia, J., Mc Laughlin, E. et Bier, N. (2015). Learning is not a spectator sport: doing is better than watching for learning from a MOOC. Dans Proceedings of the 2nd ACM Conference of learning (p. 111-120). Repéré à http://pact.cs.cmu.edu/pubs/koedinger,%20Kim,%20Jia,%20McLaughlin,%20Bier%202015.pdf.

Laflaquière, J. et Prié, Y. (2007). Des traces modélisées, un nouveau support pédagogique ? Dans Actes de la 4e conférence scientifique de Lornet (p. 1-10). Repéré à http://liris.cnrs.fr/Documents/Liris-3708.pdf.

Li, N., Kidziński, Ł., Jermann, P. et Dillenbourg, P. (2015). MOOC video interaction patterns : What do they tell us ? Dans G. Conole, T. Klobuèar, C. Rensing, J. Konert, É. Lavoué (éd.), Design for teaching and learning in a networked world. (p. 197-210). Springer International Publishing.

Mayer, R. (2010). Apprentissage et technologie. Dans H. Dumont, D. Istance et F. Benavides (éd.), Comment apprend-on ? La recherche au service de la pratique (p. 191-211). Paris : OCDE.

McCombs, S. et Liu, Y. (2007). The efficacy of podcasting technology in instructional delivery. International Journal of Technology in Teaching and Learning, 25(3), 123-134.

Moeglin. P. (1998). L’industrialisation de la formation : état de la question. Paris : Centre national de documentation pédagogique.

Oliveri, N. et Moatti, D. (2018). De l’exploitation efficiente des MOOC : perspectives communicationnelles, économiques et organisationnelles. Revue française des sciences de l’information et de la communication, (12), 1-29. Repéré à http://journals.openedition.org/rfsic/3535.

Quintin, J.-J. (2008). Accompagnement tutoral d’une formation collective via Internet - Analyse des effets de cinq modalités d’intervention tutorale sur l’apprentissage en groupes restreints. (Thèse de doctorat) Université de Mons-Hainaut, Université Stendhal - Grenoble III.

Quintin, J.-J. et Masperi, M. (2006). Analyse d’une formation plurilingue à distance : actions et interactions. ALSIC, 9, 5-31.

Roland, N. et Emplit, P. (2015). Enseignement transmissif, apprentissage actif : usages du podcasting par les étudiants universitaires. Revue internationale de pédagogie de l’enseignement supérieur, 31(1), 1-24. Repéré à http://journals.openedition.org/ripes/932.

Slavin, R. (1995). A Model of Effective Instruction. The Educational Forum, 59(2), 166–176.

Stafford, J. et Bodson, P. (2006). L’analyse multivariée avec SPSS. Sainte-Foy : Presses de l’Université du Québec.

Tapiero, I. (2007). Situation Models And Levels of Coherence: Toward a Definition of Comprehension. Mahwah : Lawrence Erlbaum Associates Inc.

Temperman, G. (2013). Visualisation du processus collaboratif et assignation de rôles de régulation dans un environnement d’apprentissage à distance. (Thèse de doctorat) Université de Mons, Mons. Repéré à https://tel.archives-ouvertes.fr/tel-01005304.

Thomas, J., Wadsworth, D., Jin, Y. et Thunders, M. (2016). Engagement with online self-test as a predictor of student success. Higher Education Research et Developpment, 25, 1-11.

Väljataga T. et Laanpere M. (2010). Learner control and personal learning environment: a challenge for instructional design. Interactive Learning Environments, 18(3), 227-291.

Wilhelm, C. (2015). MOOC et SIC - une relation propice à une synthèse méthodologique. Education et Apprentissage et SIC. Dans L. Collet et C. Wilhelm (dir.), Numérique, éducation et apprentissage : Enjeux communicationnels (p. 29-42). Paris: L’Harmattan.

Wilhelm, J. (2015). What is a good value of « Coefficient of determination » or R squared in multiple linear regression? [ResearchGate's Q&A forum]. Repéré à https://www.researchgate.net/post/what_is_a_good_value_of_Coefficient_of_determination_or_R_squared_in_multiple_linear_regression.

Haut de page

Notes

1 Le coefficient de variation (CV) est le rapport de l'écart-type à la moyenne. Selon D’Hainaut, (1975) et Gérard, Braibant et Bouvy (2006) un coefficient inférieur à 15 % témoigne d’une homogénéité importante alors que lorsqu’il est supérieur à 30 % il est indicateur d’une hétérogénéité importante.

Haut de page

Table des illustrations

Titre Figure 1 : Profils des apprenants dans l’environnement
URL http://journals.openedition.org/ripes/docannexe/image/1614/img-1.png
Fichier image/png, 38k
Haut de page

Pour citer cet article

Référence électronique

Karim Boumazguida, Gaëtan Temperman et Bruno De Lièvre, « Questionner les traces d’activités en ligne pour mieux comprendre l’expérience d’apprentissage des étudiants », Revue internationale de pédagogie de l’enseignement supérieur [En ligne], 34-3 | 2018, mis en ligne le 20 novembre 2018, consulté le 18 décembre 2018. URL : http://journals.openedition.org/ripes/1614

Haut de page

Auteurs

Karim Boumazguida

Université de Mons, Cellule Facultaire de Pédagogie Universitaire
Karim.Boumazguida@umons.ac.be

Gaëtan Temperman

Université de Mons, Service de Pédagogie générale et médias éducatifs
Gaetan.Temperman@umons.ac.be

Bruno De Lièvre

Université de Mons, Service de Pédagogie générale et médias éducatifs
Bruno.Delievre@umons.ac.be

Haut de page

Droits d’auteur

Licence Creative Commons
La Revue internationale de pédagogie de l’enseignement supérieur est mise à disposition selon les termes de la licence Creative Commons Attribution - Pas d’Utilisation Commerciale - Partage dans les Mêmes Conditions 4.0 International.

Haut de page
  • Logo Association internationale de pédagogie universitaire
  • Logo DOAJ – Directory of Open Access Journals
  • OpenEdition Journals