Introduction

1Depuis un peu moins d’une décennie, les institutions universitaires, principalement aux États-Unis et en Europe, se sont engagées avec enthousiasme à soutenir des MOOC diffusant une grande variété de contenus à une grande variété de publics. Ces MOOC, prenant leur essor en 2012, se sont rapidement développés et sont devenus un phénomène mondial (Cisel & Bruillard, 2013 ; Daniel, 2012). Les universités voient dans ces cours, rendus possibles par les évolutions des technologies informatisées, une généralisation de la formation ouverte à distance, des opportunités pour l’innovation pédagogique tels que l’apprentissage hybride (Albó, Butera Castelo & Hernández, 2019 ; Eradze, Urrutia, Reda & Kerr, 2019) et la pédagogie active (Aloizou, Sobrino, Monés, Asensio-Pérez & Sastre, 2019 ; Topali et al., 2019). Les MOOC sont également vus comme une occasion pour développer de nouveaux modèles économiques : vente de licences, modèle publicitaire, vente de certificats et services premium (Cisel, 2017), mais également une stratégie pour plus de visibilité tant qu’au niveau national qu’international (Hollands & Thirtalli, 2014).

2Néanmoins, cette idée originale qui a suscité de grandes attentes fait face à la difficulté de transformer le discours pédagogique autour des MOOC en des pratiques pédagogiques effectives. Une manifestation de cette difficulté semble être le fait d’occulter le caractère problématique des principes qui sous-tendent l’élaboration, la transmission et la construction des contenus véhiculés par les MOOC. La littérature scientifique, notamment anglophone, demeure ainsi largement techno-enthousiaste et peu critique à l’égard des défis que posent les MOOC (Karsenti, 2013 ; Kop, Fournier & Mak, 2011 ; Vardi, 2012). L’interrogation didactique des phénomènes d’éducation et de formation du point de vue du contenu (Reuter et al., 2007), reste mineure, comme est montré dans le cadre de cette revue de littérature. Pourtant, un MOOC implique un contenu caractérisé par une intention de formation (une fonction dominante) et une composition (des acteurs, des ressources, un contenu, des outils technologiques, des temps et des espaces). Ce travail est alors situé dans un cadre didactique et se focalise sur l’évaluation en tant que processus visant à rendre compte des contenus construits par les apprenants dans le cadre de tels dispositifs.

Contribution aux revues de littérature antérieures sur les MOOC

3Les six dernières années (2012-2018) sont marquées par une croissance rapide du nombre de recherches empiriques conduites autour des MOOC. Cela a favorisé la production de plusieurs revues de littérature sur les MOOC publiées dans des revues spécialisées en technologies éducatives. Ces revues de littérature présentent des synthèses générales ou centrées sur un thème particulier. Ainsi, si les revues de littérature de Bozkurt, Akgün-Özbek et Zawacki-Richter (2017), Liyanagunawardena, Adams et Williams (2013), Yousef, Chatti, Schroeder, Wosnitza et Jakobs (2014), Ebben et Murphy (2014), Veletsianos et Shepherdson (2016) et celle de Zawacki-Richter, Bozkurt, Alturki et Aldraiweesh (2018) font le point de manière compréhensive sur l’état de la recherche à un moment donné, celles de Zhu, Sari et Lee (2018), de Raffaghelli, Cucchiara et Persico (2015), de Veletsianos et Shepherdson (2015) et de Gasevic, Kovanovic, Joksimovic et Siemens (2014) examinent spécifiquement les approches méthodologiques mobilisées dans les recherches sur les MOOC.

4Ces revues de littérature ont repéré des travaux qui examinent l’évaluation des apprentissages, les méthodes d’évaluation (Wong, 2016) ou encore les modèles d’évaluation dans les MOOC (Vera, Calatayud & Espinosa, 2017). Elles mettent également en évidence un manque de recherches qui interrogent les contenus véhiculés par les MOOC et leur appropriation par les apprenants (Babori, Zaid & Fihri, 2019). L’objectif de cet article est de contribuer à la caractérisation des tendances et à la mise en évidence des manques des recherches sur l’évaluation des apprentissages dans les MOOC en vue de proposer des ouvertures pour les recherches à venir.

5En tant qu’élément central dans la conception d’un MOOC (Paton, Fluck & Scanlan, 2018), il est important de s’interroger sur la manière dont l’évaluation des apprentissages est évoquée et analysée dans la recherche. Plus spécifiquement, cet article vise à répondre à deux questions : 1) L’évaluation est-elle considérée dans les recherches antérieures, publiées entre janvier 2012 et janvier 2018 sur l’évaluation dans les MOOC, en tant qu’objet de recherche à part entière ? 2) De quelles manières ces recherches prennent-elles en compte (ou non) le contenu enjeu de l’évaluation ? Dans un premier temps, les notions d’évaluation et de contenu, au cœur de cet article, seront brièvement explicités. Dans un second temps la méthode de recueil et d’analyse des recherches est détaillée puis les principaux résultats sont présentés.

Contenu et évaluation

Méthodologie

Sélection des revues

8La sélection des revues à comité de lecture s’est appuyée sur un examen préliminaire des revues en éducation à distance et en technologie de l’éducation : 61 revues ont été identifiées lors de la première phase. Les revues à examiner ont été filtrées selon les critères suivants : un accent particulier sur l’enseignement à distance ; des revues à comité de lecture indexées par les bases de données reconnues (Scopus et Thomson Reuters) ou incluses dans la liste établie par le Haut Conseil pour l’évaluation de la recherche et de l’enseignement supérieur (HCERES) en France. De plus, certaines revues qui ne sont pas indexées par l’HCERES ou dans les bases de données Scopus et Thomson Reuters ont été incluses puisqu’elles publient des recherches liées aux MOOC. Ainsi, en appliquant ces critères, 32 revues sont ainsi sélectionnées (Annexe 1).

Sélection des articles

9La sélection des articles est réalisée en deux étapes. La première étape consiste à chercher dans les revues sélectionnées tous les articles publiés entre janvier 2012 et janvier 2018 et dont le titre ou le résumé contient le mot-clé « MOOC(s) » ou « Massive open online course (s) ». Quatre-vingt-treize articles sont ainsi sélectionnés dont 76 articles empiriques et 17 articles de type revue de littérature. Il est à mentionner que pour identifier les articles empiriques, notre démarche consiste à lire, par les trois auteurs, les résumés de chaque article (validation par inter-juge) de manière à ne considérer que les articles caractérisés par des données de terrain et organisés selon une structure reconnaissable dans la communauté des chercheurs en éducation (Raîche & Noël-Gaudreault, 2008) : question de recherche ou objectif, cadre décrivant les concepts utilisés dans la question de recherche, méthodologie, résultats et discussion.

10Les articles ont fait l’objet d’une analyse basée sur une grille d’analyse qui facilite le codage des données. La grille inclut des questions à choix multiples ainsi que des questions ouvertes et se compose de quatre rubriques : caractéristiques de l’écrit (référence, affiliation des auteurs, discipline des auteurs, type de document, nature du document) ; cadre conceptuel adopté (ancrage théorique, concepts et questions ou objectifs de recherche) ; informations sur le volet empirique de la recherche (méthode de collecte des données, méthode de traitement des données et principaux résultats obtenus) ; place du contenu de la formation considérée (objet de recherche ou non).

11La seconde étape consiste à identifier parmi les articles empiriques sur les MOOC ceux qui traitent de l’évaluation : au moins une question de recherche doit porter sur l’évaluation. Ainsi, en cherchant dans les questions de recherche, les mots mentionnant l’évaluation à savoir « évaluation », « évaluateurs », « évaluer », nous identifions, par la suite, la nature de l’évaluation qui est mentionnée comme objet de recherche. Neuf articles sont ainsi identifiés comme centrés sur l’évaluation. En plus des articles empiriques, dix-sept revues de littérature antérieures portant sur les MOOC sont également retenus afin d’y examiner la position de la question de l’évaluation. Les écrits à visée d’ingénierie ou de « retour d’expérience », les rapports de recherche, les thèses, les actes de colloques et les ouvrages sont exclus de cette étude.

Méthode d’analyse

12En plus des rubriques de la grille d’analyse présentée dans la section précédente (questions de recherche, cadre conceptuel, méthodologie de collection de données, prise en compte du contenu), d’autres items ont été pris en compte. Ainsi les recherches portant sur l’évaluation ont fait l’objet d’une analyse en profondeur en indiquant pour chaque article, les questions de recherche, le cadre conceptuel en décrivant les concepts mobilisés et plus particulièrement les modalités d’évaluation et les liens entre question de recherche, cadre conceptuel, contenu et évaluation.

L’évaluation comme objet de recherche dans les MOOC

L’évaluation dans les revues de littérature antérieures

13Dans ces revues de littérature (RL), l’évaluation est différemment évoquée et les recherches recensées sur les MOOC constituent rarement l’évaluation comme objet de recherche à part entière (1 RL). Elle est repérée comme thème d’analyse explicite dans 6 RL, comme thème d’analyse implicite dans 4 RL, comme critère de différenciation entre MOOC dans 4 RL et non repérée dans 2 RL.

L’évaluation comme objet de recherche

14L’évaluation est mentionnée comme objet de recherche dans l’état de l’art de Davis, Chen, Hauffand et Houben (2017) examinant les stratégies d’apprentissages évolutives (incitant les apprenants à s’engager dans le processus d’apprentissage) qui ont fait l’objet d’évaluation dans les recherches empiriques analysées. Plus spécifiquement, ces auteurs se sont basés sur les travaux de Hattie’s qui fournissent une vue d’ensemble complète des résultats traitant de l’évaluation des stratégies d’apprentissages dans le cadre des classes traditionnelles, afin d’identifier les catégories de stratégies d’apprentissage adaptées aux environnements en ligne. Parmi ces catégories, trois ont été identifiées comme étant les plus prometteuses et qui incitent à s’engager efficacement dans les MOOC : l’apprentissage coopératif, la simulation et le jeu et les méthodes basées sur le multimédia interactif.

Evaluation comme thème d’analyse explicite

15Ebben et Murphy (2014), Paton et al. (2018), Raffaghelli, Cucchiara et Persico (2015), Rolfe (2015), Yousef et al. (2014) et Zhu et al. (2018) identifient clairement l’évaluation comme un thème d’analyse. Ainsi, Yousef et al. (2014) repèrent trois types traités dans 5 parmi les 84 recherches qu’ils ont analysées (e-assessment, peer-assessment and self-assessment) mais sans préciser les types de questions de recherche posées. En fait, tant pour l’évaluation que pour les autres thèmes identifiés (concept, design, learning theories, case studies, business models, target groups et assessment), la revue de littérature de Yousef et al. (2014) se préoccupe peu de la dimension de recherche scientifique et privilégie la dimension conception (ingénierie). Les questions de recherche et les perspectives théoriques qui sous-tendent l’interrogation des types d’évaluations mentionnés ne sont pas mises en avant. Quant à Zhu et al. (2018), ils soulignent que l’évaluation est un thème de recherche moins investigué au même titre que la communauté d’apprentissage et la qualité de conception des MOOC. Enfin, Paton et al. (2018) examinent l’évaluation dans les MOOC en discutant la pertinence des modalités d’évaluation et la correspondance entre le type d’évaluation et la complétion dans les MOOC.

16La revue de littérature d’Ebben et Murphy (2014) souligne l’importance de l’évaluation en tant que critère de légitimation des modalités de formation (notamment en enseignement supérieur). Dans les recherches analysées dans cette revue de littérature, l’évaluation renvoie plus à des préoccupations d’accréditation (validité d’associer des crédits à un cours suivi sur MOOC) qu’à celles des méthodologies qui sous-tendent les MOOC. Plus généralement, Ebben et Murphy (2014) identifient deux périodes dans lesquelles les recherches sur les MOOC ont été réalisées : d’une part, la période de connectivisme et de cMOOC – engagement et créativité (2009-2012) – et, d’autre part, la période xMOOC – Analyses d’apprentissage, évaluation et discours critique (2012-2013). Dans la période 1, la recherche a privilégié l’expérimentation et l’investigation de l’efficacité des MOOC en matière d’apprentissage. Dans la période 2, la recherche s’est étendue à l’interrogation des présupposés pédagogiques des MOOC et leurs méthodologies et a commencé à documenter la manière dont les MOOC exploitent les traces des participants et évaluent les apprentissages des participants. L’évaluation apparaît donc comme un thème traité par les recherches de la période 2. Pour sa part, Rolfe (2015) note que la question de l’évaluation est centrale dans les 68 recherches qu’il a recensées qui portent sur la socio-équité dans les MOOC : si les MOOC sont en mesure de traverser les limites géographiques et d’atteindre un public massif, comment abordent-ils les problèmes d’égalité en matière d’apprentissage ouvert et d’évaluation ? Quant à Raffaghelli et al. (2015) dans leur exploration méthodologique des recherches sur les MOOC, ils soulignent que les données liées à l’évaluation ne sont pas privilégiées dans les méthodologies de recherche adoptées.

Evaluation comme thème d’analyse implicite

17L’évaluation est également évoquée comme thème implicite d’analyse. Ainsi, dans la revue de littérature de Gasevic et al. (2014), si l’évaluation n’est pas retenue comme thème d’analyse explicite, on peut néanmoins penser qu’elle est sous-entendue au moins dans trois thèmes identifiés « engagement et réussite en apprentissage », « conception de MOOC et curriculums », et « les critères de réussite ». En effet, parmi les sources des données pour documenter le thème « conception de MOOC et curriculums » il y a notamment « assessment data ». Ce thème renvoie à plusieurs recherches qui ont porté sur l’évaluation tant de l’apprentissage que du MOOC lui-même (educational quality, content delivery methods, MOOC design et learning conditions). Elle est également sous entendue dans la revue de littérature de Nortvig et Christiansen (2017) dans d’autres thèmes à savoir « la scénarisation pédagogique » et « la conception pédagogique » ou encore dans les revues de littératures de Bozkurt et al. (2017) et Zawacki-Richter et al. (2018) dans les deux thèmes « conception pédagogique » et « la qualité des MOOC ».

L’évaluation comme objet de recherche dans les recherches empiriques sélectionnées

Modalités d’évaluations et performances des apprenants

19Sept recherches portent sur les modalités d’évaluation, sans faire de lien avec le contenu véhiculé dans les MOOC, et analysent les effets d’une forme d’évaluation sur les performances des apprenants en privilégiant des méthodes quantitatives. Par exemple, en notant que l’évaluation est un problème central qui émerge dans la littérature sur les MOOC, Admiraal, Huisman et Pilli (2015) étudient diverses formes d’évaluation. Plus spécifiquement, ces auteurs procèdent selon une approche quantitative interrogeant la corrélation statistique entre des modalités d’évaluation (autoévaluation et évaluation par les pairs) d’une part et scores des apprenants aux examens finaux, d’autre part. Trois MOOC sont considérés dont l’acquisition des contenus est évaluée à l’aide de quatre types d’évaluations : quiz hebdomadaire, auto-évaluation, évaluation par les pairs et examen final. L’autoévaluation par les pairs concerne une tâche complexe consistant à produire un essai (une fiction) relevant des contenus mentionnés. Ils ont été encouragés à préparer cette tâche avec l’utilisation d’informations disponibles dans l’environnement du cours (vidéo, syllabus, matériel de fond). Les auto-évaluations n’expliquent pas de façon significative la variance des résultats des examens finaux des élèves. Cela amène les auteurs à conclure que les auto-évaluations pourraient ne pas être un moyen valable d’évaluer la performance des élèves dans les MOOC. Les auteurs soulignent la nécessité de reconceptualiser la question de l’évaluation au regard des particularités des MOOC (ampleur des données recueillies en fonction du nombre d’inscrits, diversité des inscrits et des outils utilisés). Ils suggèrent en particulier de penser l’évaluation en lien avec la spécificité du curriculum de formation. En notant que ces deux arguments théoriques contradictoires se présentent dans la littérature : les apprenants devraient être appariés avec des pairs ayant les mêmes capacités (de façon homogène) versus les apprenants devraient être appariés avec des pairs ayant des capacités différentes (hétérogènes), Huisman, Admiraal, Pilli, van de Ven et Saab (2018) examinent la corrélation entre la capacité des pairs évaluateurs des dissertations et la performance de leurs auteurs. Les deux travaux évalués par les pairs concernaient des dissertations de 600 à 800 mots. Les auteurs ont demandé à chaque participant d’examiner au moins quatre pairs. Une grille d’évaluation a été fournie en se basant sur des critères prédéfinis à savoir l’argumentation des exemples choisis, le contexte, l’utilisation des sources et la présentation de l’essai. En fonction de ces critères, le rendement des participants à la rédaction a été défini comme étant la note moyenne fournie par le groupe de pairs évaluateurs. Les auteurs soulignent que la capacité des pairs évaluateurs était significativement liée à la performance des auteurs : plus la capacité de leurs pairs examinateurs est élevée, plus la performance des auteurs est élevée. Toutefois, les auteurs constatent que ce résultat n’est pas toujours valide dans le cas des auteurs de capacité inférieure. En d’autres termes, seule la performance des auteurs des dissertations (relativement) intermédiaire et de haut niveau est liée à la capacité des pairs évaluateurs. À l’exception de ce groupe de participants relativement peu compétents, ce résultat appuie l’idée d’associer les participants du MOOC à des examinateurs compétents dans les dissertations évaluées par des pairs. Cela amène les auteurs à proposer, comme une implication pour le design des évaluations par les pairs dans les MOOC, des suggestions aux auteurs de capacité de niveau inférieur de formations sur l’utilisation de la rétroaction. Pour leur part, Formanek, Wenger, Buxner, Impey et Sonam (2017) traitent de la correspondance entre l’évaluation par les pairs et l’apprentissage dans un MOOC. Ces auteurs analysent comment la participation à l’évaluation par les pairs dans le MOOC prédit la réussite de l’apprenant. Cette étude pose également la question sur la validité et la fiabilité de cette évaluation par les pairs. La participation à la première activité évaluée par les pairs était un prédicteur d’achèvement pour l’ensemble du cours. En comparant l’évaluation établie par ces trois groupes : les pairs, les étudiants formés pour évaluer et les enseignants, les auteurs soulignent que les pairs évaluateurs se sont avérés plus sévères dans leurs évaluations que les enseignants. En outre, les évaluations établies par les étudiants qui ont été formés et les enseignants sont les plus fiables contrairement aux évaluations produites par les pairs.

20Par ailleurs, la question des modalités d’évaluations dans les MOOC est examinée par Cisel (2018). Cet auteur cherche à comprendre dans quelle mesure les modalités d’évaluation (évaluation par les pairs et évaluation automatisée) pourraient expliquer les faibles taux de certification dans les centaines de MOOC de la plateforme FUN examinés. L’auteur pose deux hypothèses : 1) le niveau d’exigence de ces MOOC n’influe pas sur l’échec dans les MOOC : les évaluations sont conçues de sorte à ne pas mettre en difficulté les participants 2) le nombre d’évaluations a une influence sur l’échec en favorisant une décision des apprenants de quitter la formation. L’auteur décrit l’évaluation automatique comme une évaluation qui correspond aux exercices corrigés automatiquement par l’ordinateur (sans rétroaction de la part d’un humain). Différentes techniques sont utilisées pour évaluer automatiquement les étudiants dans ces MOOC : « questions à choix multiples (QCM) et questions à choix unique (QCU) » qui correspondent à des questions factuelles sur le contenu du cours, « réponses numériques » et « textes à trous ». Le niveau d’exigence est défini en deux dimensions : la charge de travail et le niveau d’exigence des évaluations. Le niveau d’exigence des évaluations correspond tant au nombre d’essais autorisés pour une évaluation automatisée qu’au seuil de validation (note minimale pour obtenir l’attestation de réussite avec succès).

22Quant à Toven-Lindsey, Rhoads et Lozano (2015), ils ont exploré la gamme d’outils pédagogiques utilisés dans 24 MOOC afin de déterminer dans quelle mesure ces cours offrent aux étudiants des expériences d’apprentissage collaboratif et favorisent leur engagement. Ces auteurs mobilisent le modèle de Garrison, Anderson et Archer (2001) pour une « communauté d’enquête » dans des environnements d’apprentissage par ordinateur articulant le besoin de présence sociale, de présence cognitive et de présence pédagogique pour faciliter l’enquête critique (« critical inquiry ») et l’apprentissage collaboratif. En vue de caractériser la structure et la gamme des outils pédagogiques utilisés dans les 24 MOOC analysés, les auteurs examinent les différentes méthodes d’enseignement, des modules de cours sélectionnés, des examens et des forums de discussion en ligne et d’autres composants collaboratifs. Différentes approches pédagogiques utilisées dans les différents cours ont été caractérisées en mobilisant quatre catégories (groupe objectiviste-individuel, groupe objectiviste, constructiviste, individuel et constructiviste). Les contenus sont mentionnés en filigrane de la correspondance entre cours (biologie, ingénierie chimique, statistique, économie, sociologie, etc.) et modalités d’évaluations (QCM, questions ouvertes, posts, etc.).

Evaluation du dispositif MOOC

23Par ailleurs, Poce (2015) et Gil-Jaurena, Callejo-Gallego et Agudo (2017) posent la question de l’évaluation de la qualité du MOOC en étudiant la manière dont les apprenants s’approprient et mobilisent un modèle d’analyse pour évaluer les effets de l’enseignement et l’apprentissage via le MOOC. Le lien entre mobilisation dudit modèle d’analyse (et d’évaluation) et développement d’une approche critique qui pourrait être étendue à toute ressource en ligne est analysé. Le modèle d’évaluation consiste en quatre catégories inspirées du modèle d’évaluation des compétences de pensée critique de Newman, Webb et Cochrane (1997). Le contenu – générique – est évoqué à l’occasion de la définition des catégories d’évaluation :pertinence (clarté du contenu et de sa structure, clarté du langage, adéquation du contenu, durée des unités d’apprentissage, efficacité de la rétroaction, qualité et variété des ressources multimédias), démarche d’enseignement (organisation de la progression des apprentissages, prise en compte des difficultés, informations), évaluation critique (du contenu, des problèmes proposés, de la communication) et nouveauté (identification des points forts, des faiblesses et des voies d’évolution du cours). Enfin, Gil-Jaurena et al. (2017) traitent de l’évaluation de l’expérience acquise au cours de la deuxième série du MOOC « University of Distance Education (UNED) ». Plus spécifiquement, ils examinent les méthodologies sous-jacentes de la conception du MOOC, les aspects personnels et relationnels dans le MOOC ainsi que le soutien technologique et personnel. En se basant sur un questionnaire proposé aux étudiants inscrits dans ce MOOC, les résultats montrent que l’expérience globale du MOOC et ses différents outils ont été appréciés par les apprenants (le contenu et son organisation, sa méthodologie de facilitation, le support et le soutien des facilitateurs).

24Deux recherches parmi les neuf recherches centrées sur l’évaluation comme objet de recherche analysent les modalités d’évaluation dans les MOOC en faisant le lien avec les contenus enjeux de la formation (Ashton et Davies, 2015 ; Watson, Watson, Janakirama et Richardson, 2017). Ainsi, en examinant la correspondance entre autoévaluation du bonheur et la performance des apprenants ou leur perception du changement de leurs attitudes, Watson et al. (2017) indiquent que l’auto-évaluation hebdomadaire des apprenants du « bonheur » est corrélée avec leurs performances de la perception du changement des attitudes (cognitives, affectives, comportements) quant au contenu du MOOC portant sur le bonheur. Ainsi, ces auteurs soulignent que l’auto-évaluation en tant que pratique réflexive permet aux apprenants de s’engager dans un apprentissage comportemental à l’égard du sujet du cours, ce qui leur a permis d’acquérir des connaissances et des pratiques liées au bonheur. Ashton et Davies (2015) constatent ainsi que l’évaluation par les pairs est inhérente au MOOC en ce sens que le caractère ouvert de ce dispositif fait que les effectifs des inscrits sont très importants, ce qui rend impossible (pour les enseignants) de faire des retours d’évaluation à tous les inscrits. D’où la nécessité d’accompagner l’évaluation par les pairs par un système de soutien pour en augmenter la validité et la fiabilité (Andrade, 2005 ; Smith, Cooper et Lancaster, 2002). Un tel système de soutien vise ainsi à augmenter la probabilité de donner et recevoir des commentaires utiles par les étudiants d’un MOOC. Ces auteurs étudient les effets de l’utilisation d’une grille d’évaluation guidée de l’écriture de leurs collègues. L’hypothèse selon laquelle la formation des élèves à évaluer améliorerait leur capacité à fournir une rétroaction de qualité est testée en menant une analyse factorielle multivariée. Il s’agit alors de déterminer les différences dans les évaluations faites par les élèves qui ont reçu des conseils sur l’utilisation d’une rubrique de notation et ceux qui ne l’ont pas fait. La grille d’évaluation par les pairs est créée grâce à la consultation, par entretiens, de sept experts en écriture (agents littéraires, des rédacteurs et des écrivains dans le domaine de la science-fiction et de la fantaisie). La grille utilisée dans l’étude est réduite à cinq éléments centrés sur les processus plutôt que sur les résultats d’écriture (vue d’ensemble de l’écrit, variation des phrases, intrigue, identification à l’espace et aux personnages, orthographe ou forme). Cette étude met en évidence que la grille d’évaluation guidée améliore la précision des évaluations faites par les apprenants. Elle illustre également la démarche de construction du processus d’évaluation de manière spécifique à un contenu (production d’un essai, une fiction), ce qui est souvent implicite dans les recherches sur l’évaluation des apprentissages via les MOOC.

25Les recherches sur les MOOC qui étudient l’évaluation comme objet de recherches sont alors moins présentes, notamment celles qui prennent en compte le contenu d’apprentissage, et restent polarisées par la relation entre les modalités d’évaluation et les performances des apprenants. Plus particulièrement, les modalités d’autoévaluation et d’évaluation par les pairs sont interrogées au regard du caractère massif des MOOC et l’impossibilité pour quelques animateurs de faire le suivi. Les deux tableaux ci-dessous résument les différentes manières dont l’évaluation a été interrogée comme objet de recherche dans les 9 recherches portant sur l’évaluation comme objet de recherche dans les MOOC.

Tableau 1 : recherches centrées sur l’évaluation en faisant le lien avec le contenu véhiculé

Recherche	Exemple d’objet de recherche centré sur l’évaluation
Ashton et Davies (2015)	Analyser les effets de l’utilisation d’une grille d’évaluation guidée de l’écriture par les pairs
Watson et al. (2017)	Examiner la correspondance entre l’autoévaluation du bonheur et la performance des apprenants ou leur perception du changement des attitudes

Tableau 2 : recherches centrées sur l’évaluation en ne faisant pas le lien avec le contenu véhiculé

Recherche	Exemple d’objet de recherche centré sur l’évaluation
Admiral et al. (2015)	Interroger la corrélation statistique entre des modalités d’évaluation (autoévaluation et évaluation par les pairs) d’une part et scores des apprenants aux examens finaux, d’autre part.
Cisel (2018)	Examiner la corrélation entre les modalités d’évaluations et le taux faible de certification
Formanek et al. (2017)	Analyser l’effet de la participation à un devoir évalué par les pairs dans le MOOC sur la réussite de l’apprenant
Huisman et al. (2018)	Examiner la corrélation entre la capacité des pairs évaluateurs des dissertations et la performance de leurs auteurs
Gil-Jaurena et al. (2017)	Evaluer la qualité du contenu véhiculé dans le MOOC (organisation et structuration du contenu, format du cours, méthodologies d’enseignement adoptées, pertinence du contenu par rapport aux objectifs fixés)
Poce (2015)	Evaluer la qualité du MOOC (compréhension, mémorisation, pertinence et clarté du contenu, adéquation du contenu, durée des unités d’apprentissage, efficacité de la rétroaction)
Toven-Lindsey et al. (2015)	Explorer des outils pédagogiques utilisés (l’évaluation est un élément parmi ces outils) dans 24 MOOC afin de déterminer dans quelle mesure ces cours offrent aux étudiants des expériences d’apprentissage collaboratives

Conclusion

26Cette revue de recherches vise à interroger la manière dont les recherches sur les MOOC produites dans la période 2012-2018 traitent de la question de l’évaluation. Elle montre, premièrement, que dans les revues de littératures examinées, l’évaluation est plutôt mentionnée au même titre que d’autres thèmes tels que les méthodes d’apprentissage et les caractéristiques d’ouverture et de massification. Deuxièmement, dans les recherches empiriques portant sur l’évaluation comme objet de recherche, deux orientations peuvent être distinguées : d’une part, l’évaluation concernée porte sur la qualité de la conception d’un MOOC (soutien technologique et personnel, pertinence et clarté du contenu et sa structure, adéquation du contenu, etc.) ; d’autre part, l’accent est mis sur la validité et la fiabilité d’une modalité d’évaluation particulière (telle que l’autoévaluation ou l’évaluation par les pairs) et ses effets sur les performances des apprenants au sein du MOOC. Des recherches sur l’évaluation sont donc à encourager, comme y invitent Raffaghelli et al. (2015). Troisièmement, cette étude suggère plusieurs implications pour la recherche future. Celle-ci pourrait porter sur la pertinence et les effets des modalités d’évaluation dans les MOOC (auto-évaluation, évaluation par les pairs, QCM, quizz, etc.) sur les performances, la motivation ou encore la satisfaction des apprenants. Elle pourrait porter sur l’analyse de l’hybridation des modalités d’évaluation (évaluation automatique et évaluation par les pairs) et son impact sur la qualité de l’évaluation produite (Kulkarni, 2013). L’étude de la corrélation entre les caractéristiques socioprofessionnelle ou socioculturelles des évaluateurs et les notes obtenues dans les MOOC (Bachelet et Cisel, 2013) pourrait aider à prédire la réussite dans les MOOC. De plus, l’investigation des méthodes de visualisation et d’utilisation des traces contribuerait à l’analyse en profondeur des pratiques d’apprentissages dans les MOOC (Yousef, Chatti, Schroeder et Wosnitza, 2015). Enfin, l’examen de l’implication de la massification et les fonctionnalités du MOOC quant aux principes de conception des évaluations du MOOC suscite des approfondissements : en quoi la conception des évaluations des apprentissages dans ou via un MOOC prend-elle en compte les fonctionnalités de celui-ci ? Inversement, en quoi le contenu à évaluer influence-t-il le choix des fonctionnalités du MOOC ? L’approche didactique qui a reçu moins d’attention jusqu’ici dans les recherches focalisées sur l’évaluation pourrait ainsi aider à élucider la manière dont les modalités d’évaluation varient selon les contenus et les disciplines. Des recherches centrées sur l’analyse des contenus évalués dans les MOOC contribueraient plus spécifiquement à comprendre les interactions entre évaluation et contenus enseignés ou à enseigner.