Skip to navigation – Site map
Dossier

Développer un questionnaire pour étudier les conceptions de l’évolution du vivant d’élèves de collège : entre cadres didactique et psychométrique

Development of a questionnaire to study lower secondary school students’ conceptions of biological evolution: between a didactical and a psychometric framework
Magali Coupaud, Jérémy Castéra, Hélène Cheneval-Armand, Pascale Brandt-Pomares and Alice Delserieys
p. 27-59

Abstracts

We propose, in this article, a methodological reflexion regarding the development of a close-ended questionnaire named UnRESt (Understanding, Randomness and Evolution for Students), to explore lower secondary school students’ conception of evolution in biology. This questionnaire, composed of statements with a positioning on a likert scale, is part of a larger study which aims at unpacking eventual relations between students position about randomness, about evolution and personal believes. In this article we describe three phases of the development of the questionnaire highlighting the didactical and the psychometric frameworks that were combined to assess the validity and reliability of the UnRESt questionnaire. Building on the successive results following field testing of the questionnaire, with different groups of students, we highlight the diversity of references needed to guide the choices of modification of the questionnaire, and in particular, the use of statistics to identify the questions to revise.

Top of page

Full text

Introduction

1Avec le développement de la recherche en didactique des sciences, les cadres théoriques et méthodologiques se sont élargis (Orange & Lhoste, 2015). Ainsi, des approches méthodologiques variées coexistent avec un débat sur leur pertinence et leur validité selon qu'elles appartiennent à une approche quantitative ou qualitative (Bressoux, 2010). Dans cet article, nous nous intéressons à une approche quantitative pour aborder des questions de compréhension de l'évolution du vivant et du hasard par des élèves de collège. À notre connaissance, ce choix quantitatif s’inscrit peu dans les traditions de didactique des sciences en France (Castéra, 2010). Notre approche relève davantage des recherches sur les concept inventories, questionnaires à réponses fermées développés initialement aux États-Unis dans le cadre de recherches sur l’enseignement de la physique dans le supérieur et qui existent maintenant dans plusieurs disciplines (Sands et al., 2018 ; D'Avanzo, 2008). Certains sont relatifs à l'évolution du vivant (Anderson, Fisher & Norman, 2002 ; Cunningham & Wescott, 2009 ; Rutledge & Sadler, 2007 ; Yates & Marek, 2015). La multiplication de ces questionnaires, et l'intérêt qu'ils peuvent présenter comme mesure de l'efficacité de pratiques pédagogiques, reposent sur deux éléments clés (Sands et al., 2018). D'une part, ils s’appuient sur l'idée que des recherches, aux méthodologies variées, ont déjà fait émerger, de manière récurrente, différentes conceptions chez des élèves pour un concept donné. Ces conceptions peuvent donc servir de base à l'élaboration d'un nouveau concept inventory (ibid.). D'autre part, la question de la validité est déterminante, que ce soit du point de vue du processus de validation du questionnaire, ou des arguments utilisés comme critère de validité (Reeves & Marbach-Ad, 2016).

2Nous proposons une réflexion méthodologique autour du développement d’un questionnaire fermé, appelé UnRESt (Understanding Randomness and Evolution for Students). Le choix du développement d’un questionnaire fermé, adressé à un nombre important d'élèves, s'est fait tôt dans le projet de recherche. Partant du constat que différentes recherches ont fait émerger des conceptions au sujet de l'évolution du vivant (e.g., Fortin, 2010 ; Jégou-Mairone, 2011), l'objectif du questionnaire était d'explorer des relations éventuelles entre les conceptions d'élèves sur l'évolution du vivant, le hasard et leurs croyances (en particulier religieuses). Seule la partie concernant l’évolution du vivant sera abordée ici. Le terme « explorer » est ici volontairement choisi. Il renvoie aux outils d'analyses exploratoires multivariées, analyses visées dans l'élaboration du questionnaire UnRESt. De telles analyses permettent en particulier de gérer des réponses à un grand nombre de questions, condition nécessaire compte tenu du hasard et de la complexité des concepts en jeu dans l’évolution du vivant. L'usage d'analyses multivariées permet, entre autres, de faire la synthèse d'un nombre important de variables pour dégager des tendances remarquables ou de tester les différences de conceptions entre des groupes d'individus avec des analyses interclasses (Munoz & Clément, 2007). En revanche, l’élaboration du questionnaire représente une étape critique pour obtenir des résultats interprétables (Coupaud et al., 2015a). Ces différentes réflexions nous amènent à centrer cet article sur les notions de validité et de fiabilité d'un questionnaire. Ainsi, l'objet de cet article n'est pas d'exposer le mode de recueil ou d'analyse des données, ni d'ailleurs, les résultats obtenus, mais d'interroger ce qui nous a amenés à définir la validité et la fiabilité du questionnaire UnRESt dans les différentes étapes d'élaboration des items du questionnaire, les choix opérés, leurs conséquences méthodologiques et les évaluations successives du questionnaire.

1. Cadres théoriques

3La conception de questionnaires en didactique des sciences est relativement documentée dans la littérature anglo-saxonne en référence aux concept inventories (Sands et al., 2018). L'élaboration de ces questionnaires suit souvent une série d'étapes (ibid.) passant par l'analyse épistémologique des concepts en jeu, la rédaction de questions/réponses en utilisant soit de précédents travaux de recherche, soit directement des réponses d'élèves produites dans la phase d’élaboration, puis la mise en œuvre de passations pilotes. Cette série est ensuite itérée, mettant le chercheur face au travail délicat de juger de l’acceptabilité du questionnaire. En effet, un tel questionnaire peut davantage tester la capacité du répondant à reconnaître et à réagir face à un contexte donné plutôt que d’engager effectivement le répondant à rendre visible sa compréhension d’un concept (Stewart, Griffin & Stewart, 2007). Par ailleurs, les répondants sont forcés de choisir parmi un nombre limité de réponses ce qui les empêchent de construire, organiser et exprimer leurs propres idées (Gurel, Eryilmaz & Mc Dermott, 2015).

4En comparant douze concept inventories, Lindell, Peak et Foster (2007) soulignent les disparités dans la construction des questionnaires. Nous retenons deux éléments clés. Le premier concerne la rédaction des items d'un questionnaire proposant une formulation en accord avec les concepts scientifiques visés dans le questionnaire, mais aussi des items qui reprennent des erreurs couramment relevées chez des élèves. La rédaction des items d'un questionnaire fermé amène ainsi une réflexion sur les conceptions des élèves. Le deuxième concerne les notions de validité et de fiabilité considérées de manière plus ou moins complète selon les questionnaires (ibid.). Nous proposons de regarder plus en détails ces deux grandes étapes de construction d’un questionnaire qui sont 1) la définition des items d’un questionnaire, et 2) le processus de validation du questionnaire. Cela nous amène à proposer un cadre multidimensionnel pour la conception d’un questionnaire de type concept inventory prenant à la fois en compte des enjeux didactiques et épistémologiques associés aux travaux sur les conceptions des élèves, et les enjeux d’évaluation de la fiabilité et la validité d’un questionnaire associés à une approche psychométrique.

1.1. Conceptions des élèves et élaboration d’un questionnaire

5Notre étude s’intéresse aux connaissances des élèves sur l’évolution du vivant. Elle s’inscrit dans l’idée que chaque élève possède un « déjà-là », un ensemble de connaissances qui peut faire obstacle à l’appropriation de savoirs scientifiques. Nous nous inscrivons ainsi dans une perspective épistémologique bachelardienne considérant que les élèves construisent des connaissances empiriques dans leur vie quotidienne, qui souvent empêchent l’accès à de nouvelles connaissances et constituent des « obstacles épistémologiques » (Bachelard, 1938). L’importance de repérer ces connaissances pour adapter les stratégies d’enseignement et d’apprentissage, aussi bien du point de vue de l’élève que de l’enseignant fait généralement consensus. En revanche, de nombreux cadres théoriques et méthodologiques sont mobilisés pour rendre visible ce « déjà-là », et inférer des conceptions d’élèves (Orange & Orange-Ravachol, 2013). Santini (2009) met en évidence que le cadre retenu influence le nombre et le type de conceptions identifiées pour un même concept auprès de différents groupes d’élèves. Ainsi, les concept inventories s’appuient sur une dichotomie entre connaissances scientifiques et connaissances alternatives (Sands et al., 2018). Dans les questionnaires, des « distracteurs » sont introduits, relevant de conceptions alternatives identifiées repérées par la recherche (Lindell, Peak & Foster, 2007). L’un des objectifs de ces questionnaires est de permettre de repérer si les étudiants ont bien dépassé ces connaissances alternatives (ibid.).

6Indépendamment des conceptions alternatives, nous nous inscrivons davantage dans l’idée que l’élève, en réponse à une sollicitation, exprime différentes idées plus ou moins éloignées des savoirs scientifiques que l’on souhaite qu’il s’approprie. En revanche, dans le contexte d’un questionnaire fermé, cette expression est contrainte par les choix d’énoncés proposés aux élèves. Suivant l’approche proposée par Clément (2010), nous faisons donc la distinction entre des conceptions individuelles, définies comme « les cohérences dégagées par le chercheur à partir des réponses d’une personne placée dans plusieurs situations relatives à un thème donné » (p. 57), et un caractère collectif de ces conceptions lorsqu’une forme de récurrence est repérée entre des conceptions individuelles chez plusieurs individus d’un même groupe social. C’est en s’appuyant sur ce principe de récurrence que l’on peut proposer des questionnaires fermés permettant aux élèves de se positionner sur leur adhésion plus ou moins forte à des idées formulées en référence à des conceptions déjà identifiées selon des méthodologies reposant cette fois sur une expression plus libre. Notons que chaque idée ne renvoie pas à une conception donnée. Ce positionnement se fait sur plusieurs idées pour construire une conception.

7En France, des études qui portent sur l’enseignement-apprentissage de l’évolution du vivant (Coquidé, 2009 ; Crépin, 2002 ; Fortin, 2010 ; Gobert, 2014 ; Orange-Ravachol & Ribault, 2006) ont mis en évidence plusieurs conceptions de l’évolution du vivant, ainsi que des contextes d’expression de ces conceptions. À l’école primaire, Jégou-Mairone (2011) a montré que malgré la complexité de ce concept scientifique, la majorité des jeunes élèves questionnés expriment des connaissances sur des faits d'évolution même pour ceux qui n’ont pas suivi d’enseignement de l’évolution du vivant. Cependant, ils acceptent plus facilement l’idée d’une évolution pour des espèces disparues que pour des espèces actuelles, mais sans l’envisager sur un temps long (ibid.). Les connaissances déclarées par les élèves en fin d’école primaire témoignent d’une conception qualifiée de non-évolutionniste à tendance fixiste, avec transformation possible des espèces tout en rejetant une origine commune (Crépin, 2002). Au collège, il semble difficile pour des élèves d’envisager une évolution darwinienne même s’ils arrivent à prendre en charge le problème de l’hérédité (Gobert, 2014). Au niveau du lycée, Fortin (2010) montre que les lycéens reconnaissent l’existence d’un monde passé (mammouths et dinosaures les plus fréquemment cités) et la disparition d’espèces et propose une catégorisation des conceptions allant d’une conception pro-évolutionniste, en adéquation avec les savoirs scientifiques, à une conception créationniste où les élèves rejettent l’idée même d’évolution. Ainsi des difficultés à accepter les idées évolutionnistes sont relevées (Wolfs, 2013).

8Ces travaux ont conditionné la structure du questionnaire UnRESt. En effet, il s’agit de proposer aux élèves un ensemble d’idées suffisamment proches de leur niveau de formulation pour qu’ils puissent se positionner par rapport à ces idées. Par ailleurs ces idées doivent refléter à la fois la complexité des concepts en jeu et la multiplicité des conceptions relevées dans la littérature. Ainsi chaque idée devient un item dans un questionnaire qui aborde l’évolution du vivant dans des contextes différents, selon différentes approches et avec redondance (Clément, 2010). Nous considérons ainsi qu’un travail de traduction doit s’opérer (figure 1) pour formuler ces items dans une « langue » parlant aux élèves à partir de travaux empiriques qui proposent des recueils de conceptions. Cette traduction peut être vue au sens propre lorsque des items sont déjà proposés dans la littérature scientifique anglo-saxonne, ou lorsque des items sont initialement adressés à des élèves plus jeunes ou plus âgés. Cette traduction se fait aussi dans le travail de reformulation de plusieurs idées à partir d’une conception repérée dans d’autres recherches, conception, elle-même inférée à partir d’idées formulées par des élèves dans des contextes donnés. La question est de savoir à quel moment ce travail de traduction est considéré comme suffisamment acceptable. En d'autres termes, quand le chercheur considère-t-il que le recueil de données l'informe effectivement sur ce qui est à l'étude ?

1.2. Fiabilité et validité d’un questionnaire

9Au-delà du travail didactique et épistémologique nécessaire à la rédaction des items d’un questionnaire fermé, nous nous intéressons à la mise à l’épreuve d’un tel questionnaire dans des phases pilotes. De nombreuses études proposent des théories ou approches relatives à l’élaboration de questionnaires standardisés en éducation, chacune comportant leurs limites (Lindell, Peak & Foster, 2007 ; Perneger, 2004 ; Taber, 2018). Mais quelle que soit l’approche, on retrouve les concepts de fiabilité et de validité. La fiabilité d’un questionnaire indique si le questionnaire apporte une information sur la reproductibilité des mesures. La validité indique si l’élément mesuré, visé par le questionnaire, est réellement mesuré. Ou par analogie (Perneger, 2004), un tireur sur cible est « fiable » si ses tirs sont regroupés, et « valide » si ses tirs atteignent le but (centre de la cible). La fiabilité permet d’identifier les erreurs aléatoires alors que la validité, les erreurs régulières. La mesure de la fiabilité n’est donc pas suffisante pour attester de la qualité d’un questionnaire. Ce dernier peut produire des mesures reproductibles, mais ne pas mesurer ce qui était visé (Parsian, 2009). Nous retenons deux déclinaisons de la notion de validité, pertinentes dans le cadre des conceptions en didactique des sciences (Lindell, Peak & Foster, 2007). La validité de contenu envisage dans quelle mesure les items du questionnaire permettent effectivement de couvrir les concepts scientifiques abordés dans le dit questionnaire (dans notre cas, l’évolution du vivant). Elle est généralement mise à l’épreuve d’une part, par l’analyse épistémologique qui en est faite et d’autre part, en portant le questionnaire à la critique d'experts du domaine scientifique. Par ailleurs, la validité de construction consiste à explorer dans quelle mesure les résultats obtenus, lorsqu’un élève remplit le questionnaire, renvoient effectivement à des inférences sur ce que sait cet élève du domaine scientifique concerné. Converse (2006) précise que des items, proposés par des spécialistes, et dont la terminologie est éloignée des élèves, apportent des réponses au hasard ou bien en référence à des concepts loin de ceux des spécialistes.

10La mesure de la fiabilité permet, quant à elle, d’estimer si des items relatifs à une même variable sont capables de mesurer de façon cohérente cette variable (Parsian, 2009). Deux types de mesures complémentaires sont couramment présents dans la littérature pour estimer cette fiabilité : les mesures de cohérence interne et de fidélité. La fidélité est associée à une approche de test-retest (Cronbach, 1951), en administrant le même questionnaire au même échantillon à deux occasions différentes. Mais, dans le cas d’évaluation de la compréhension d’un concept, une telle approche est délicate. Il faut supposer qu'il n'y ait aucun changement important dans l'étude entre les deux points de temps d'échantillonnage (DeVon et al., 2007), Par ailleurs, des mesures de cohérence interne sont souvent utilisées pour mesurer les relations entre les items dans un questionnaire. Cette cohérence interne indique dans quelle mesure chaque item contribue à donner des informations sur une même catégorie d’items à tester (DeVon et al., 2007). Cela suppose qu’un questionnaire comporte plusieurs items pour une même catégorie ou un même domaine qui doivent être plus ou moins redondants (Clément, 2010). Des outils statistiques peuvent être utilisés pour estimer cette cohérence interne, chacun comportant des avantages et des limites (Laveault, 2012). C’est le cas du coefficient de corrélation alpha de Cronbach (ci-après nommé α de Cronbach), dont l’usage est à la fois largement documenté dans la littérature, ce qui présente un avantage pour en faire un usage raisonné, mais qui est aussi critiqué pour son usage souvent abusif remettant en cause une quelconque cohérence interne dans un questionnaire (Taber, 2018). L’une des principales critiques vient de la multidimensionnalité des questionnaires et du calcul d’un α de Cronbach global regroupant toutes les dimensions sans réflexion sur le sens donné à un tel calcul. Le coefficient α de Cronbach est un nombre décimal qui varie entre -1 et 1. Pour un nombre d’items peu élevé, plus la valeur α est proche de 1, plus la relation entre les items est élevée et plus les items testés sont homogènes. Mais les valeurs de l’α dépendent du nombre d’items testés. Elles sont d’autant plus acceptables (supérieures à 0,70) que le nombre d’items est élevé (40 items ou plus). Ainsi, un α élevé calculé sur l’ensemble d’un questionnaire comportant de nombreux items ne permet pas de conclure sur la fiabilité de ces items (Cortina, cité dans Laveault, 2012). L’objectif pour nous est de détailler les conditions d’usage du coefficient α de Cronbach pour guider la révision d’un questionnaire en l’associant à un travail didactique pour définir les dimensions présentes dans le questionnaire et les items associés à ces dimensions.

1.3. Tension entre cadre didactique et cadre psychométrique

11Les paragraphes précédents font émerger deux dynamiques associées à l’élaboration d’un questionnaire fermé (figure 1). La première, repose sur des analyses épistémologiques et didactiques fines des connaissances des élèves pour un concept scientifique donné à partir de recueils de conceptions identifiées des recherches précédentes. La deuxième repose sur l’idée que l’on peut concevoir des questionnaires qui vont permettre de positionner des sujets par rapport à une norme définie nécessairement à partir d’un grand nombre de répondants. Il nous semble ainsi que lors de l’élaboration d’un questionnaire, les différents registres d’analyses convoquées (didactique et psychométrique) génèrent des tensions entre les exigences méthodologiques associées à chaque cadre. Ces tensions se mettent en place entre d’une part, la construction d’items se rapprochant le plus possible de la traduction de la pensée complexe de chaque élève et d’autre part, le recours à des items courts, redondants et cohérents dans les domaines auxquels ils se rapportent. Il sera très difficile de parvenir à un questionnaire entièrement satisfaisant, c’est-à-dire, comme le propose Sands et al. (2018), un questionnaire qui 1) mesure effectivement ce qu’il est sensé mesurer, 2) propose une forme standardisée permettant une utilisation auprès de différents groupes d’élèves, 3) puisse être repris dans des études longitudinales pour mesurer l’efficacité d’une pratique d’enseignement. Ainsi, des allers-retours entre construction du questionnaire et test sur le terrain sont nécessaires (figure 1), avec la difficulté de définir quand arrêter ces aller-retours et quand considérer un questionnaire suffisamment fiable et valide.

Fig. 1 : dynamique de construction d’un questionnaire visant à explorer les conceptions d’élèves dans un concept scientifique donné

Fig. 1 : dynamique de construction d’un questionnaire visant à explorer les conceptions d’élèves dans un concept scientifique donné

12Plusieurs études documentent des conceptions d’élèves de l’évolution du vivant et il existe des questionnaires de type concept inventory abordant l’évolution mais souvent à l’université, d’où l'intérêt pour nous d’élaborer un questionnaire s'adressant à des élèves plus jeunes (11-15 ans). L’étude plus large dans laquelle s’inscrit cet article vise à établir un état des lieux sur la base d’un large échantillon d’élèves et exige de traiter plusieurs variables en même temps. C’est dans ce contexte que le questionnaire UnRESt a été élaboré et nous souhaitons répondre à la question centrale : comment développer un questionnaire fermé recueillant un positionnement de collégiens sur l’évolution du vivant qui tienne compte des critères de validité et de fiabilité ? L’objectif ici n’est pas de présenter les résultats obtenus grâce au questionnaire, mais de discuter des conditions d'élaboration de cet outil de recueil de données. Il s’agit de mettre en lumière les enjeux et les ambiguïtés de la formulation d’items dans un questionnaire fermé.

2. Méthode

13L’élaboration du questionnaire UnRESt s’est déroulée en trois étapes principales sur une période de dix-huit mois (qui correspondent à trois versions distinctes du questionnaire UnRESt discutées dans cet article). Pour chaque étape, des élèves issus de deux collèges, ont rempli un questionnaire dans le cadre d’une activité de classe régulière durant une demi-heure environ. L’analyse des résultats a mis en tension des cadres didactique et psychométrique (figure 1). Ainsi, pour chaque version, un retour à la littérature documentant des recueils de conceptions d’élèves sur l’évolution du vivant a été nécessaire pour compléter ou affiner notre travail et produire suffisamment d’items pour couvrir la diversité d’idées pouvant être exprimées par des élèves (dimension didactique). Une partie des items est directement issue de formulations d’élèves de collèges relevées dans le cadre d’une étude préliminaire (Coupaud et al., 2015b). Ces items ont été mis à l’épreuve pour estimer la fiabilité et la validité (dimension psychométrique), selon les principes décrits ci-dessous.

2.1. Principes d’évaluation d’UnRESt

Validité de contenu

14La validité de contenu est testée avec des entretiens audio-enregistrés, durant 1h 30 environ, auprès de scientifiques : deux formateurs d’enseignants, un philosophe de la biologie et un biostatisticien, sensible aux questions d’enseignement de l’évolution du vivant. Il s’agit d’avoir un regard expert et critique concernant les formulations choisies et les contextes des items des questionnaires. Nous proposons aux scientifiques de renseigner le questionnaire sur papier et de commenter oralement leurs choix. L’analyse a visé à repérer les items remis en question et les justifications apportées.

Validité de construction

15La validité de construction est testée à partir d’entretiens de 40 minutes environ, avec des élèves volontaires, qui ont déjà renseigné le questionnaire dans leur classe 3 à 4 semaines auparavant. Les élèves interrogés ont été retenus sur la base de leur capacité à argumenter des choix de réponse, selon leurs enseignants. Ces entretiens d’explicitation individuels sont menés par un chercheur, didacticien des sciences et s’appuient sur des questions d’UnRESt. Le chercheur demande aux élèves de lire à haute voix les items, de les renseigner et de justifier oralement leurs réponses. Les données sont recueillies par enregistrement audio et par écrit (questionnaire rempli par chaque élève au moment de l’entretien). La validité de construction est estimée par comparaison des réponses avec le profil de l’élève défini lors du test de cohérence interne et par l’analyse des commentaires verbaux sur chacune des réponses. Ces entretiens permettent de vérifier que la forme et les mots employés dans les questionnaires sont compréhensibles et ainsi d’affiner les items proposés et d’éliminer des items ambigus.

Cohérence interne

16Pour estimer la fiabilité, nous privilégions la mesure de la cohérence interne par le calcul du coefficient de corrélation α de Cronbach. Les calculs sont réalisés avec le logiciel R, en utilisant la fonctionnalité « psych » (Revelle, 2014). Nous mesurons cette cohérence pour chaque catégorie d’items (tableau 1, pour la catégorisation finale). L’objectif est de repérer si, au sein d’une même catégorie, les items mesurent des facteurs communs (Taber, 2018). Dans ce travail, une catégorie d’items correspond à une connaissance (sous-dimensions) scientifique ou alternative de l’évolution du vivant. La définition précise des catégories s’est affinée pendant l’élaboration du questionnaire (tableau 1 pour la catégorisation finale).

Fidélité

17Pour obtenir des indicateurs complémentaires, la fidélité a été estimée par des approches inspirées du test-retest avec quelques semaines d’intervalle, soit en comparant les réponses d’élèves en entretien avec celles données lors d’une première passation du questionnaire écrit soit en soumettant deux fois le même questionnaire à un groupe d’élèves.

2.2. Questionnaire UnRESt final

18Nous présentons ici la version finale du questionnaire UnRESt. Après plusieurs modifications, cette version a été considérée comme suffisamment satisfaisante pour être utilisée avec un grand nombre d’élèves de collège (plus de 1 500 élèves de 11-15 ans). Le questionnaire final UnRESt présente trois sections : (A) items relatifs à l’évolution du vivant, (B) items relatifs au hasard et (C) paramètres personnels. Dans cet article, seule l’élaboration des items de la section A est développée. Les questions relatives aux paramètres personnels (section C) ont été majoritairement reprises de questionnaires déjà existants (en particulier Castéra, 2010 et OCDE, 2016) et ont donc fait l’objet de remaniements moindres. Les questions relatives au hasard, pris dans des contextes de la vie quotidienne, ont nécessité un travail spécifique (Coupaud et al., 2016) dans la mesure où peu d’études documentent des conceptions d’élèves de 10-15 ans à ce sujet. L’annexe 1 présente la version finale de la section A. La construction des items de la section A du questionnaire UnRESt s’appuie sur une grille d’analyse a priori (tableau 1). À partir d’une analyse épistémologique de l’évolution du vivant (entre autres, Fortin, 2010 ; Lecointre, 2014), trois domaines scientifiques de l’évolution du vivant sont identifiés (origine des espèces, faits évolutifs observables, phénomènes explicatifs) dans lesquels les élèves sont susceptibles d’avoir des connaissances (tableau 1, sous-dimensions). Notons que cette liste de connaissances s’est appuyée très fortement sur différentes catégories de conceptions repérées dans la littérature, et en particulier, celle de Fortin (2010) : évolutionniste, transformiste, fixiste, et anti-évolutionniste afin que les items proposent des distracteurs, ou idées alternatives (aux idées scientifiques de l’évolution du vivant). Le questionnaire est construit dans l’objectif de faire l’objet d’analyses multivariées pouvant faire émerger des catégories de conceptions différentes de celles proposées dans la littérature. C’est ensuite le positionnement des élèves, selon le degré d’adhésion à ces items, qui permet d’explorer comment les idées se regroupent chez les élèves et donc de repérer des catégories de conceptions qui émanent de l’analyse a posteriori. Ces catégories ne sont donc pas nécessairement les mêmes que celles qui ont servi, a priori, aux différentes versions du questionnaire. Le travail d’évaluation de la cohérence interne des items défini a priori permet de s’assurer quels items permettent aux élèves de se positionner sur quelle sous-dimension. Ainsi, chaque sous-dimension peut être considérée a priori comme une échelle indépendante permettant d’évaluer le positionnement de chaque répondant.

Tableau 1 : grille d’analyse a priori de la section A du questionnaire UnRESt final et exemples d’items relatifs aux espèces actuelles

Domaines scientifiques Connaissances ciblées par des items dans le questionnaire (sous-dimensions) Exemple d’items du questionnaire UnRESt final relatifs aux espèces actuelles
Origine des espèces Origine commune des espèces Les girafes et les zèbres ont un ancêtre commun.
Origine divine des espèces Les girafes ont été créées par Dieu.
Faits d’évolution Apparition de nouvelles espèces De nouvelles girafes sont apparues après les premières girafes.
Extinction des espèces Les girafes actuelles pourraient disparaître dans le futur.
Changements des êtres vivants par métamorphose au cours de leur vie Les éléphants actuels sont le résultat d’une métamorphose des premiers éléphants.
Changement des espèces allant nécessairement dans le sens d’une amélioration des espèces, d’un progrès Les éléphants actuels sont plus perfectionnés que leurs ancêtres.
Pas d’évolution possible Les éléphants qui peuplent la Terre ont globalement été toujours les mêmes.
Phénomènes explicatifs Sélection naturelle, contingence Lorsque les feuilles se sont développées plus en hauteur dans les arbres, les girafes avec les cous les plus longs ont pu mieux se nourrir et mieux se reproduire, tout comme leurs petits, nés avec un cou plus long.
Temps long associé à l’évolution Il a fallu un temps très long pour que les girafes apparaissent sur Terre avec un long cou.
Hasard d’apparition des attributs Par hasard, un ancêtre de la girafe est né avec un cou plus long.
Adaptation par usage de l’attribut À force de tirer sur son cou pour attraper la nourriture située dans les arbres, le cou d’un giraffokeryx est devenu plus long. Puis, ce giraffokeryx a transmis ce long cou à ses petits.
Changements des êtres vivants attribués exclusivement aux pressions environnementales C’est l’apparition de nourriture en hauteur dans les arbres qui a provoqué la naissance de girafes à long cou.
Plan divin, espèces préprogrammées Les girafes existent aujourd’hui avec un long cou car c’était leur destinée.
Espèces préprogrammées par la « Nature » Les girafes existent aujourd’hui avec un long cou car la nature fait bien les choses.
Pas de raison Il n’y a aucune raison particulière qui explique que les girafes aient un long cou. Il aurait pu être plus court.

19La section A de la version finale du questionnaire est composée de 48 items : 24 items non contextualisés (dont 2 items doublés) et 24 items contextualisés (des items associés à un énoncé court) avec trois exemples pour chaque sous-dimension : espèce actuelle (tableau 1), espèce disparue et Homme. Ce choix d’exemples provient en particulier des résultats de Jégou-Mairone (2011), mettant en évidence que des élèves de l’école primaire sont capables de s’exprimer au sujet de l’évolution d’espèces qu’ils connaissent, mais n’exprimeront pas tout à fait les mêmes connaissances selon l’exemple d’espèce (ou catégorie d’espèce) choisi. Le nombre et le choix spécifique dans les items pour chaque catégorie a évolué dans les différentes versions d’UnRESt. D’un point de vue structural, le questionnaire UnRESt (ainsi que toutes les versions antérieures) utilise une échelle de Likert pour les modalités de réponses (4 modalités allant de « d’accord », à « pas d’accord »). Ce type de modalité de réponse facilite l’utilisation d’analyses multivariées (Castéra, 2010) retenues pour l’analyse des données (Coupaud, 2018). En particulier, par rapport à des modalités binaires (oui/non), cela permet un gradient de réponses plus discriminant et réduisant le taux de réponses identiques (Coupaud et al., 2015a). Nous avons choisi un équilibre entre des modalités positives et des modalités négatives afin d’encourager chaque répondant à se positionner. Les modalités de réponse centristes (échelles de Likert impaires, modalité « je ne sais pas ») sont critiquées par Cohen, Manion & Morrison (2013) car elles peuvent servir de refuge pour le répondant.

3. Élaboration et évaluation du questionnaire UnRESt

20Nous décrivons trois expérimentations selon le plan suivant : 1) le travail qui a précédé la version du questionnaire pour chaque expérimentation (travail didactique), 2) le travail de mise à l’épreuve de chaque version du questionnaire (travail psychométrique) et 3) l’analyse qui en est faite et ses conséquences sur la version suivante du questionnaire (confrontation des deux cadres). Nous avons fait le choix de ne détailler que quelques résultats pour illustrer notre démarche, et en particulier ceux qui ont conditionné des modifications majeures du questionnaire, mais les allers-retours entre dimension didactique et psychométrique (figure 1) ont été faits à chaque expérimentation.

3.1. Expérimentation 1

Construction du questionnaire UnRESt V1 et conditions de passation

21Le premier questionnaire (UnRESt V1) s’appuie sur les résultats d’une étude exploratoire auprès de 242 élèves de collège (11-16 ans), utilisant un questionnaire avec des questions ouvertes (Coupaud et al., 2015b) dont l’analyse des réponses s’est inspirée de la typologie de Fortin (2010). Les quatre catégories de conceptions de cette étude (évolutionniste, transformiste, créationniste, anti-évolutionniste, tableau 2), définissent ainsi les premières dimensions que le questionnaire UnRESt V1 cherche à évaluer.

22Les formulations des élèves recueillies dans l’étude exploratoire sont traduites en items pour UnRESt V1. Autrement dit, en reprenant le vocabulaire utilisé de manière récurrente par des élèves, nous construisons des items fermés pour chacune des quatre catégories de conceptions retenues (tableau 2). Un item ne correspond pas directement à une formulation d’élève de l’étude exploratoire mais traduit une idée du même ordre avec des mots qu’un élève serait susceptible d’utiliser.

Tableau 2 : dimensions et sous-dimensions évaluées par le questionnaire UnRESt V1 et exemples d’items contextualisés par un énoncé

Conceptions testées dans le questionnaire version 1
(dimensions)
(nombre d’items)

Connaissances ciblées par des items dans le questionnaire
(sous-dimensions)

Exemple d’items contextualisées no 26 (codage items)

De nos jours, les scientifiques pensent que le giraffokeryx, qui vivait il y a des millions d’années et qui n’existe plus aujourd’hui, est l’ancêtre de la girafe actuelle. D’après toi, comment le giraffokeryx et la girafe ont-ils évolué ?

Évolutionniste(10 items)

origine commune
extinction des espèces
hasard, mutation
lien adaptation-environnement
sélection naturelle

Les giraffokeryx avec les cous les plus longs ont pu se reproduire entre eux et évoluer en girafe. (E26)

Transformiste

(9 items)

origine commune
pas d’extinction
métamorphose/progrès
rôle premier de l’environnement

Le giraffokeryx, non créé par Dieu, a évolué en girafe en allongeant son cou pour attraper sa nourriture. (T26)

Fixiste

(6 items)

origine divine puis transformation des espèces au cours du temps

Le giraffokeryx, créé par Dieu, a évolué en girafe. (F26)

Anti-évolutionniste (10 items)

origine divine

aucun lien de parenté entre les espèces
pas de modification des espèces

Le giraffokeryx et la girafe ont été créés par Dieu. Ils n’ont pas évolué. (AE26)

23La section A du questionnaire UnRESt V1 analysée ici présente 35 items fermés : 19 affirmations et 4 séries d’items contextualisés autour de quatre exemples d’animaux (le Giraffokeryx (tableau 2), les dinosaures, l’Homme et les mammouths). UnRESt V1 a été renseigné par 23 élèves d’une classe de 6e.

Mise à l’épreuve et résultats

24La mise à l’épreuve du questionnaire UnRESt V1 est réalisée par des mesures de la validité de contenu par des entretiens réalisés auprès de deux scientifiques, la validité de construction par des entretiens auprès de deux collégiens, et la fiabilité par des mesures de cohérence interne (α de Cronbach pour chaque catégorie d’items définis dans le tableau 2 pour les réponses des 23 élèves). Nous choisissons ici de présenter plus spécifiquement les tests de validité de contenu et de construction (soit les résultats des entretiens).

25La validité de contenu des items de UnRESt V1 est testée à partir des résultats d’entretiens d’un biostatisticien et de didacticiens de la biologie (non impliqués dans l’étude). Nous présentons ci-dessous certains points mis en discussion par le biostatisticien. Les caractéristiques didactiques des items sont préalablement rappelées, et en particulier, le niveau de formulation adapté à des élèves de collège, ainsi que la présence d’items volontairement introduits en référence à des conceptions en désaccord avec les savoirs de référence. Ainsi, l’entretien permet de discuter la précision scientifique des items. Par exemple, l’expert attire l’attention sur la formulation de l’item T4 « Les éléphants sont issus de la transformation des mammouths » qui pose problème car issus de lignées différentes. Ce résultat amène à revoir la formulation en introduisant le terme « premiers éléphants ». Par ailleurs, le chercheur s’arrête sur la situation 2 : « De nos jours, les dinosaures n’existent plus sur Terre. D’après toi, comment ont-ils disparu ? ». Selon la position choisie dans l’échelle de l’organisation des êtres vivants (espèce ou classe), les oiseaux peuvent être considérés comme descendants des dinosaures. Cette remarque amène à porter un regard sur l’ensemble des items pour définir l’échelle utilisée pour chaque catégorie d’items. Par ailleurs, le choix des mots est discuté. C’est le cas par exemple des mots « transformation » et « métamorphose », délicats pour le scientifique car ils ne renvoient évidemment pas à un modèle de référence dans les mécanismes explicatifs de l’évolution. Le biostatisticien comprend le recours au terme « transformation » (items T3, T5) dans une perspective associée à une conception transformiste de l’évolution mais encourage finalement l’usage du terme « métamorphose » (items T26, T27) qui renforce, selon lui, l’idée d’une modification des attributs au cours d’une vie. Ces échanges mettent en évidence les limites des items renvoyant à une conception transformiste, et à leur compréhension par des élèves. Il faudra plusieurs versions du questionnaire pour que le terme « métamorphose » soit retenu dans la version finale, car plus proche du discours des collégiens interviewés.

26La validité de construction des items de UnRESt V1 est testée à partir des résultats d’entretiens de deux élèves (Ea et Eb) de sixième, parmi les 23 élèves ayant renseigné UnRESt V1. L’objectif est de mettre à l’épreuve les items renvoyant à une conception transformiste de l’évolution (tableau 2). Ainsi, les deux élèves, Ea et Eb, ont été choisis pour leur profil plutôt « évolutionniste » et « transformiste » d’après les résultats de cette première passation.

27Les réponses formulées par Eb sont assez conformes avec le profil transformiste qu’il a montré en remplissant UnRESt V1. Par contre, plusieurs réponses de l’élève Ea sont en désaccord avec son profil « évolutionniste », attirant notre attention sur des items qui semblent générer des confusions. En particulier :

  • les items comportant deux variables à tester sont difficiles à traiter. L’élève peut être d’accord avec une partie de l’énoncé mais pas avec la seconde. Par exemple, l’élève Ea raye « non créés par Dieu » sur le questionnaire avant de cocher la case « assez d’accord » pour les items T27 « les dinosaures, non créés par Dieu, ont disparu car leur environnement a changé à cause de catastrophes naturelles (météorite…) » et T29 : « les mammouths, non créés par Dieu, […] ».
  • les exemples de certains items, indépendants de la variable à tester, sont difficiles à comprendre. Par exemple, l’élève Ea commente le mot « météorite » des items T27 et T29. La réponse donnée « peu d’accord » n’est pas relative au fait qu’il reconnaisse peu un possible changement d’environnement pouvant expliquer l’évolution du vivant. Elle est relative à l’élément expliquant ce changement d’environnement (la météorite).
  • certains items sont reformulés par les élèves. Par exemple, l’élève Ea exprime un accord mitigé avec T28 « L’australopithèque a évolué en Homme en devenant intelligent » et propose une explication plus générale « l’Australopithèque n’a pas disparu mais s’est métamorphosé ». Les phrases introductives des items contextualisés sont difficiles à comprendre. Par exemple, l’élève Ea, n’est pas d’accord avec l’item T26, non pas avec l’idée de transformation de la girafe au cours de sa vie (allongement du cou), mais avec la phrase introductive de la situation en référence au Giraffokeryx.
  • certaines illustrations sont trop petites comme celle de l’item T26.

Analyse, conséquences pour la version suivante du questionnaire

28Les résultats aux tests de validité de contenu et de construction conduisent à quatre modifications majeures de UnRESt V1 (tableau 3, items d’une situation contextualisée) : séparation des concepts présents dans une même affirmation (pour 8 items dont l’item T26, tableau 3) ; amélioration de la précision des exemples (l’item T26, tableau 3) ; changement lexical avec homogénéisation des termes employés pour des affirmations identiques (pour 7 items) ; changement lexical avec une formulation plus directe, plus explicite (pour 3 items). En plus des modifications suggérées pour certains items du questionnaire, le résultat de l’interview avec le biostatisticien amène à avoir une réflexion sur les objectifs de connaissances ciblées par les items dans le questionnaire. Les items doivent être regroupés selon les connaissances ciblées et non selon les conceptions repérées dans des études précédentes. En effet, cela permet de définir des sous-domaines plus circonscrits, à la fois pour l’utilisation du coefficient α de Cronbach (cohérence interne), mais aussi pour permettre de dégager d’éventuelles nouvelles catégories de conceptions au moment d’une analyse multivariée des résultats (Coupaud, 2018). Le nombre de catégories d’items passe ainsi de 4 (conceptions retenues pour l’expérimentation 1) à 12 (connaissances exprimées dans le questionnaire de l’expérimentation 2).

29Situation 1 : de nos jours, les scientifiques pensent que le Giraffokeryx, qui vivait il y a des millions d’années et qui n’existe plus aujourd’hui, est l’ancêtre de la girafe actuelle. D’après toi, comment le Giraffokeryx et la girafe ont-ils évolué ?

Tableau 3 : exemple de modifications des items de la situation 1 testant les connaissances ciblées par des items dans le questionnaire version 2

Sous-dimensions pour le questionnaire V2 Items modifié pour le questionnaire V2 et modifications apportées si item déjà présent dans V1 [en gras]
antiE3 (A26) Le giraffokeryx et la girafe n’ont pas évolué au cours du temps.
Le giraffokeryx et la girafe ont été créés par Dieu. Ils n’ont pas évolué.
att1(T26) Le giraffokeryx s’est métamorphosé en girafe en allongeant son cou pour attraper sa nourriture.
Le giraffokeryx, non créé par Dieu, a évolué en girafe en allongeant son cou pour attraper sa nourriture.
di1 (F26) Le giraffokeryx s’est transformé en girafe grâce à l’intervention de Dieu.
Le giraffokeryx, créé par Dieu, a évolué en girafe.
sn1 (E26) Les giraffokeryx avec les cous les plus longs ont pu se reproduire entre eux et évoluer en girafe. Aucune modification
tps1 (nouvel item) Il a fallu un temps très long pour que les giraffokeryx évoluent en girafes.

3.2. Expérimentation 2

Construction du questionnaire UnRESt V2 et conditions de passation

30Suivant les résultats précédents, un nouveau travail de revue de littérature est réalisé pour redéfinir les fondements épistémologiques des dimensions d’analyse a priori : passage à une structuration selon 4 conceptions à une structuration selon 12 connaissances. La section A du questionnaire UnRESt V2 présente 35 items : 20 items et 3 séries d’items contextualisés autour de trois exemples d’animaux (le giraffokeryx, tableau 3, l’Homme et le mammouth). Une trentaine d’élèves (31) en classe de 6e (même collège mais pas mêmes élèves que pour l’expérimentation 1) ont renseigné UnRESt V2.

Mise à l’épreuve et résultats

31La mise à l’épreuve du questionnaire UnRESt V2 est à nouveau réalisée par des mesures de validité et fiabilité. Nous proposons ici de détailler l’évaluation de fiabilité s’appuyant sur un calcul du coefficient de corrélation α de Cronbach pour estimer la cohérence interne. Nous avons réalisé des calculs pour chaque catégorie d’items présentée dans le tableau 4. Les résultats suggèrent que les items des catégories « Origine divine des espèces » et « Plan divin, espèces préprogrammées » testent un même construit, autrement dit une même sous-dimension. Pour la catégorie « origine commune des espèces », les coefficients α calculés diffèrent selon les exemples utilisés (espèce actuelle, espèce disparue, Homme), indiquant que les items relatifs à l’Homme (origC3 et origC4) ne semblent pas mesurer de facteurs communs ceux relatifs aux espèces actuelles ou disparues (origC1 et origC2).

Tableau 4 : résultats des valeurs α de Cronbach pour chaque catégorie d’items du questionnaire version 2

Connaissances ciblées par des items dans le questionnaire
(sous-dimensions)
Test de cohérence interne (α de Cronbach)
α global α après suppression d’items
Origine divine des espèces 0,97 /
Plan divin, espèces préprogrammées 0,88
Métamorphose des êtres vivants 0,52 0,69 si suppression de tous les items sauf meta1/meta2/meta3
Origine commune des espèces 0,45 0,61 si suppression de tous les items sauf origC3/origC4
Sélection naturelle, contingence < 0,4 Reste < 0,4 quels que soient les items supprimés dans chaque catégorie
Apparition de nouvelles espèces
Extinction des espèces
Temps long
Amélioration des espèces, progrès
Pas d’évolution possible
Adaptation par usage de l’attribut
Rôle 1er de l’environnement, catastrophes

Analyse, conséquences pour la version suivante du questionnaire

32Les résultats révèlent l’importance de l’exemple associé au contexte de l’item. Cela renforce la nécessité, pour chaque sous-dimension, de décliner les items selon trois exemples : espèce disparue, espèce actuelle et Homme. Pour UnRESt V3, nous développons au moins deux items pour chaque exemple et chaque catégorie. Ainsi, pour la version finale du questionnaire, nous pourrons choisir l’item à enlever à partir des valeurs de cohérence interne obtenues. Pour les 12 catégories à tester, 6 items sont construits en s’appuyant sur des traductions d’items dans des concept inventories existants : MATE, centré sur l’acceptation de l’évolution (Rutledge & Sadler, 2007), CINS, centré sur le concept de sélection naturelle (Anderson, Fisher & Norman, 2002) et BEL, adressant plus généralement l'évolution du vivant (Yates & Marek, 2015) (tableau  5 pour les items de la situation contextualisée). D’après les études de Cunningham & Wescott (2009) et de Rutledge & Sadler (2007), l’idée que l’évolution du vivant ne peut s’expliquer par aucune raison, renvoyant à une conception purement aléatoire des mécanismes explicatifs de l’évolution est ajoutée (e.g., pr1, tableau 5). Certains étudiants acceptant l'évolution du vivant peuvent ne pas comprendre le fonctionnement de ses mécanismes (Cunningham & Wescott, 2009). Ainsi, quatre modifications majeures ont été faites pour ancrer les items dans des exemples précis : modification des items avec changement d’exemple pour reprendre les mêmes exemples d’un sous-domaine à un autre (11 items) ; création de nouveaux items à partir de concept inventories existants (40 items) ; création de nouveaux items et suppressions des items ne s’appuyant pas sur un animal (espèce actuelle ou disparue) (15 items). Nous avons également uniformisé les items en fonction de l’échelle (population ou individu) à laquelle ils font référence.

33Le coefficient α de Cronbach calculé pour chaque sous-dimension met en évidence des corrélations ou des absences de corrélations entre items qui guide le travail du chercheur pour réviser le questionnaire. L’ajout des nombreux items au questionnaire après l’analyse de UnRESt V2, est guidé par les résultats des coefficients α de Cronbach calculés pour chaque sous-dimension. Plus globalement, le travail successif de manipulation des données, qui se réalise dans le calcul de l’α de Cronbach pousse le questionnement plus loin dans l’élaboration du questionnaire. Quelle est l’influence de la position des items dans le questionnaire sur la façon de se positionner des élèves ? Comment repérer facilement des questionnaires remplis de manière aléatoire par certains élèves ? Comment aider à repérer des erreurs de saisie des réponses (au moment du codage des données) ?

34Nous verrons comment ces questions ont été considérées dans UnRESt V3.

3.3. Expérimentation 3

Construction du questionnaire UnREsT V3 et conditions de passation

35Le questionnaire utilisé dans cette dernière étape d’expérimentation a été considérablement élargi (tableau 5).

36Situation 1 : E65. De nos jours, les scientifiques pensent que le giraffokeryx, qui vivait il y a des millions d’années et qui n’existe plus aujourd’hui, est l’ancêtre de la girafe actuelle. L’une des différences principales entre ces deux êtres vivants est la longueur de leur cou. Un long cou permet d’attraper la nourriture en hauteur dans les arbres. D’après toi, comment le long cou de la girafe actuelle a-t-il pu apparaître ?

Tableau 5 : exemples de modifications des items de la situation 1 contextualisée testant les connaissances ciblées par des items dans le questionnaire version 3

Sous-dimensions pour le questionnaire V3 et origine de l’item Items du questionnaire V3
att1
CINS - question 6a
À force de tirer sur son cou pour attraper la nourriture située dans les arbres, un giraffokeryx a eu le cou plus long. Puis, il a transmis ce long cou à ses petits.
sn1
CINS - Question 6b
Lorsque des girafes ont eu une longueur de cou adaptée pour attraper la nourriture disponible dans les arbres, elles ont été avantagées et ont eu plus de girafons.
al5
CINS - question 6b
Par hasard, un giraffokeryx est né avec un cou plus long.
env2
CINS - question 6c
C’est l’apparition de nourriture en hauteur dans les arbres qui a déterminé l’apparition de girafes à long cou.
di2
BEL - IE2 question 7 + dia
Les girafes existent aujourd’hui avec un long cou car c’était leur destinée.
tps2 MATE – Question 1 + tps1b Il a fallu un temps très long pour que les girafes apparaissent sur Terre avec un long cou.
pr1 Nouvel item Il n’y a aucune raison particulière qui explique que les girafes aient un long cou.
a. Item di : « Le giraffokeryx s’est transformé en girafe grâce à l’intervention de Dieu ».
b. Item tps 1 : « Il a fallu un temps très long pour que les giraffokeryx évoluent en girafes ».
  • 1 Notons qu’un item a été doublé dans le questionnaire (OrigD2 : Les hommes ont été créés par Dieu) (...)

37UnRESt V3 teste 14 sous-dimensions avec 6 items par dimension et 1 item doublé1. Il compte donc 85 items : 64 items et 3 séries d’items contextualisés autour de trois exemples d’animaux (la girafe [tableau 5], l’Homme et les mammouths). Plus d’une centaine d’élèves (120) participent à cette expérimentation 3. Les élèves interrogés sont issus de deux collèges différents possédant le même profil et assez proche géographiquement. Le questionnaire UnRESt visant quatre niveaux de collège, nous réalisons l’expérimentation auprès des deux niveaux extrêmes, soit 56 élèves de troisième (issus du collège des expérimentations 1 et 2) et 63 élèves de sixième provenant de l’autre collège.

Mise à l’épreuve et résultats

38Suite à la phase 2, plusieurs versions intermédiaires du questionnaire, avec modifications mineures pour préciser des formulations d’items, ont été soumises, en entretien, à des élèves et deux chercheurs en biologie de l’évolution (validité de construction et de contenu). Dans cette partie, nous nous intéressons au questionnaire soumis aux 120 élèves (UnRESt V3) et à l’analyse statistique menée pour estimer la fiabilité en matière de cohérence interne. Le nombre d’items développé dans cette version est plus important que ceux utilisés dans les deux premières expérimentations. Cette analyse vise à repérer des items à supprimer pour diminuer la taille du questionnaire. Pour cela, nous avons notamment questionné la position des items dans le questionnaire ainsi que le nombre d’items qu’il ne faudrait idéalement pas dépasser. Trois hypothèses sur l’effet du positionnement des items sont émises : (1) la première liste de 64 items non contextualisés est trop longue, les élèves se positionnent différemment sur les derniers items ; (2) Les dix premiers items, ne sont pas opérants dans la saisie du questionnaire, il faut quelques items de mise en condition ; (3) Les items contextualisés ont de meilleurs résultats que ceux qui ne le sont pas. Ainsi nous avons vérifié que les derniers items ne faisaient pas chuter la valeur de l’α de Cronbach, ce qui indiquerait des réponses incohérentes particulièrement sur ces derniers items. Afin de tester les deux premières hypothèses, nous isolons les items qui provoquent une chute de la valeur α globale, indiquant des réponses incohérentes. Nous regardons ensuite leur position dans le questionnaire. Pour tester la troisième hypothèse, nous étudions les catégories possédant des items isolés et des items contextualisés. Nous comparons les valeurs α de Cronbach calculées pour ces types d’items avec la valeur globale de la catégorie étudiée. Pour l’ensemble des tests réalisés, nous cherchons une tendance. Nous admettons que l’hypothèse est plutôt validée si elle se vérifie dans plus de 50 % des cas.

  • 2 Item tps6 : « Il a fallu un temps très long pour que les mammouths disparaissent ».
  • 3 Item tps4 : « Les Hommes actuels sont apparus sur Terre en peu de temps ».
  • 4 Item tps3 : « Il a fallu un temps très long pour que les Hommes actuels possèdent de longues jambe (...)

39Les valeurs α de chaque catégorie d’items, majoritairement supérieures à celles obtenues pour UnRESt V2, révèlent une amélioration de la fiabilité (au moins sur la cohérence interne) du questionnaire. Avec une valeur α inférieure à 0,7, certains items ont dû être retravaillés (tableau 6). Par exemple, pour la catégorie « temps longs », les calculs d’α semblent indiquer que tps62 (item non contextualisé, espèce disparue) est moins lié aux autres items de cette catégorie. Les réponses des 120 élèves à l’item tps43 (non contextualisé, Homme) sont moins discriminantes que celles de l’item tps34 (contextualisé, Homme). Le choix est donc fait de ne conserver que les trois items contextualisés (girafe, Homme et mammouths) pour la version suivante du questionnaire.

Tableau 6 : résultats des valeurs α de Cronbach pour chaque catégorie d’items du questionnaire 3 et influences sur le questionnaire final

Connaissances ciblées par des items dans le questionnaire
(codage des items)
Test de fiabilité (α de Cronbach) Décision pour le questionnaire final
α global α après suppression d’items
Apparition de nouvelles espèces (newE) 0,22 0,55 avec newE3, newE4 Garder newE3 et newE4
Temps long (tps) 0,53 0,60 sans tps6 Supprimer tps6 (non contextualisé) et garder les items contextualisés
Pas d’évolution possible (antiE) 0,4 / Formulation plus explicite à trouver
Extinction des espèces (ext) 0,47 0,75 avec ext2,3 Garder ext2 (espèce actuelle) et ext3 (Homme), et reformuler un item espèce disparue suivant ext2 et ext3
Rôle 1er de l’environnement (env) 0,40 / Garder les items contextualisés

40Afin d’illustrer notre démarche, nous présentons uniquement les résultats associés à la première hypothèse, menée autour du positionnement des items (annexe 2) attachés aux catégories possédant une valeur α de Cronbach inférieure à 0,7. L’annexe 2 présente les valeurs α des catégories, avec et sans les derniers items non contextualisés (au-delà des deux tiers, soit les items 43 à 64). Si la valeur α de la catégorie sans l’item est proche ou supérieure à la valeur globale de la catégorie, le test est considéré comme validé. Cela indique que la fiabilité de l’item peut être considérée neutre (pas plus pas moins fiable) par rapport à celle des autres items de cette catégorie. Alors qu’une valeur α inférieure indique que l’item est fiable pour la dimension et par conséquent que l’élève était suffisamment opérant pour y répondre. Plus de la moitié des tests réalisés sont validés. Au regard de ces résultats, nous ne pouvons pas rejeter l’hypothèse (1) : la position de l’item influence la réponse de l’élève. Une démarche similaire est utilisée pour les items positionnés en début de questionnaire et les items contextualisés.

Analyse, conséquences pour la version suivante du questionnaire

  • 5 Item prog4 : « Les Hommes actuels sont les êtres vivants les plus perfectionnés sur Terre » (tradu (...)
  • 6 Item meta3 : « L’Homme descend du singe ».

41Les analyses précédentes ne mettent pas en évidence une influence de la position des items sur les réponses des élèves. En revanche, les items contextualisés semblent produire des résultats plus cohérents. Ces résultats guident les choix pour réduire le nombre d’exemples pour chaque sous-dimension (un seul par contexte : espèce actuelle, espèce disparue, Homme). 42 items de UnRESt V3 sont donc conservés ou adaptés et en particulier les items contextualisés. Pour les catégories ne possédant pas d’items contextualisés (origC, oriD, newE, meta, ext, prog, antiE), différentes stratégies sont utilisées de manière conjointe : (1) repérage des items augmentant la valeur α de Cronbach de la catégorie testée, (2) repérage des items donnant des réponses plus discriminantes (e.g., tps6) pour une majorité des élèves de l’échantillon (120 élèves), (3) préférence donnée aux items proches des formulations d’élèves lors des entretiens, (4) préférence donnée aux items adaptés d’autres questionnaires (e.g., prog45), ou (5) à forte valeur épistémologique (e.g., meta36).

3.4. UnRESt, le questionnaire final ?

Conditions de mise à l’épreuve du questionnaire UnRESt

42Le travail mené pour estimer la validité et la fiabilité pour UnRESt V3 indique une amélioration par rapport aux deux premières expérimentations. Ces indicateurs permettent de penser qu’après les modifications apportées, le questionnaire UnRESt peut être considéré comme suffisamment fiable et valide pour être proposé à plus grande échelle. UnRESt a été soumis à plus de 2 000 élèves dans 10 collèges (Coupaud, 2018). En revanche, cela ne veut pas dire que notre vigilance a été levée. Les coefficients de Cronbach α calculés sur l’échantillon de plus de 2 000 élèves pour chaque catégorie d’items sont supérieurs à 0,7. Pour les deux items doublés dans le questionnaire, les réponses sont corrélées significativement d’après le test de significativité effectué sur le coefficient de corrélation de Pearson (coefficient 0.842, p-value inférieure à 5 %). Enfin, nous avons estimé la fidélité du questionnaire UnRESt, en faisant remplir deux fois le questionnaire à une centaine d’élèves (classes de 6e, 5e, 4e) selon une modalité test-retest, avec un mois d’intervalle entre chaque passation. Ce temps devrait être suffisamment long pour que les élèves ne se souviennent pas des réponses données et suffisamment court pour limiter une influence éventuelle de nouveaux enseignements de biologie. Cette assomption est évidemment discutable : d’autres facteurs peuvent influencer les réponses des élèves à un même questionnaire. La corrélation entre deux échantillons est testée par le test de Pearson, courant en didactique des sciences (e.g., Nadelson & Southerland, 2012 ; Rutledge & Sadler, 2007). Contrairement à d’autres tests statistiques (comme celui de Fischer), le test de Pearson se propose de tester deux hypothèses : l’hypothèse H0, il existe une corrélation entre deux variables et une contre hypothèse H1, la corrélation n’existe pas (Bourque, Blais & Larose, 2009). Les « deux hypothèses se doivent d’être exhaustives et mutuellement exclusives, de sorte que le rejet de l’une implique l’acceptation de l’autre, et vice-versa » (ibid., p. 213). Le risque d’erreur exprimé en pourcentage lié à la validation d’une de ces hypothèses est fixé a priori par le chercheur. Le coefficient de corrélation calculé (de -1 à 1) renseigne sur le degré de corrélation qui existe entre deux variables. Plus ce coefficient est proche des extrêmes, plus la corrélation linéaire mesurée est forte. Lorsque la valeur est proche de 0, les variables ne sont pas corrélées. Nous considérons les deux passations comme étant deux études différentes. Chaque item est traité comme deux variables : une, pour la première passation et une autre, pour la deuxième. La significativité statistique du lien est mesurée par une p-value inférieure à 5 % (définie a priori). Nous pouvons conclure que les réponses des élèves sont statistiquement similaires, et ne sont pas aléatoires.

Résultats de la fiabilité du questionnaire UnRESt

43Ainsi, les résultats au test de significativité effectué sur le coefficient de corrélation de Pearson (coefficient de 0,84), à partir des réponses recueillies lors de ce test-retest nous ont permis de considérer le questionnaire UnRESt comme probablement stable dans le temps. Enfin, la fiabilité du questionnaire est estimée dans l’usage (notamment par la qualité des résultats d’analyses multivariées). Dans notre cas, les différentes analyses effectuées pour estimer la validité et la fiabilité du questionnaire dans sa version finalisée, n’ont pas remis en cause son usage et les résultats que l’on a pu recueillir auprès de plus de 1 500 élèves (Coupaud, 2018).

4. Discussion

44Il n’est pas facile de rendre compte de la multitude d’étapes qui précèdent l’élaboration d’un questionnaire tel que celui que nous proposons dans cet article. Pour illustrer notre démarche, nous nous sommes arrêtés sur trois versions du questionnaire, et avons détaillé certaines des analyses effectuées pour le faire évoluer. Mais d’autres versions intermédiaires ont aussi fait l’objet d’analyses, de discussions pour orienter nos choix avec des allers-retours entre un cadre didactique et un cadre psychométrique (figure 1). Dans le contexte méthodologique d’un questionnaire fermé pour recueillir des données sur les connaissances d’élèves, ce travail laborieux, précédant le recueil, est essentiel pour rendre les données signifiantes. Pour le dire simplement, les données recueillies à partir de croix dans des cases laissent peu de marge d’interprétation au chercheur, mais ouvrent la possibilité d’un très grand nombre de répondants. Ainsi, les questionnaires raturés, remplis aléatoirement n’apportent pas d’informations exploitables et sont écartés de l’échantillon (2 039 questionnaires remplis pour 1 634 exploitables dans l’étude de Coupaud, 2018). Dans une telle méthode de recherche, la majeure partie du travail d’interprétation et de choix du chercheur se situe, en amont, dans la conception elle-même du questionnaire à réponses fermées.

45L’objectif de cet article était de mettre au jour ce travail de développement du questionnaire dans le cadre de notre étude. Dans la littérature scientifique utilisant des questionnaires, cette étape est généralement mentionnée brièvement avec quelques données statistiques à l’appui pour valider le questionnaire (Taber, 2018). C’est sur cette base que nous proposons de discuter les tensions, contraintes et points d’appui rencontrés lors de ce travail de conception, et leurs conséquences quant à la nature des résultats qu’un tel questionnaire peut produire.

4.1. Une rédaction d’items en tension entre savoir visé et formulations d’élèves

46Nous engageons d’abord une discussion d’ordre didactique vis à vis du positionnement difficile à tenir lors de la rédaction d’items qui correspondent à des propositions d’idées sur lesquelles les élèves se positionnent plus ou moins en accord. Nous retenons deux niveaux de tension. Le premier se situe du côté des élèves. Nous avons travaillé à partir d’items qui reprennent des formulations d’élèves pour être au plus proche de ce qu’un élève peut formuler, mais en même temps, dans laquelle un plus grand nombre doit se reconnaître. Ce travail prend en compte à la fois la diversité des formulations de chacun des élèves, et en même temps propose une formulation unique accessible à tous. Nous avons cherché à montrer comment les compromis se sont construits, dans une démarche ascendante, en soumettant successivement les items à un nombre de plus en plus important d’élèves pour repérer ce qui définit la norme pour ces élèves. En revanche, pour permettre la rédaction des premiers items, nous nous sommes appuyés sur un cadre d’analyse a priori défini par des catégories de conceptions, et en particulier celle de Fortin (2010), pour guider le nombre et le contenu des items du questionnaire V1 (tableau 2). En effet, le questionnaire fermé implique nécessairement des choix quantitatifs (nombre d’items et donc nombre d’idées proposées aux élèves) qui conduisent à une réduction des données en un nombre de catégories définies (Santini, 2009). Du coup, une telle approche n’est possible qu’à partir du moment où il existe déjà suffisamment de travaux de recherche reposant sur d’autres méthodologies pour repérer un ensemble de conceptions et leur récurrence d’une recherche à une autre (Santini, 2009 ; Clément, 2010).

47Pour autant, nous nous sommes vite détachés d’un cadre d’analyse associé à des catégories de conceptions a priori pour privilégier un cadre ancré dans une analyse du savoir avec en arrière-plan ce qui peut faire obstacle à la compréhension de ce savoir (tableau 1). Ce choix a été fait, en particulier, dans l’idée que de nouvelles catégories de conceptions pourraient émerger des analyses multivariées des données recueillies par le questionnaire UnRESt. Dans le développement des items nous identifions un deuxième niveau de tension du côté du savoir. Le recours à des items, plutôt que des situations complexes ouvertes, nécessite de décomposer ce savoir en énoncés courts et élémentaires dans le sens où ils ne devraient renvoyer qu’à une seule idée à la fois. Ce travail de décomposition du savoir est d’autant plus délicat lorsqu’il renvoie à un concept multidimensionnel comme celui de l’évolution du vivant. À vouloir, tourner, retourner, découper, différentes formulations d’items, il est facile de se perdre. Les analyses successives menées nous ont permis de cadrer le travail et de repérer des erreurs dans les versions intermédiaires du questionnaire, erreurs qui peuvent sembler évidentes a posteriori. Les entretiens avec les élèves ont montré que lorsqu’un énoncé comporte plusieurs idées, les élèves ont du mal à se positionner et à repérer l’idée principale. Ils peuvent se focaliser sur un détail de l’énoncé dont le sens prend le dessus, ou un exemple qui limite le contexte d’application de l’énoncé. Par ailleurs, le questionnaire est tributaire d’effets de contrat, comme toute tâche scolaire. Ainsi, le chercheur se projette sur un sens a priori dans l’énoncé, mais les répondants, de leur côté entrent dans une interprétation de la tâche attendue. Ils peuvent effectivement exprimer leur accord ou non avec le savoir porté par un énoncé, mais peuvent aussi chercher à interpréter ce qui est attendu d’eux dans cette tâche. Ainsi, lors des entretiens, le chercheur biostatisticien a dit plusieurs fois « je comprends ce que vous cherchez avec cette phrase... » exprimant ainsi des implicites qu’il a repéré dans l’item. Nous pouvons considérer qu’une grande partie du travail de rédaction des items consiste à lever des implicites et faire des compromis entre différents « idéaux » qui s’opposent : un item idéal car reprenant une formulation d’élève, un item idéal car exhaustif du point de vue du savoir auquel il se rapporte, un item idéal car relevant de phrases types faisant référence à telle ou telle conception de l’évolution, etc. Il n'existe pas pour cela de modèle à suivre et à appliquer étape par étape, et ces compromis s’éloignent forcément d’un item idéal. Ces choix sont orientés par la problématique de recherche qu’il ne faut pas perdre de vue dans l’élaboration du questionnaire. Dans notre cas, il s’agissait d’explorer les relations entre le positionnement des élèves sur l’évolution et leur positionnement sur le hasard. Mais ces choix doivent aussi être outillés pour chercher le sens que prennent ces compromis pour les répondants, et en particulier si un sens partagé entre plusieurs individus se dégage. C’est à ce niveau qu’il est intéressant d’avoir recours à des outils statistiques.

4.2. Une révision des items guidée par des outils statistiques

48Ainsi notre deuxième point de discussion considère la place et le rôle des outils statistiques mobilisés dans le développement du questionnaire UnRESt. Mbengue (2010) précise que « l’inférence statistique ne conduit jamais à des jugements certains mais, au contraire, uniquement à des jugements plus ou moins probables » (p. 102). Ainsi, dans ce que nous avons présenté, nous avons cherché à repérer la probabilité que des items soient liés au sein d’une catégorie, en nous appuyant sur le calcul de coefficient α de Cronbach. Il ne s'agissait pas de juger de la fiabilité à toute épreuve du questionnaire UnRESt pris dans sa globalité, mais bien de guider le travail de révision du questionnaire et d’orienter les choix du chercheur.

49Pourtant, il a bien été nécessaire à un moment donné de porter un jugement, que nous voulions suffisamment confiant pour passer à une autre échelle pour la passation d’UnRESt. Au-delà des contraintes temporelles qui poussent à arrêter le travail sans fin de révision du questionnaire, il nous a fallu des indicateurs pour considérer que le questionnaire était suffisamment fiable et valide pour être proposé à un grand nombre d’élèves de collège. Pour cela, nous avons admis des coefficients α de Cronbach supérieur à 0,7 pour chaque catégorie du questionnaire UnRESt final. Le coefficient α de Cronbach constitue un indicateur important qu’il nous semble regrettable de sous-estimer même si nous partageons les critiques fortes de son usage abusif (Taber, 2018 ; Laveault, 2012). En effet, d’autres outils statistiques semblent prometteurs (comme les indices de type ω). De plus, en cas d’usage de coefficients α de Cronbach, il faut être vigilent avec un questionnaire testant de multiples variables. Un coefficient α calculé pour des questions renvoyant à différentes dimensions a tendance à être élevé, et n’indique pas sa fiabilité (Taber, 2018). De notre côté, il nous semble surtout que le recours à un test unique (annoncer le coefficient α de Cronbach comme unique indicateur de fiabilité d’un questionnaire) n’est pas suffisant pour considérer qu’un questionnaire est « utilisable ». Il s’agit avant tout de croiser les approches qualitatives et quantitatives pour mettre à l’épreuve la fiabilité et la validité de versions successives d’un questionnaire. Pour autant, comme le précise Mbengue (2010), pour tout questionnaire, il sera probable qu’il soit fiable et valide dans le cadre choisi, mais l’analyse des résultats produits par le questionnaire nécessite une vigilance de la part du chercheur. Tavakol & Dennick (2011) insistent sur l’importance d’estimer les valeurs du coefficient α de Cronbach pour chaque nouvel échantillon de répondants, car α est une propriété des scores obtenus pour un échantillon donné. D’une manière générale, il convient de garder un regard critique sur le travail effectué afin d’éviter des conclusions incohérentes.

4.3. Un questionnaire à faire évoluer

50Les incertitudes que nous formulons à propos d’UnRESt sont inhérentes à tout questionnaire nouvellement créé. Ainsi, nous avons, pour des raisons de présentation, choisi d’utiliser le syntagme « questionnaire final » pour qualifier la version du questionnaire UnRESt utilisée à plus grande échelle (Coupaud, 2018). Néanmoins, il est fort probable que celui-ci continue d’évoluer en fonction des résultats obtenus lors de futures recherches, ainsi que des questions de recherche pour lesquelles il est utilisé. Le travail de Bogner sur les attitudes d’acteurs de l'éducation à propos de l'environnement (questionnaire 2-MEV) est une parfaite illustration de ce travail au long cours. Les premières versions du questionnaire développées dans les années 1990 (Bogner & Wilhelm, 1996 ; Bogner & Wiseman, 1999) se basaient sur des travaux d’autres chercheurs (e.g., Dunlap & Van Liere, 1978 ; Thompson & Barton, 1994) puis le questionnaire n’a cessé d’évoluer. Aujourd’hui encore, des versions différentes continuent de se développer et sont utilisées et testées dans des contextes différents (e.g., Borchers et al., 2014 ; Castéra et al., 2018 ; Schneller, Johnson & Bogner, 2015).

51Finalement, la question est de savoir quel est l’intérêt de développer de tels questionnaires alors même que cela constitue un travail long et pour lequel, la validité et la fiabilité pourra toujours faire l’objet de critiques ? Un tel questionnaire est adapté à certaines questions de recherche avec des visées exploratoires, en particulier lorsque les questions nécessitent de croiser plusieurs variables pour un échantillon important de répondants. De notre côté, une partie de la réponse à cette question se trouve dans les résultats eux-mêmes, produits par le questionnaire. Même si nous ne pouvons pas les développer ici, ils ont permis sur un échantillon de plus de 1 500 élèves, d’effectuer des analyses multivariées qui ont fait sens. Par exemple, ils ont mis en évidence une corrélation entre le positionnement des élèves sur des items liés aux mécanismes explicatifs de l’évolution du vivant et sur des items liés aux phénomènes aléatoires dans la vie quotidienne. Nous pouvons penser que les élèves capables de mobiliser cette idée de l’aléatoire du hasard accèdent plus facilement à une pensée évolutionniste. De tels résultats mériteraient d’être explorés dans un cadre de pratiques de classe.

52Un autre élément de réponse correspond à notre motivation a priori, à savoir la dimension quantitative des résultats auprès d’un large échantillon, permise par la relative facilité de passation du questionnaire. Les résultats obtenus nous ont semblé à la hauteur de l’effort apporté pour développer UnRESt.

53L’essentiel de notre réflexion méthodologique dans cet article s’est centré sur le travail d’analyse, qui dans le cas d’un questionnaire fermé de type concept inventory se fait a priori, au moment de son développement. Ainsi, une grande partie d’interprétation est faite en amont et intégrée dans le questionnaire lui-même. Ce travail permet de produire un questionnaire utilisable pour d’autres recherches et dans d’autres équipes de chercheurs. Au-delà des résultats qu’ils peuvent produire, le développement de tels questionnaires participe à un capital, en termes de méthode de recherche, que d’autres chercheurs peuvent s’approprier pour leurs propres recherches, sans avoir à repasser par toutes les étapes de développement. Cela peut faciliter davantage de travaux qui croisent une approche ex situ avec un questionnaire déjà existant, et une approche in situ dans l’observation de situations d’enseignement-apprentissage (Santini, 2009). Par ailleurs, comme c’est le cas pour certains concept inventories, un questionnaire comme UnRESt, avec les outils d’analyse associés, pourrait être adapté pour des enseignants afin de faciliter le repérage des conceptions de leurs élèves dans l’élaboration et la mise en œuvre de leur enseignement.

Top of page

Bibliography

ANDERSON D.L., FISHER K.M. & NORMAN G. J. (2002). Development and Evaluation of the Conceptual Inventory of Natural Selection. Journal of Research of Science Teaching, vol. 39, no 10, p. 952-978.

BACHELARD G. (1938), La formation de l'esprit scientifique. Contribution à une psychanalyse de la connaissance objective. Paris : Librairie philosophique J. Vrin [5e éd., 1967].

BOGNER F. X. & WILHELM M. G. (1996). Environmental perspectives of pupils: the development of an attitude and behaviour scale. Environmentalist, vol. 16, no 2, p. 95-110.

BOGNER F. X. & WISEMAN M. (1999). Toward Measuring Adolescent Environmental Perception. European Psychologist, vol. 4, no 3, p. 139-151. En ligne :<https://doi.org/10.1027//1016-9040.4.3.139>.

BORCHERS C., BIESCH C., RIEDEL J., GUILAHIUX H., OUATTARA D. & RANDLER C. (2014). Environmental education in Côte d'Ivoire/West Africa: Extra-curricular primary school teaching shows positive impact on environmental knowledge and attitudes. International Journal of Science Education, Part B, vol. 4, no 3, p. 240-259.

BOURQUE J., BLAIS J. & LAROSE F. (2009). L’interprétation des tests d’hypothèses : p, la taille de l’effet et la puissance. Revue des sciences de l'éducation, vol. 35, no 1, p. 211-226.

BRESSOUX P. (dir.). (2010). Modélisation statistique appliquée aux sciences sociales. Bruxelles : De Boeck.

CASTÉRA J. (2010). Enjeux de l’enseignement de la génétique humaine. Ses représentations dans les manuels scolaires et chez les enseignants, dans 19 pays. Thèse de doctorat en sciences de l’éducation, Lyon : université Claude-Bernard Lyon 1.

CASTÉRA J., CLÉMENT P., MUNOZ F. & BOGNER F. X. (2018). How teachers' attitudes on GMO relate to their environmental values. Journal of Environmental Psychology, no 57, p. 1-9. En ligne : <https://doi.org/10.1016/j.jenvp.2018.04.002>.

CLÉMENT P. (2010). Conceptions, représentations sociales et modèle KVP. Skholê. Cahiers de la recherche et du développement, no 16, p. 55-70.

COHEN L., MANION L. & MORRISON K. (2013). Research Methods in Education. New York : Routledge.

CONVERSE P. E. (2006). The nature of belief systems in mass public. Critical Review, vol. 18, no 1-3, p. 1-74.

COQUIDÉ M. (2009). Compréhension et repérage des conceptions des élèves de primaire, de collège et de lycée concernant l’évolution des vivants. In M. Coquidé & S. Tirard (dir.), L’évolution du vivant, un enseignement à risque ?, Paris : Vuibert, p. 122-124.

COUPAUD M. (2018). Évolution du vivant et hasard : étude quantitative des conceptions d’élèves de collège dans le contexte français. Thèse de doctorat en sciences de l'éducation, Marseille : université Aix-Marseille.

COUPAUD M., CASTÉRA J., LARINI M. & DELSERIEYS A. (2015a). Méthode d’analyse statistique exploratoire pour une étude comparative sur les représentations de la démarche d’investigation d’enseignants de collège. Review of Science, Mathematics and ICT Education, vol. 9, no 2, p. 99-114.

COUPAUD M., DELSERIEYS A., JÉGOU C. & BRANDT-POMARES P. (2015b). Pupils’ conceptions of biological evolution throughout secondary school in France. Communication présentée à la conférence d’ESERA 2015, Finlande.

COUPAUD M., DELSERIEYS A., JÉGOU C., AGOSTINI M. & BRANDT-POMARES P. (2016). Idées des élèves sur le hasard lors de discussions à visée philosophique. Educational Journal of the University of Patras UNESCO Chair, vol. 3, no 2, p. 340-349.

CRÉPIN P. (2002). Des conceptions initiales aux systèmes explicatifs des élèves de l’école primaire sur l’origine des espèces. Grand N, no 70, p. 101-122.

CRONBACH L. J. (1951). Coefficient alpha and the internal structure of tests. Psychometrika, vol. 16, no 3, p. 297-334.

CUNNINGHAM D. L. & WESCOTT D. J. (2009). Still More « Fancy » and « Myth » than « Fact » in Students’ Conceptions of Evolution. Evolution: Education and Outreach, no 2, p. 505-517.

D’AVANZO C. (2008). Biology Concept Inventories: Overview, Status, and Next Steps. BioScience, vol. 58, no 11, p. 1079-1085.

DEVON H. A., BLOCK M. E., MOYLE-WRIGHT P., ERNST D. M., HAYDEN S. J., LAZZARA D. J., SAVOY S. M. & KOSTAS-POLSTON E. (2007). A psychometric Toolbox for testing Validity and Reliability. Journal of Nursing scholarship, vol. 39, no 2, p. 155-164.

DUNLAP R. E. & VAN LIERE K. D. (1978). The « new environmental paradigm ». The Journal of Environmental Education, vol. 9, no 4, p. 10-19.

FORTIN C. (2010). L’évolution à l’école : créationnisme contre darwinisme ? Paris : Armand Colin.

GOBERT J. (2014). Processus d'enseignement-apprentissage de raisonnements néodarwiniens en classe de sciences de la vie et de la Terre. Thèse de doctorat en sciences de l’éducation, Caen : université de Caen Basse-Normandie.

GUREL D.K., ERYILMAZ A., & MC DERMOTT L.C. (2015). A Review and Comparison of Diagnostic Instruments to Identify Students’Misconceptions in Science. Eurasia Journal of Mathematics, Science & Technology Education, vol. 11, no 5, p. 989-1008.

JÉGOU-MAIRONE C. (2011). Des élèves de 9-12 ans de l’école primaire française et l’évolution des espèces vivantes. Review of Science, Mathematics and ICT Education, vol. 5, no 1, p. 81-96.

LAVEAULT D. (2012). Soixante ans de bons et mauvais usages du alpha de Cronbach. Mesure et évaluation en éducation, vol. 35, no 2, p. 1-7.

LECOINTRE G. (2014). L’évolution. Question d’actualité ? Versailles : Éd. Quae.

LINDELL R. S., PEAK E. & FOSTER T. M. (2007). Are they all created equal? A comparison of different concept inventory development methodologies. AIP conference proceedings 883, Syracuse, New York, p. 14-17. En ligne :<https://doi.org/10.1063/1.2508680>.

MUNOZ F. & CLÉMENT P. (2007). Des méthodes statistiques originales pour analyser les conceptions d'enseignants de plusieurs pays à partir d’un questionnaire sur des questions vives. Actes Colloque AREF (Actualité de la recherche en éducation et en formation), Strasbourg, no 470.

MBENGUE A. (2010). Faut-il brûler les tests de signification statistique ? M@n@gement, vol. 2, no 13, p. 100-127.

NADELSON L. S. & SOUTHERLAND S. (2012). A More Fine-Grained Measure of Students' Acceptance of Evolution: Development of the Inventory of Student Evolution Acceptance. International Journal of Science Education, vol. 34, no 11, p. 1637-1666.

OCDE (2016). PISA 2015 Assessment and Analytical Framework: Science, Reading, Mathematic and Financial Literacy. Paris: PISA, Éd. OCDE. En ligne : <https://doi.org/10.1787/9789264255425-en>.

ORANGE C. & LHOSTE Y. (2015). Quels cadres théoriques et méthodologiques pour quelles recherches en didactique des sciences et des technologies ? Recherches en didactique des sciences et des technlogies (RDST), no 11, p. 9-24.

ORANGE C. & ORANGE RAVACHOL D. (2013). Le concept de représentation en didactique des sciences : sa nécessaire composante épistémologique et ses conséquences. Recherches en éducation, no 17, p. 46-61.

ORANGE RAVACHOL D. & RIBAULT A. (2006). Les classifications du vivant à l’école : former l’esprit scientifique ou inculquer la « bonne » solution ? Grand N, no 77, p. 91-107.

PARSIAN N. (2009). Developing and Validating a Questionnaire to Measure Spirituality: A Psychometric Process. Global Journal of Health Science, vol. 1, no 1, p. 1-11.

PERNEGER T. (2004). Le questionnaire de recherche : mode d’emploi à usage des débutants. Revue des maladies respiratoires, vol. 21, no 4, p. 674-676.

REEVES D. & MARBACH-AD G. (2016). Contemporary Test Validity in Theory and Practice: A Primer for Discipline-Based Education. CBE—Life Sciences Education, no 15, p. 1-9.

REVELLE W. (2014). Psych: Procedures for psychological, psychometric, and personality research. Evanston : Northwestern University.

RUTLEDGE M.L. & SADLER K.C. (2007). Reliability of the measure of acceptance of the theory of evolution (MATE) instrument with university students. The American Biology Teacher, vol. 69, no 9, p. 332-335.

SANDS D., PARKER M., HEDGELAND H., JORDAN S. & GALLOWAY R. (2018). Using concept inventories to measure understanding. Higher Education Pedagogies, vol. 3, no 1, p. 173-182.

SANTINI J. (2009). Les conceptions des élèves : des données empiriques aux résultats inférés. Questionner l’implicite d’un objet des didactiques à partir des conceptions du mécanisme sismique. In C. Cohen-Azria & N. Sayac (éd.), Questionner l’implicite. Les méthodes de recherche en didactiques. Villeneuve d’Ascq : Presses universitaires du Septentrion, p. 227-242.

SCHNELLER A., JOHNSON B. & BOGNER F. (2015). Measuring children’s environmental attitudes and values in northwest Mexico: Validating a modified version of measures to test the Model of Ecological Values (2-MEV). Environmental Education Research, vol. 21, no 1, p. 61-75.

STEWART J., GRIFFIN H. & STEWART G. (2007). Context sensitivity in the force concept inventory. Physical Review Special Topic. Physics Education Research, no 3, no 1. En ligne : <http://dx.doi.org/10.1103/PhysRevSTPER.3.010102>.

TABER K.S. (2018). The use of Cronbach’s Alpha when developing and reporting research instruments in science education. Research in Science Education, no 48, p. 1273-1296.

TAVAKOL M. & DENNICK R. (2011). Making sense of Cronbach's alpha. International journal of medical education, no 2, p. 53-55.

THOMPSON S. C. G. & BARTON M. A. (1994). Ecocentric and anthropocentric attitudes toward the environment. Journal of Environmental Psychology, vol. 14, no 2, p. 149-157.

WOLFS J. L. (2013). Sciences, religions et identités culturelles : quels enjeux pour l’éducation ? Bruxelles : De Boeck.

YATES T. B. & MAREK E. A. (2015). A Study Identifying Biological Evolution-Related Misconceptions Held by Prebiology High School Students. Creative Education, no 6, p. 811-834.

Top of page

Annex

Annexe 1 : questionnaire élèves de collège

Ce questionnaire n’est pas un contrôle. C’est une enquête pour comprendre ce que savent les élèves. Il n’y a pas de mauvaises réponses. Tu dois répondre à toutes les questions sur les 5 feuilles. Tu ne dois pas indiquer ton prénom, les réponses sont anonymes. Nous te remercions pour ta participation.

Indique pour chaque réponse si tu es plus ou moins d’accord avec l’affirmation. Pour cela, coche une seule des 4 cases situées entre « d’accord » et « pas d’accord ».

++ + - --
1 L’Homme descend du singe. D’accord Pas d’accord
2 Les mammouths ont aujourd’hui disparu. D’accord Pas d’accord
3 Les girafes et les zèbres ont un ancêtre commun. D’accord Pas d’accord
4 Les Hommes ont été créés par Dieu. D’accord Pas d’accord
5 Les dinosaures qui ont peuplé la Terre ont globalement été toujours les mêmes. D’accord Pas d’accord
6 Les éléphants actuels sont le résultat d’une métamorphose des premiers éléphants. D’accord Pas d’accord
7 Les Hommes actuels sont les êtres vivants les plus perfectionnés sur Terre. D’accord Pas d’accord
8 Les girafes actuelles pourraient disparaître dans le futur. D’accord Pas d’accord
9 Les mammouths ont été créés par Dieu. D’accord Pas d’accord
10 Les Hommes qui peuplent la Terre ont globalement été toujours les mêmes. D’accord Pas d’accord
11 De nouveaux dinosaures sont apparus après les premiers dinosaures. D’accord Pas d’accord
12 Les éléphants actuels sont plus perfectionnés que leurs ancêtres. D’accord Pas d’accord
13 Les Hommes et les chimpanzés ont un ancêtre commun. D’accord Pas d’accord
14 De nouvelles girafes sont apparues après les premières girafes. D’accord Pas d’accord
15 Les Hommes ont été créés par Dieu. D’accord Pas d’accord
16 Les mammouths se sont métamorphosés en éléphants. D’accord Pas d’accord
17 Les Hommes actuels sont apparus après les premiers Hommes. D’accord Pas d’accord
18 Les éléphants qui peuplent la Terre ont globalement été toujours les mêmes. D’accord Pas d’accord
19 Les dinosaures et les crocodiles ont eu un ancêtre commun. D’accord Pas d’accord
20 L’Homme descend du singe. D’accord Pas d’accord
21 Les girafes ont été créées par Dieu. D’accord Pas d’accord
22 Même les insectes et les vers de terre sont des cousins très, très, très éloignés... des Hommes ! D’accord Pas d’accord
23 Les Hommes actuels pourraient disparaître dans le futur. D’accord Pas d’accord
24 Les mammouths ont disparu car ils étaient moins perfectionnés que les éléphants. D’accord Pas d’accord

Indique pour chaque réponse si tu es plus ou moins d’accord avec l’affirmation. Coche une seule des 4 cases situées entre « d’accord » et « pas d’accord ».

25. De nos jours, les scientifiques pensent que le giraffokeryx, qui vivait il y a des millions d’années et qui n’existe plus aujourd’hui, est l’ancêtre de la girafe actuelle. L’une des différences principales entre ces 2 êtres vivants est la longueur de leur cou. Un long cou permet d’attraper la nourriture en hauteur dans les arbres. D’après toi, comment le long cou de la girafe actuelle est-il apparu ?

fig.1 : le giraffokeryx

fig.1 : le giraffokeryx

fig.2 : la girafe

fig.2 : la girafe
++ + - --
A À force de tirer sur son cou pour attraper la nourriture située dans les arbres, le cou d’un giraffokeryx est devenu plus long. Puis, ce giraffokeryx a transmis ce long cou à ses petits. D’accord Pas d’accord
B Lorsque les feuilles se sont développées plus en hauteur dans les arbres, les girafes avec les cous les plus longs ont pu mieux se nourrir et mieux se reproduire, tout comme leurs petits, nés avec un cou plus long. D’accord Pas d’accord
C Les girafes existent aujourd’hui avec un long cou car c’était leur destinée. D’accord Pas d’accord
D Il a fallu un temps très long pour que les girafes apparaissent sur Terre avec un long cou. D’accord Pas d’accord
E Il n’y a aucune raison particulière qui explique que les girafes aient un long cou. Il aurait pu être plus court. D’accord Pas d’accord
F Les girafes existent aujourd’hui avec un long cou car la nature fait bien les choses. D’accord Pas d’accord
G C’est l’apparition de nourriture en hauteur dans les arbres qui a provoqué la naissance de girafes à long cou. D’accord Pas d’accord
H Par hasard, un ancêtre de la girafe est né avec un cou plus long. D’accord Pas d’accord

26. De nos jours, les scientifiques pensent que l’Australopithèque, qui vivait il y a des millions d’années et qui n’existe plus aujourd’hui, est l’ancêtre de l’Homme actuel. L’une des différences principales entre ces 2 êtres vivants est la longueur de leurs jambes. En position debout, de longues jambes permettent de courir plus vite en dehors des forêts. D’après toi, comment les longues jambes de l’Homme actuel sont-elles apparues ?

++ + - --
A Lorsqu’il a fallu marcher plus longtemps en dehors des forêts, les Australopithèques avec les jambes les plus longues ont pu mieux se déplacer et mieux se reproduire, tout comme leurs enfants nés avec des jambes plus longues. D’accord Pas d’accord
B À force de faire de grands pas pour marcher plus vite en dehors des forêts, les jambes d’un Australopithèque se sont allongées. Puis, il a transmis ces longues jambes à ses enfants. D’accord Pas d’accord
C C’est la réduction des forêts qui a provoqué la naissance d’Hommes aux jambes longues. D’accord Pas d’accord
D Les Hommes existent aujourd’hui avec de longues jambes car la nature fait bien les choses. D’accord Pas d’accord
E Il n’y a aucune raison particulière qui explique que les Hommes aient de longues jambes. Elles auraient pu être plus courtes. D’accord Pas d’accord
F Il a fallu un temps très long pour que les Hommes apparaissent sur Terre avec de longues jambes. D’accord Pas d’accord
G Les Hommes existent aujourd’hui avec de longues jambes car c’était leur destinée. D’accord Pas d’accord
H Par hasard, un ancêtre de l’Homme est né avec des longues jambes. D’accord Pas d’accord

27. De nos jours, les scientifiques pensent que le mammouth vivait il y a des millions d’années. Il possédait une fourrure épaisse qu’il leur permettait de vivre dans un climat froid. D’après toi, comment la fourrure épaisse des mammouths est-elle apparue ?

++ + - --
A Lorsque le climat s’est refroidi, les mammouths avec la fourrure la plus épaisse ont eu plus chaud et ont pu mieux se reproduire, tout comme leurs petits, nés avec une fourrure épaisse. D’accord Pas d’accord
B C’est le refroidissement de l’environnement qui a provoqué la naissance de mammouths à fourrure épaisse. D’accord Pas d’accord
C À cause du froid, un ancêtre du mammouth a laissé pousser sa fourrure. Puis il a transmis cette fourrure épaisse à ses enfants. D’accord Pas d’accord
D Il a fallu un temps très long pour que les mammouths apparaissent sur Terre avec une fourrure épaisse. D’accord Pas d’accord
E Les mammouths avec une fourrure épaisse ont existé car la nature fait bien les choses. D’accord Pas d’accord
F Par hasard, un mammouth est né avec une fourrure plus épaisse. D’accord Pas d’accord
G Il n’y a aucune raison particulière qui explique que les mammouths aient eu une fourrure épaisse. Elle aurait pu être moins épaisse. D’accord Pas d’accord
H Les mammouths avec une fourrure épaisse ont existé car c’était leur destinée. D’accord Pas d’accord

Annexe 2 : résultats des valeurs α de Cronbach selon la position de l’item

Connaissances ciblées par des items (codage des items) Valeur α de la catégorie Valeur α de la catégorie sans l’item Position dans le questionnaire Conclusion du test
Origine commune des espèces (oriC2) 0,61 0,61 56 Validé
Apparition de nouvelles espèces (newE2) 0,22 0,08 53 Non validé
Extinction des espèces (Ext1) 0,47 0,41 54 Non validé
(Ext5) 0,53 59 Validé
(Ext6) 0,47 50 Validé
Pas d’évolution possible (antiE6) 0,4 0,25 51 Non validé
Changement des espèces allant nécessairement dans le sens d’une amélioration des espèces, d’un progrès (prog3) 0,62 0,57 47 Non validé
Sélection naturelle, contingence (sn4) 0,67 0,71 63 Validé
Temps long associé à l’évolution (tps6) 0,54 0,55 62 Validé
Hasard d’apparition des attributs (al2) 0,62 0,62 64 Validé
Top of page

Notes

1 Notons qu’un item a été doublé dans le questionnaire (OrigD2 : Les hommes ont été créés par Dieu) afin de repérer des questionnaires avec des erreurs de saisie ou remplis de manière aléatoire. Ces items ont été considérés peu ambigus car les élèves y ont exprimé des choix marqués (pas d’accord ou fortement d’accord).

2 Item tps6 : « Il a fallu un temps très long pour que les mammouths disparaissent ».

3 Item tps4 : « Les Hommes actuels sont apparus sur Terre en peu de temps ».

4 Item tps3 : « Il a fallu un temps très long pour que les Hommes actuels possèdent de longues jambes ».

5 Item prog4 : « Les Hommes actuels sont les êtres vivants les plus perfectionnés sur Terre » (traduit de Nadelson & Southerland, 2012).

6 Item meta3 : « L’Homme descend du singe ».

Top of page

List of illustrations

Title Fig. 1 : dynamique de construction d’un questionnaire visant à explorer les conceptions d’élèves dans un concept scientifique donné
URL http://journals.openedition.org/rdst/docannexe/image/2641/img-1.jpg
File image/jpeg, 181k
Title fig.1 : le giraffokeryx
URL http://journals.openedition.org/rdst/docannexe/image/2641/img-2.jpg
File image/jpeg, 266k
Title fig.2 : la girafe
URL http://journals.openedition.org/rdst/docannexe/image/2641/img-3.jpg
File image/jpeg, 885k
Top of page

References

Bibliographical reference

Magali Coupaud, Jérémy Castéra, Hélène Cheneval-Armand, Pascale Brandt-Pomares and Alice Delserieys, « Développer un questionnaire pour étudier les conceptions de l’évolution du vivant d’élèves de collège : entre cadres didactique et psychométrique », RDST, 20 | 2019, 27-59.

Electronic reference

Magali Coupaud, Jérémy Castéra, Hélène Cheneval-Armand, Pascale Brandt-Pomares and Alice Delserieys, « Développer un questionnaire pour étudier les conceptions de l’évolution du vivant d’élèves de collège : entre cadres didactique et psychométrique », RDST [Online], 20 | 2019, Online since 31 December 2019, connection on 07 August 2020. URL : http://journals.openedition.org/rdst/2641 ; DOI : https://doi.org/10.4000/rdst.2641

Top of page

About the authors

Magali Coupaud

Aix Marseille Université, UR 4671 ADEF, Marseille, France

Jérémy Castéra

Aix Marseille Université, UR 4671 ADEF, Marseille, France

By this author

Hélène Cheneval-Armand

Aix Marseille Université, UR 4671 ADEF, Marseille, France

Pascale Brandt-Pomares

Aix Marseille Université, UR 4671 ADEF, Marseille, France

By this author

Alice Delserieys

Aix Marseille Université, UR 4671 ADEF, Marseille, France

Top of page

Copyright

© Éditions de l’École normale supérieure de Lyon

Top of page
  • Logo Université de Lyon
  • Logo ENS Lyon
  • Logo ENS Éditions
  • Logo Institut français de l’éducation
  • OpenEdition Journals