Introduction

1Depuis près de 40 ans, les structures d’accueil destinées aux enfants âgés de 0 à 5 ans, se développent à travers le monde, dont l’Europe, les États-Unis et le Canada. Ces services ont une double mission, éducative et préventive, et c’est pourquoi les termes utilisés pour y référer sont « services éducatifs » (SÉ). Conséquemment, la recherche s’est rapidement intéressée à évaluer si ces services étaient effectivement éducatifs, tout en validant leurs effets sur le développement des enfants qui les fréquentent. Plusieurs recherches confirment que ce sont les expériences de qualité vécues dans ces services qui sont associées à des effets positifs sur le fonctionnement cognitif, langagier, socioaffectif et moteur des enfants (Hamre, Hatfield, Pianta & Jamil, 2014 ; Nix, Bierman, Domitrovich & Gill, 2013 ; Vanderbroeck & Lazzari, 2014). Ces effets ont été documentés à court terme (Côté et al., 2013 ; Hansen & Hawkes, 2009 ; Morrissey, 2010), à moyen terme (Huston, Bobbitt & Bentley, 2015 ; Laurin, Guay, Bigras, & Fournier, 2015 ; Melhuish et al., 2015) et à long terme (Coley, Lombardi & Sims, 2015 ; Vandell, Belsky, Burchinal, Steinberg & Vandergrift, 2010). Les services éducatifs qui offrent des expériences de qualité aux enfants constituent donc des contextes privilégiés pour promouvoir et soutenir le développement et les apprentissages, voire la réussite éducative des enfants (Caublot, Poli & Deu, 2014 ; Organisation de Coopération et de Développement [OCDE], 2012).

2Toutefois, bien que des relations aient été observées entre des mesures du développement de l’enfant et la qualité des SÉ, celles-ci présentent une taille de l’effet modeste (Burger, 2010 ; Burchinal, Vandergrift, Pianta & Mashburn, 2010 ; Gordon, Fujimoto, Kaestner, Korenman & Abner, 2013). Et pour cause, les instruments de mesure de la qualité des SÉ utilisés jusqu’à maintenant ont été conçus à partir de bases théoriques plutôt qu’empiriques (Bryant, Burchinal & Zaslow, 2011 ; Burchinal, Kainz & Cai, 2011 ; Cassidy, Hestenes, Hestenes & Mims, 2005 ; Gordon et al., 2013, 2015 ; Zaslow, Martinez-Beck, Tout & Halle, 2011). Ainsi, il y a lieu de se demander si ces instruments possèdent les propriétés métrologiques adéquates pour mesurer le construit de qualité éducative de façon juste et sensible. L’objectif de cet article est de présenter une analyse comparative des propriétés métrologiques de trois instruments d’observation de la qualité éducative les plus utilisés au Québec et à travers le monde, dans leur version préscolaire. Il s’agit de l’Échelle d’évaluation de l’environnement préscolaire (Early Childhood Environment Rating Scale-Revised édition [ECERS-R], Harms, Clifford & Cryer, 1998a, 2005), l’Échelle d’observation de la qualité éducative (EOQE) (Bourgon et Lavallée, 2004) et le CLassroom Assessment Scoring System ([CLASS version Pre-K], Pianta, LaParo & Hamre, 2008).

Cadre théorique

Le concept de qualité éducative et son opérationnalisation

3D’un point de vue subjectif, la qualité éducative peut se définir comme la mesure du degré de conformité entre les normes gouvernementales préétablies et les pratiques réellement mises en place dans un SÉ donné (Moss, 2005 ; Moss, Dahlberg & Pence, 2000). Bien qu’il soit possible de dégager certains traits communs à travers les sociétés industrialisées au sujet de la qualité des SÉ, ce concept relève de valeurs sociétales spécifiques qui influencent les décisions législatives. Ainsi, ce qui constitue la qualité des SÉ diffère selon la société à l’étude, ce qu’elle souhaite privilégier pour les enfants, leur développement et leur famille, ainsi que les moyens qu’elle considère efficaces pour atteindre ces objectifs.

4D’un point de vue positiviste, le concept de qualité éducative est généralement défini selon deux grandes catégories de variables : la qualité structurelle et la qualité des processus (Bigras, et al., 2010 ; Doherty, Forer, Lero, Goelman & LaGrange, 2006 ; Dowsett, Huston, Imes & Gennetian, 2008). La qualité structurelle réfère aux variables règlementées, telles que le ratio personnel éducateur/enfants, les exigences quant à la qualification et la formation continue du personnel. Ces variables, influencées par les politiques, les lois et les règlements qui régissent les SÉ, sont reconnues comme des facteurs qui soutiennent l’expérience de l’enfant en SÉ. Quant à la qualité des processus, elle renvoie précisément à l’expérience quotidienne offerte en SÉ. Elle inclut les interactions entre le personnel éducateur et les enfants, le programme d’activités, l’aménagement d’un environnement physique et social adapté aux enfants et les relations avec les parents (Blackwell, 2010 ; Jalongo et al., 2004). Les trois instruments analysés dans cet article mesurent essentiellement des aspects de la qualité des processus d’un point de vue positiviste. Sous l’influence des recherches anglo-saxonnes, ces instruments sont régulièrement utilisés en contexte nord-américain et européen. Il apparait donc pertinent d’en situer les forces et les limites pour le lecteur qui souhaiterait les utiliser ou, à tout le moins, en analyser les caractéristiques.

Qualités métrologiques des instruments

5La principale critique au sujet des instruments de mesure quantitatifs concerne leur processus d’élaboration, qui serait surtout de nature théorique, respectant peu la procédure typique de validation (Burchinal et al., 2011 ; Gordon et al., 2013, 2015 ; Zaslow et al., 2011). En effet, trois organismes, soit l’American Educational Research Association (AERA), l’American Psychological Association (APA) et le National Council on Measurement in Education (NCME, 2014) rappellent que la validité d’un instrument constitue l’aspect le plus fondamental de sa conception. Plusieurs étapes sont requises afin d’accroitre la validité de tout instrument de mesure : 1) définir conceptuellement le construit d’intérêt, 2) construire les items, 3) les soumettre à des juges experts, 4) valider la structure interne, 5) évaluer les validités de critère et discriminante et 6) s’assurer de sa fidélité. Cette section aborde un aperçu sommaire de ce que comporte chacune de ces étapes.

Description de la validité des instruments de mesure

6Définition conceptuelle du construit d’intérêt. Lors de la création d’un instrument de mesure, la première étape consiste à réaliser une recension exhaustive des écrits au sujet du ou des construits que l’on cherche à mesurer (Corbière & Fraccaroli, 2014). Il s’agit d’une étape préalable à la création d’un outil qui permet de bien circonscrire le ou les construits à inclure dans l’instrument (DeVellis, 2011) tout en écartant les éléments les moins pertinents (Clark & Watson, 1995). En ce qui concerne l’observation de la qualité des processus, ce type de recension devrait couvrir les plus récents constats au sujet des pratiques qui soutiennent le développement de l’enfant d’âge préscolaire qui fréquente un SÉ (Burchinal et al., 2011).

7Création d’items cohérents avec la définition des construits à mesurer. Une fois l’étape de la recension des écrits réalisée, le scénario idéal consiste à élaborer un grand nombre d’items et à les tester à l’aide d’une étude pilote afin d’identifier ceux qui sont les plus sensibles au construit identifié (dans ce cas-ci la qualité des processus). Les spécialistes de la mesure et de l’évaluation suggèrent d’utiliser la théorie de la réponse aux items (TRI), une procédure statistique itérative qui permet de résumer le profil des réponses à un test d’une manière qui tient compte de la difficulté de la tâche, des tâches non exécutées, des suppositions et des erreurs aléatoires (Bryant et al., 2011 ; Gordon, 2015). La TRI permet d’identifier les items les plus performants et d’éliminer les moins pertinents afin de mesurer un construit (Hambleton, Swaminathan & Rogers, 1991).

8Validation de construit. L’étape suivante est celle du processus de validation de construit qui exige que les concepts couverts par les items de l’instrument soient d’abord identifiés par des experts et ensuite validés par d’autres experts de manière indépendante (Netemeyer, Bearden & Sharma, 2003). Plus le nombre d’items est élevé, plus le nombre d’experts consultés augmente. Crocker, Lliabre & Miller (1988) suggèrent de prévoir trois juges par item afin d’obtenir suffisamment de données pour calculer des accords interjuges. Il s’agit généralement de soumettre les items à des experts reconnus du domaine pour ensuite sélectionner les items qui font consensus (pertinence, importance et clarté). Ce type de validation semble rarement effectué puisque, d’une part, les coûts associés à une telle procédure sont élevés, mais aussi, parce qu’il est souvent difficile d’obtenir un réel consensus au sujet des construits mesurés (Bryant et al., 2011).

9Validation de la structure interne. L’étape de la validation de la structure interne demande de poursuivre les tests pilotes de l’instrument d’observation jusqu’à ce que le plus petit nombre d’items possible mesurant précisément le construit d’intérêt soit identifié. Pour y parvenir, il est suggéré de réaliser des analyses factorielles pour renforcer la validité de construit de la mesure (Corbière, Lanctôt, Sanquirgo & Lecomte, 2009 ; Lecomte, Corbière & Laisné, 2006).

10Validité convergente et validité de critère et prédictive. La validité convergente, parfois nommée validité concourante, concerne le niveau de relation entre l’outil étudié et d’autres instruments reconnus mesurant le même construit (Netemeyer et al., 2003). La validité de critère consiste plutôt à identifier si les résultats obtenus avec un instrument particulier sont associés à un critère externe (DeVellis, 2011). Ce type de validité inclut aussi la validité prédictive, soit la capacité de l’instrument à prédire de futurs scores de développement de l’enfant (DeVellis, 2011).

11La fidélité concerne la stabilité d’un instrument, c’est-à-dire ses capacités à reproduire fidèlement les observations à travers le temps à divers moments (Kubiszyn & Borich, 2003) et dans divers contextes (test-retest), ainsi qu’entre divers observateurs (interjuges). Lorsque le niveau de fidélité est élevé, l’instrument est suffisamment précis et clair pour que ses observateurs l’utilisent avec constance. La fidélité interjuges peut être évaluée en calculant le pourcentage d’accord entre les juges ou en calculant un coefficient de corrélation qui permet de quantifier la variation entre les juges (Corbière & Fraccaroli, 2014). Pour ce faire, des coefficients de corrélation intra classe (ICC) ou des coefficients Kappa (κ) sont utilisés.

12En résumé, lorsque ces étapes de conception d’un instrument de mesure ne sont pas respectées ou qu’elles sont escamotées, il y a lieu de se demander si l’instrument utilisé mesure réellement ce qu’il prétend mesurer (validité), mais aussi que cette mesure s’applique à différents contextes éducatifs (fidélité).

Objectifs et méthodologie utilisée

Objectifs

13Le présent article vise à comparer trois instruments d’observation de la qualité des processus de langue française, l’ECERS-R (Harms et al., 1998a, b), l’EOQE (Bourgon et Lavallée, 2004) et le CLASS Pre-K (Pianta et al., 2008), quant à leur validité et leur fidélité.

Instruments d’observation de la qualité éducative analysés

14La conception originale des échelles ECERS-R (Harms, et al., 1998a, 2005) remonte à 1980. Il s’agit d’une grille d’observation constituée de 37 items et de 7 sous-échelles pour lesquels il est possible d’attribuer un score de qualité éducative se situant entre 1 (inadéquate) et 7 (excellente). La version destinée aux enfants d’âge préscolaire est traduite en français sous le nom d’Échelle d’évaluation de l’environnement préscolaire (Harms et al., 1998a, b). Au cours des dix dernières années, 35 études européennes recensées utilisaient l’ECERS-R afin d’évaluer la qualité de SÉ, dont plusieurs pour des études nationales d’évaluation de la qualité de leurs services préscolaires (voir notamment Rentzou, 2014 ; Sandstrom, 2012 ; Sheridan, Giota, Han & Kwon, 2009 ; Sylva et al., 2006 ; Vermeer, van IJzendoorn, Cárcamo & Harrison, 2016). Malgré qu’au plan international, des chercheurs et des praticiens aient fréquemment recours à cet instrument, celui-ci est critiqué, notamment pour sa structure interne (Gordon et al., 2013, al., 2015) et sa validité écologique (Cassidy, Hestenes, Hansen, Hedge et Shim, 2005 ; Douglas, 2004 ; Zaslow et al., 2006). En outre, la structure interne ne serait pas la même lorsqu’on tente de la reproduire à l’extérieur des États-Unis (Gordon et al., 2013). Alors que la validité écologique serait affaiblie par l’approche disciplinaire utilisée dans cet instrument difficilement applicable dans les sociétés qui valorisent plutôt une approche développementale (Cassidy et al., 2005).

15L’Échelle d’observation de la qualité éducative ([EOQE], Bourgon & Lavallée, 2004) a été élaborée au début des années 2000 afin de mener l’enquête Grandir en qualité 2003 (Drouin, Bigras, Fournier, Desrosiers & Bernard, 2004) afin de dresser un portrait des SÉ au Québec. L’instrument, dans sa version 18 mois et plus en installation, comprend 122 items répartis en 4 dimensions et 9 sous-dimensions. Il a également été utilisé dans le cadre d’études longitudinales du développement d’enfants fréquentant des SÉ (Bigras, Lemay, Bouchard & Eryasa, 2014 ; Bigras et al., 2010, Lemay, Bigras & Bouchard, 2014, 2016).

16Le CLassroom Assessment Scoring System Pre-K ([CLASS Pre-K], Pianta et al., 2008) vise à évaluer exclusivement la qualité des interactions vécues par les enfants en SÉ, constituant ainsi une mesure spécifique plutôt que globale de la qualité des processus. Le CLASS utilise une échelle en 7 points allant de faible (1, 2) à élevée (6, 7). La version Pre-K est conçue pour les groupes d’enfants de 3 à 5 ans et comporte 10 dimensions réparties en 3 domaines : Soutien émotionnel, Organisation du groupe et Soutien à l’apprentissage (Pianta et al., 2008). Contrairement aux outils précédents, le CLASS ne recueille pas de données sur le matériel, le contenu et la nature de la programmation, l’aménagement et ainsi que les relations avec les parents. L’usage de cette mesure est aussi en nette progression en contexte européen au cours de la dernière décennie (voir en outre Cadima, Doumen, Verschueren & Leal, 2015 ; Dessus, Cosnefroy & Luengo, 2016 ; Pakarinen et al., 2010 ; Perlman, Falenchuk, Fletcher, Beyene & Shah, 2016 ; Salminen, 2014 ; Stuck, Kammermeyer & Roux 2016). Le Tableau 1 présente les principales caractéristiques de ces trois instruments.

Tableau 1. Comparaison des trois instruments d’observation de la qualité des processus

	ECERS-R Version préscolaire (Harms, Clifford et Cryer, 1998 ; 2005)	EOQE Version 18 mois et plus en installation (Bourgon et Lavallée, 2004)	CLASS-PreK Version préscolaire (Pianta, LaParo et Hamre, 2008)
Construits mesurés	Qualité d’ensemble de l’environnement Processus	Qualité d’ensemble de l’environnement, selon le programme éducatif Processus	Qualité des interactions Processus
Type	Globale	Globale	Spécifique (interactions)
Description	7 sous-échelles : 39 items Échelle  : Likert 1 à 7 Score : moyenne -globale et sous-échelle 4 niveaux de qualité : -inadéquat (1,2), -minimal (3,4), -bon (5,6) -excellent (7)	4 dimensions : 9 sous-dimensions -122 items Échelle : Listes à cocher Scores : moyenne qualité global /par dimension / sous-dimension/item 4 niveaux de qualité : inadéquat, (2) minimal, (3) bien, (4) très bien	3 domaines : -10 dimensions : -42 marqueurs comportementaux Échelle : Likert 1 à 7 Score moyen par domaine /dimension 3 niveaux de qualité (1,2) faible, (3,4,5) : moyen, (6,7) élevé
Procédure	Durée : 2 à 3 h Observation directe principalement et indirecte (entrevue)	Durée : une journée arrivées/départs 3 e. Observation directe principalement et indirecte (entrevue)	Durée : 2 h -4 cycles X 30 min: -20 min observation +10 min cotation Observation directe
Âge	2 ans ½ à 5 ans	18 mois à 5 ans	3 à 5 ans
Autres versions	ITERS-R (installation, nourrisson et tout-petit : 0 à 30 mois) FDCRS (milieu familial) SACERS (périscolaire) Version francophone non validée (1998 ; 2010)	Installation « pouponnière » (0 à 18 mois) Service de garde en milieu familial (0 à 5 ans) Version francophone uniquement	CLASS-I (0 à 18 mois) CLASS-T (15 à 36 mois) CLASS-K-3 (1er cycle primaire) CLASS-4 to 6 (2e cycle primaire) CLASS-S (Secondaire) Version francophone en validation

Procédure

17Pour réaliser l’analyse des propriétés métrologiques de ces trois instruments, nous avons d’abord recensé des publications incluant des articles révisés par les pairs et des rapports qui présentent leur conception ainsi que leurs propriétés métrologiques. Par la suite, une synthèse de l’information au sujet de chacun des instruments a été réalisée en fonction de leur validité puis de leur fidélité.

Résultats de l’analyse des instruments de mesure

Analyse de la validité des trois instruments de mesure

18Cette section présente successivement les résultats de l’analyse des écrits consultés au regard de chacune des six étapes de validité et fidélité mentionnées précédemment (AERA, APA et NCME, 2014) pour les trois instruments d’observation de la qualité des processus énumérés dans la méthodologie.

Analyse des définitions conceptuelles du construit d’intérêt

19D’abord, l’information accessible au sujet du processus de conception initial de l’ECERS-R est peu abondante. Les écrits du Frank Porter Graham Child Development Institute [FPG] (2003) relatent l’historique de la création de l’instrument en 1980. Ils rapportent que pour Harms, l’auteure principale de l’instrument, un SÉ de qualité doit répondre à trois types de besoins, soit veiller à la santé et à la sécurité des enfants, soutenir les relations interpersonnelles positives et offrir des opportunités d’expériences éducatives stimulantes, sans toutefois préciser comment ces besoins ont été déterminés. Selon Halle et Vick (2007), Harms aurait construit l’instrument à partir d’observations réalisées entre 1963 et 1983 ainsi que de ses conceptions personnelles en ce qui a trait au soutien du développement de l’enfant. Harms se serait aussi inspirée des pratiques de développement appropriées de la National Association for the Education of Young Children (NAEYC) (Halle & Vick, 2007).

20De leur côté, Drouin et ses collaborateurs (2004) rapportent aussi avoir réalisé une recension des écrits lors de la création de l’EOQE. Toutefois, cette recension ne porte pas spécifiquement sur la qualité des processus, mais elle établit plutôt le relevé des divers instruments de mesure de la qualité ayant été utilisés à travers le monde (Baillargeon, Bourgon, Lavallée & Bigras, 2004) afin de déterminer, parmi ces derniers, des éléments pertinents leur permettant de concevoir leur nouvel instrument. Leur intérêt portait donc vers l’identification de construits répondant à l’objectif principal de l’enquête Grandir en qualité 2003 (Drouin et al., 2004), soit la mesure du niveau d’application du programme éducatif. Aucune recension au sujet des pratiques promues dans ledit programme éducatif n’est rapportée par ailleurs.

21Enfin, parmi les trois instruments analysés, il semble que seuls les auteurs du CLASS aient procédé à une recension exhaustive des théories et des écrits sur le développement de l’enfant incluant les pratiques éducatives efficaces auprès des jeunes enfants (Downer, Sabol & Hamre, 2010). Cette recension a mené au constat que la qualité des interactions qui s’établissent entre l’adulte et l’enfant est centrale pour le développement et l’apprentissage de ce dernier, d’où l’importance des interactions dans leur instrument.

Analyse de la création d’items cohérents avec la définition des construits à mesurer

22D’abord, lors de la création de l’ECERS-R, bien qu’une analyse à l’aide de la TRI n’ait pas été réalisée, les écrits consultés indiquent que son auteure principale aurait d’abord développé, en 1980, une liste d’items à cocher pour ensuite demander à des experts de réaliser une validation de ces items. Une révision aurait par la suite conduit à une modification de certains de ces items en 1998 (FPG, 2003). Il n’existe toutefois pas d’information publiée au sujet du nombre d’items initiaux ni de ceux qui ont été retirés, pas plus qu’au sujet des raisons de leur retrait. Néanmoins, Gordon et ses collaborateurs (2013, 2015) ont récemment réalisé une étude utilisant la TRI avec les items de l’ECERS-R. Leurs résultats indiquent notamment que la méthode de cotation de l’ECERS-R, par sa structure hiérarchique, n’est pas suffisamment discriminante pour établir des niveaux de qualité qui représentent fidèlement la qualité des processus (Gordon et al., 2013, p. 151).

23La production de l’EOQE s’est réalisée sur deux ans et a mis à contribution un comité d’élaboration des instruments où siégeaient des professionnels du secteur de la recherche du Ministère et des professionnels spécialisés en petite enfance (Drouin et al., 2004). La rédaction du contenu de l’instrument a par la suite été confiée à deux de ces spécialistes, des enseignantes en Techniques d’éducation à l’enfance du réseau collégial. Une fois les items élaborés, un prétest a été réalisé, ce qui a permis aux auteures d’apporter des modifications mineures de finaliser une version définitive. Les items retenus n’ont cependant jamais fait l’objet de validation à l’aide de la TRI.

24En ce qui a trait à la conception des items du CLASS Pre-K, les auteurs de l’instrument rapportent, dans leur manuel, avoir réalisé des pré-tests pilotes sur des items préliminaires (Pianta et al., 2008). Toutefois, il n’a pas été possible de retracer de l’information quant au nombre d’items de départ ainsi que sur le processus de sélection de ces items. Aucune analyse à l’aide du TRI pour les items du CLASS n’a pu être répertoriée.

Analyse de la validation de construit

25Les auteurs de l’ECERS-R indiquent avoir soumis une première liste d’items à un groupe de sept experts nationaux qui devaient les évaluer sur le plan de leur pertinence et de l’importance pour la mesure des construits identifiés (Harms & Clifford, 1980). Ils ont alors retenu 78 % des items pour lesquels ils ont réalisé des modifications mineures. Des experts indépendants (le nombre n’est pas précisé) ont ensuite visité 30 SÉ pour en évaluer la qualité à partir des construits identifiés sans toutefois connaitre les items précis de l’instrument de mesure (Harms & Clifford, 1983). Parallèlement, d’autres chercheurs du FPG ont évalué les mêmes SÉ avec les items précis de l’ECERS afin de comparer leurs résultats avec ceux obtenus par les experts indépendants. Cette comparaison a alors été jugée satisfaisante et a mené à la première publication de l’ECERS en 1980.

26Le processus d’élaboration de l’EOQE prévoyait une consultation de praticiens et d’experts de la petite enfance. Ces derniers ont évalué la pertinence, l’exhaustivité, la compréhension et la cohérence des items de l’instrument de mesure (Drouin et al., 2004). Ni le nombre ni l’expertise de ces personnes ne sont précisés.

27Enfin, Hamre et ses collaborateurs (2014) rapportent que les auteurs du CLASS ont réalisé des groupes de discussion à des fins de validation des énoncés de l’instrument de mesure auprès d’enseignants. Toutefois, les détails quant au processus de consultation de ces groupes ne sont pas divulgués dans les documents consultés.

Analyse de validation de la structure interne

28Les documents consultés indiquent que deux des trois instruments de mesure de la qualité des SGE ont fait l’objet d’une analyse de la validation de leur structure interne. Au sujet de l’ECERS-R, seules des études récentes font état d’analyses factorielles confirmatoires (Cassidy, Hestenes, Hansen, et al., 2005 ; Cassidy, Hestenes, Hestenes et al., 2005 ; Clifford, Reszka & Rossbach, 2010 ; Early et al., 2006 ; Frede, Jung, Barnett, Lamy & Figueras, 2007). La plupart identifient deux facteurs, soit l’Enseignement et les interactions ainsi que le Soutien à l’apprentissage (Clifford et al., 2010, p. 15, traduction libre). Les auteurs de l’instrument rapportent également des scores de cohérence interne des sous-échelles qui varient de.71 à.88 et de.92 pour l’échelle totale (Harms et al., 1998a, p. 2), ce qui constitue des niveaux acceptables (.70 à.80) et très bons (.80 à.90) en tenant compte du nombre d’items présents dans les sous-échelles concernées (DeVellis, 2011 ; Corbière & Fraccaroli, 2014).

29Du côté de l’EOQE, aucune étude de la structure interne de l’instrument original n’a été réalisée lors de sa création.

30Enfin, Pianta et ses collaborateurs (2008) ont identifié trois facteurs à la suite d’analyses factorielles exploratoires au moment de la création du CLASS Pre-K, soit le Soutien émotionnel (alpha .89), l’Organisation du groupe (.77) et le Soutien à l’apprentissage (.83), donnant lieu aux trois domaines de l’instrument, pour lesquels les scores de cohérence interne sont considérés de bons à très bons (Corbière & Fraccaroli, 2014). Néanmoins, de récentes analyses factorielles confirmatoires du CLASS Pre-K sur d’autres échantillons n’arrivent pas tout à fait à confirmer ces trois facteurs, une dimension devant parfois être exclue de l’un des trois domaines pour les confirmer (Gordon et al., 2013).

Évaluation de la validité convergente et de la validité de critère

31En ce qui concerne l’étape d’évaluation de la validité convergente de l’ECERS-R, Clifford et ses collègues (2010) rapportent de nombreuses études. Elles ont permis d’établir sa validité convergente avec le Caregiver Interaction Scale ([CIS], Arnett, 1989) ainsi que le CLASS Pre-K (Pianta et al., 2008). Ces corrélations varieraient de.20 à.45 en fonction des dimensions de l’ECERS-R mises en relation avec celles des autres instruments, ce qui correspond à des niveaux à la limite de l’acceptable. Il est en effet attendu que les coefficients de corrélation soient supérieurs à.30 mais inférieurs à.90, dépendamment du niveau de similarité du concept mesuré dans l’instrument utilisé pour la validation (Corbière & Fraccaroli, 2014).

32Pour l’EOQE, une seule étude de validité concourante aurait été menée, et ce, à l’aide du ECERS-R (Drouin et al., 2004). L’étude fait état de faibles corrélations (.36) tout en indiquant que c’était ce qui était souhaité de la part des auteurs. En effet, l’EOQE était un nouvel instrument visant des aspects de la qualité différents de ceux du ECERS-R (Drouin et al., 2004). Ce dernier étant développé en lien avec des composantes spécifiques disciplinaires telles que les arts plastiques, la psychomotricité, la lecture, etc. Les auteures de l’EOQÉ souhaitaient plutôt une mesure adaptée à l’intervention démocratique valorisée dans le programme éducatif du Québec et soutenant le développement global de l’enfant, de préférence à une approche par discipline (Drouin et al., 2004).

33Enfin, le CLASS Pre-K a fait l’objet d’un grand nombre d’études portant sur sa validité convergente. L’une d’elles, réalisée avec le ECERS-R, indique que les groupes observés avec le CLASS Pre-K, dont les scores étaient élevés, l’étaient aussi avec le ECERS-R au facteur Interactions (de.45 à.63) (Pianta & Hamre, 2009). Le CLASS a aussi été comparé au Snapshot (Ritchie, Weiser, KraftSayre, Howes & Weiser, 2001), utilisé pour évaluer le temps passé à des activités variées en classe (Pianta et al., 2005). Comme le CLASS évalue la qualité plutôt que la quantité d’activités dans les groupes, il n’est pas surprenant que les corrélations obtenues entre les deux mesures soient faibles, mais significatives. En particulier, le domaine du Soutien à l’apprentissage du CLASS Pre-K et le temps passé aux activités de littératie et de numératie du Snapshot se sont avérés associés, indiquant que les enfants des groupes dont les scores au CLASS Pre-K étaient plus élevés passaient plus de temps à interagir avec leurs enseignantes (Pianta et al., 2005).

Analyse de la fidélité des trois instruments

34En ce qui concerne la fidélité interjuges des trois instruments de mesure de la qualité éducative, les seuils d’accords et de Kappas pondérés recommandés sont atteints pour les trois instruments (Landis & Koch, 1977). À titre d’exemple, les études réalisées avec l’ECERS-R (Harms et al., 1998a) rapportent des taux d’accord supérieurs à.70. Celles sur l’EOQE rapportent des Kappa pondérés au-delà de.70 (Drouin et al., 2004). Quant à eux, les auteurs du CLASS Pre-K rapportent des taux d’accords de.80 aux dix dimensions (Hamre, Goffin & Kraft-Sayre, 2009).

Discussion

35Cet article visait à réaliser une analyse comparative des qualités métrologiques de trois instruments d’observation de la qualité des processus. Notre analyse suggère que chacun d’eux fait l’objet de certains avantages ainsi que de limites métrologiques (voir Tableau 2). D’abord, sur le plan de sa conception, le CLASS Pre-K est celui qui respecte le plus l’ensemble des étapes recommandées de conception d’un instrument d’observation. Par ailleurs, d’autres types d’avantages concernent les modalités d’utilisation de ces instruments. En effet, deux des instruments analysés (ECERS-R et CLASS Pre-K) apparaissent avantagés du fait qu’ils requièrent moins de temps pour observer la qualité des processus d’un SÉ.

Tableau 2. Avantages et limites des trois instruments d’observation de la qualité des processus

	ECERS-R Harms, Clifford et Cryer, 1998 ; 2005		EOQE Bourgon et Lavallée, 2004, 2014	CLASS-PreK Pianta, LaParo et Hamre, 2008
Avantages		Temps d’administration relativement court (2 à 4 h) Abondamment utilisé à travers le monde depuis 1980 Possibilités de comparaison internationales Volume, vidéo et procédure de formation en ligne	Cohérent pour évaluer le contexte du programme éducatif du Québec Détaillé, précis Utilise une approche développementale Notions de choix/d’interactions et d’intervention démocratique	Cible les interactions Temps d’administration court Matériel facile d’utilisation Abondamment utilisé au plan international, possibilité de comparer avec de nombreuses études européennes, utilisation française Vidéo et procédure de formation/certification standardisée Respecte la majorité des étapes de conception recommandées.
Limites	Mesure peu les interactions et la notion de choix donnés à l’enfant Moins représentatif de la culture et la réglementation québécoise ou française Pas de certification standardisée Structure de l’échelle pour sa cotation est contestée Approche par disciplines au détriment du développement global Certaines caractéristiques métrologiques ± contestées : structure interne validité prédictive		Temps d’administration 4 à 8 h Utilisation complexe (formation, administration, cotation) Utilisée au Québec uniquement, peu pertinent en contexte français Pas de vidéo et de procédure de formation standardisée Certaines caractéristiques métrologiques ± contestées : structure interne validité prédictive	Ne donne pas d’informations sur le matériel, l’aménagement, la sécurité, relations avec les parents, etc. La version francophone est en cours de validation. L’historique de conception n’est pas détaillé selon documentation disponible. Certaines caractéristiques métrologiques ± contestées : Validation de la structure interne à confirmer en contexte francophone Validité prédictive.

36Par ailleurs, chacun des trois instruments présente des limites. D’abord, l’analyse des écrits récents confirme que les validités prédictive, concourante et discriminante des trois instruments examinés sont relativement limitées. Ces informations s’avèrent primordiales si l’on souhaite utiliser ces instruments pour mieux comprendre les déterminants ou les effets de la qualité des SÉ. En effet, peu d’instruments d’observation ciblent des composantes particulières du développement de l’enfant ou de l’apprentissage, ce qui en limite la validité prédictive (Zaslow et al., 2006, 2011). Il est donc recommandé de poursuivre les recherches au sujet de leur validation. Alors que pour en accroitre la validité concourante, il est suggéré d’utiliser simultanément d’anciens et de nouveaux instruments (Bryant et al., 2011 ; Gordon et al., 2013). Enfin, la capacité discriminante de ces mesures devrait faire l’objet de questionnement avant de les utiliser pour évaluer les effets d’une nouvelle politique ou de nouvelles interventions visant à accroitre la qualité des processus dans les SÉ (Bryant et al., 2011 ; Corbière & Fraccaroli, 2014).

37D’autre part, il est à souligner que les trois instruments d’observation de la qualité des processus analysés n’ont pas été conçus pour mesurer le même construit de la qualité des processus. Par exemple, l’EOQE permet d’évaluer de façon globale le niveau d’application du programme éducatif du gouvernement du Québec. De son côté, le CLASS Pre-K est conçu pour évaluer la qualité des interactions, ce qui diffère de l’ECERS-R. Il est de mise de bien identifier ces différences afin d’en contextualiser les résultats pour les utilisateurs.

Conclusion

38En dernier lieu, au-delà des limites de l’analyse comparative des propriétés métrologiques de ces instruments, cet article souligne les limites inhérentes à la perspective positiviste afin d’aborder un concept polysémique tel que celui de la qualité des processus (voir Lehrer, Lemay & Bigras, 2015 ; Logan, Press & Sumsion, 2012). Afin de contourner ces limites, mais surtout d’ouvrir à de futurs travaux abordant l’évaluation de SÉ sous l’angle de la différenciation, de la diversité, de l’incertitude, voire du provisoire (Pirard, 2007), l’usage d’approches mixtes combinant plusieurs perspectives de la qualité des SÉ destinés à la petite enfance est à considérer. Plus précisément, les approches mixtes à visées transformatives (Creswell & Plano Clark, 2011 ; Michaud & Bourgault, 2010) permettent d’intégrer dans un même devis les perspectives post-positivistes et interprétatives dans une visée d’appropriation du pouvoir des participants observés. On pourrait ainsi parvenir à enrichir l’étude de ce phénomène complexe de qualité des SÉ en combinant l’usage d’instruments d’observation quantitatifs et d’entretiens qualitatifs pour comprendre en profondeur les points de vue des différents acteurs (enfants, parents, éducateurs, enseignants, gestionnaires) sur la qualité des processus. De surcroit, plusieurs soulignent que les connaissances au sujet des perceptions croisées de ces divers acteurs quant à la qualité des SÉ demeurent limitées (Barbarin et al., 2006 ; Fantuzzo, Perry & Childs, 2006 ; Fenech 2012 ; Li-Grining & Coley 2006). Cette option aurait l’avantage de soutenir un réel transfert des connaissances entre le milieu de la recherche et les professionnels, ce qui constitue la visée première d’études de la qualité des SÉ de la petite enfance.