1Dans le cadre de leurs activités d’évaluation, au Québec les professionnel·le·s du domaine de la santé mentale et des relations humaines, et en particulier les conseillers et conseillères d’orientation (C.O.) et les psychologues, ont fréquemment recours à des instruments psychométriques (Béland & Goupil, 2004, 2005 ; Boudrias et al., 2008 ; Charland, 2012 ; Dorceus, Le Corff, Yergeau, Gingras, & Savard, 2014 ; Le Corff et al., 2011). Ces outils fournissent une mesure standardisée, objective, fiable et valide d’une diversité de caractéristiques psychologiques, telles que la personnalité et les aptitudes (Bernaud, 2007 ; Guédon et al., 2011). L’évaluation psychométrique, pratique qui consiste essentiellement en l’utilisation d’instruments psychométriques, est ainsi employée dans divers secteurs, notamment dans le domaine clinique, en recherche, en éducation et en employabilité, à des fins d’orientation, de sélection, de classement, de dépistage et de diagnostic (Hogan, 2017 ; Neukrug & Fawcett, 2015 ; Urbina, 2014). De nombreuses études montrent l’efficacité de l’évaluation psychométrique dans le domaine clinique (Hanson & Poston, 2011 ; Meyer et al., 2001 ; Poston & Hanson, 2010), en contexte de sélection de personnel (Morris et al., 2015 ; Sackett et al., 2008 ; Schmidt et al., 2016) et en éducation (Sackett et al., 2008).
2Bien que les instruments psychométriques présentent des avantages considérables, ils comportent aussi certaines limites fondamentales. Ceuxci varient en termes de qualité (Cohen & Swerdlik, 2010 ; Miller & Lovler, 2016), génèrent des données qui peuvent évoluer (Guédon, 1994 ; Guédon et al., 2011), offrent une représentation partielle des caractéristiques de la personne évaluée (Guédon et al., 2011 ; Meyer et al., 2001) et sont vulnérables à une variété de sources d’erreur (Guédon, 1994 ; Hogan, 2017 ; Kaplan & Saccuzzo, 2017 ; Miller & Lovler, 2016 ; Urbina, 2014). Dans cette optique, il importe de reconnaître que les instruments psychométriques demeurent de simples outils (Bernaud, 2007 ; Cohen & Swerdlik, 2010 ; Urbina, 2014) dont l’usage professionnel qui en est fait détermine leur véritable portée.
3À partir du moment où les instruments psychométriques sont construits et mis à la disposition des professionnel·le·s, leur efficacité et leur impact relèvent en grande partie de l’utilisation qui en est faite. Des normes d’utilisation ont d’ailleurs été établies afin d’assurer la protection des personnes évaluées et du contenu des instruments psychométriques (American Educational Research Association, American Psychological Association, & National Council on Measurement in Education, 2014 ; International Test Commission, 2013).
4D’une part, des pratiques conformes aux normes d’utilisation, allant du choix de l’instrument jusqu’à la communication des résultats, contribuent à l’efficacité de l’évaluation psychométrique. D’autre part, des pratiques inappropriées peuvent compromettre la qualité de l’évaluation psychométrique en biaisant les résultats (Guédon, 1994 ; Urbina, 2014) et nuire aux personnes évaluées (Kaplan & Saccuzo, 2017 ; Miller & Lovler, 2016 ; Urbina, 2014), notamment en les étiquetant, en les démoralisant (Urbina, 2014) ou en menant à des diagnostics erronés et des décisions injustifiées (Miller & Lovler, 2016).
5Considérant la portée des pratiques d’évaluation psychométrique sur la qualité des services rendus aux personnes évaluées, en plus du risque de préjudice associé à l’utilisation des instruments psychométriques, il importe de se questionner quant aux pratiques d’évaluation psychométrique des professionnel·le·s ciblé·e·s, ainsi qu’aux variables potentiellement explicatives de ces pratiques. À cet égard, les résultats des recherches recensées suggèrent l’influence de certains facteurs sur les pratiques d’évaluation psychométrique liées notamment à la fréquence d’évaluation des construits psychologiques, la fréquence d’utilisation des instruments psychométriques et la proportion du temps consacré à l’évaluation psychométrique. Effectivement, ces pratiques varieraient selon le milieu de pratique (Dorceus, Le Corff, Yergeau, Gingras, & Savard, 2014 ; Dorceus, Le Corff, Yergeau, Savard, & Gingras, 2014 ; Hunsley et al., 2013 ; Palmiter, 2004), le secteur d’intervention (Jacobson et al., 2015 ; Peterson et al., 2014 ; Wright et al., 2017), la clientèle desservie (Béland & Goupil, 2005 ; Jacobson et al., 2015) et la formation continue suivie en psychométrie (Yergeau & Paquette, 2007).
6Une recension des écrits scientifiques révèle que seulement quelques recherches se sont intéressées, de manière marginale, à la pratique de certains groupes professionnels en matière d’évaluation psychométrique au Québec. Quelques-unes des études recensées datent de plus d’une dizaine d’années. Certaines n’examinent qu’en surface les pratiques évaluatives se limitant souvent à la recension des caractéristiques évaluées et des principaux instruments utilisés. D’autres portent sur des populations et clientèles particulières. Quelques études examinent de façon plus approfondie les pratiques d’évaluation psychométrique, mais demeurent essentiellement descriptives sans grande considération des diverses variables d’influence. Enfin, les variables qui sont mises en lien avec les pratiques d’évaluation psychométrique sont essentiellement d’ordre contextuel. Il n’existerait donc aucune donnée d’ensemble sur les pratiques d’évaluation psychométrique des différents groupes professionnels québécois qui tient compte des divers facteurs (contextuels et autres) pouvant influencer celles-ci. De telles études fourniraient une meilleure compréhension des pratiques d’évaluation psychométrique et des variables permettant de les expliquer.
7Au-delà des variables contextuelles possiblement liées aux pratiques d’évaluation psychométrique, la présente étude propose d’introduire une variable cognitive, soit les représentations sociales, qui sont souvent mobilisées dans les études portant sur les pratiques professionnelles dans les domaines de la santé et de l’éducation (Novara et al., 2017 ; Oudjani et al., 2015). En tant que « systèmes d’opinions, de connaissances et de croyances propres à une culture, une catégorie ou un groupe social et relatifs à des objets de l’environnement social » (Rateau & Lo Monaco, 2013, p. 3), les représentations sociales des professionnel·le·s à l’égard de l’évaluation psychométrique représentent une variable à explorer compte tenu du lien potentiel qu’elles entretiendraient avec les pratiques.
8Plus précisément, dans le cadre des pratiques d’évaluation psychométrique, il semble pertinent de mobiliser les représentations sociales liées aux approches d’évaluation privilégiées par les professionnel·le·s. Deux principales approches d’évaluation fournissent un cadre de référence à cet égard : le modèle de collecte d’informations et le modèle thérapeutique (Finn & Tonsager, 1997 ; Miller & Lovler, 2016). La première approche considère l’évaluation psychologique comme étant essentiellement une méthode de collecte d’informations sur la personne évaluée qui facilite la prise de décision et la communication entre professionnel·le·s impliqué·e·s (Finn & Tonsager, 1997 ; Miller & Lovler, 2016). Dans cette optique, les instruments psychométriques sont essentiels au processus et largement privilégiés pour leur fidélité, validité et capacité à prédire le comportement (Finn & Tonsager, 1997 ; Miller & Lovler, 2016). Enfin, la participation de la part de la personne évaluée est limitée, notamment dans le cadre de l’interprétation des résultats (Finn & Tonsager, 1997). Quant à l’approche thérapeutique, celle-ci considère l’évaluation psychologique comme une intervention thérapeutique visant un changement clinique chez la personne évaluée au-delà de l’objectif de collecte d’informations (Finn & Tonsager, 1997 ; Miller & Lovler, 2016). Pour ce faire, l’implication active de la personne évaluée est encouragée tout au long du processus d’évaluation, de la formulation des objectifs d’évaluation à l’interprétation des résultats (Finn et al., 2012 ; Finn & Tonsager, 1997). Une place centrale est également accordée aux processus se déroulant entre la personne évaluée et la personne évaluatrice, ainsi qu’à leur expérience subjective (Finn et Tonsager, 1997). Enfin, les instruments psychométriques sont perçus comme des outils permettant une meilleure communication avec la personne évaluée et l’accès à son expérience subjective (Finn et al., 2012 ; Finn & Tonsager, 1997).
9En proposant d’examiner le lien entre les approches d’évaluation thérapeutique et de collecte d’informations dans leur globalité et les pratiques d’évaluation psychométrique, la présente étude tente de développer la recherche portant sur ces modèles au-delà de l’analyse de leur efficacité relative (Aschieri et al., 2015 ; Hanson & Poston, 2011 ; Poston & Hanson, 2010) et de la fréquence de pratiques thérapeutiques strictement liées à la rétroaction de résultats (Curry & Hanson, 2010 ; Jacobson et al., 2015).
10Cet article a pour objectif général d’étudier certains facteurs associés à certaines pratiques d’évaluation psychométrique des C.O. et des psychologues. Pour ce faire, un premier objectif spécifique vise à identifier des facteurs contextuels et cognitifs (parmi les milieux de pratique, les secteurs d’intervention, les clientèles desservies, la formation continue en psychométrie et les représentations sociales liées aux approches d’évaluation psychométrique) associés à la fréquence d’utilisation des instruments psychométriques chez les C.O. et les psychologues. Le deuxième objectif spécifique est d’identifier des facteurs associés à la nature du principal construit psychologique mesuré pour chacun des groupes professionnels visés. Le recueil de données à ce sujet contribuera à une meilleure compréhension des pratiques d’évaluation psychométrique propres à chaque groupe professionnel ainsi que des variables contextuelles et cognitives liées à ces pratiques.
- 1 Il importe de préciser que les médecins psychiatres québécois faisaient initialement partie de la p (...)
- 2 Il s’agit d’un échantillon initial au sens où la taille de l’échantillon à l’étude varie en fonctio (...)
11L’ensemble des C.O. (N = 2302) et psychologues (N = 6096)1 inscrits comme membres actifs aux Tableaux des membres de l’Ordre des conseillers et conseillères d’orientation du Québec (OCCOQ, 2017) et de l’Ordre des psychologues du Québec (OPQ, 2017) et ayant fourni une adresse courriel a d’abord été sollicité sur une base volontaire par l’envoi d’un courriel d’invitation par l’entremise des ordres professionnels concernés. L’Association des psychologues du Québec (APQ), la Société québécoise pour la recherche en psychologie (SQRP), l’Institut de recherches psychologiques (IRP), ainsi que les réseaux sociaux des chercheurs (LinkedIn, Facebook et Twitter) ont également été mobilisés afin de rejoindre les participant·e·s. Du nombre total d’invitations, 12,9% des C.O. (n = 296) et 2,9% des psychologues (n = 177) ont répondu aux questions relatives aux pratiques à l’étude et aux facteurs potentiellement explicatifs, ce qui représente l’échantillon initial à l’étude 2.
12La collecte de données a été réalisée à l’aide d’un questionnaire bilingue (français et anglais) auto-complété par Internet par le biais du logiciel Limesurvey hébergé sur un serveur sécurisé de l’Université d’attache des chercheur·e·s. Les répondant·e·s devaient y répondre en fonction de leurs propres pratiques en matière d’évaluation psychométrique. La durée maximale du questionnaire était de trente minutes.
13Le contenu du questionnaire s’inspire de celui développé et administré dans le cadre de l’Enquête sur les pratiques en matière d’évaluation psychométrique des conseillers et conseillères d’orientation du Québec (Le Corff et al., 2011). Ce dernier a été bonifié de manière à représenter les pratiques des différent·e·s professionnel·le·s québécois·es et les variables supplémentaires propres à ce projet. Le questionnaire porte notamment sur la fréquence d’évaluation psychométrique (par ex. : En moyenne, à quelle fréquence utilisez-vous chacun de ces moyens d’évaluation [par ex. : instruments psychométriques, questionnaires maison, entrevues non structurées] ?), la place de différentes modalités d’utilisation des instruments psychométriques (par ex. : Dans le cadre de votre pratique professionnelle, approximativement quelle proportion de vos évaluations psychométriques est réalisée individuellement ou en groupe ?), les représentations sociales liées à l’évaluation psychométrique (par ex. : À quel point êtes-vous en accord ou en désaccord avec les affirmations suivantes à l’égard de l’évaluation psychométrique ?) et les principaux construits psychologiques mesurés (par ex. : Lorsque vous procédez à l’évaluation psychométrique dans le cadre de votre pratique professionnelle, quelles sont les caractéristiques [par ex. : personnalité] que vous évaluez le plus souvent à l’aide d’instruments psychométriques ?).
14Dans le cadre de l’objectif 1, la fréquence d’utilisation des instruments psychométriques est considérée comme la variable dépendante (fréquence sur une échelle ordinale en 6 points allant de « jamais » à « 7 fois et plus par semaine »). Plusieurs variables indépendantes sont considérées, soit 22 variables du côté des C.O. (nombre d’heures de formation continue en évaluation psychométrique, types de clientèles desservies, milieux de pratique, degrés d’adhésion aux approches d’évaluation thérapeutique et de collecte d’informations) et 25 variables du côté des psychologues (les mêmes variables que pour les C.O. en plus des secteurs d’intervention psychologique).
15Les milieux de pratique représentent des variables nominales dichotomiques correspondant au fait d’œuvrer ou non dans les milieux proposés. Le nombre de milieux de pratique varie selon l’appartenance professionnelle. Ainsi, six milieux sont retenus pour les C.O. et quatre milieux sont retenus pour les psychologues. Les secteurs d’intervention sont des variables spécifiques aux psychologues qui se distinguent non seulement en termes de milieux de pratique, mais de secteurs d’intervention psychologique. Ces variables sont également nominales dichotomiques correspondant au fait d’œuvrer ou non dans chacun des six secteurs d’intervention proposés. Les clientèles desservies sont aussi des variables nominales dichotomiques correspondant au fait d’œuvrer ou non auprès des clientèles proposées, soit 13 pour les C.O. et 12 pour les psychologues. Le nombre d’heures de formation continue suivie en psychométrie est aussi mobilisé en tant que variable indépendante (variable de ratio). Pour ce qui est des représentations sociales à l’égard de l’évaluation psychométrique, elles sont mesurées par deux échelles mesurant respectivement le degré d’adhésion à l’approche de collecte d’informations (alpha de Cronbach = 0,61) et le degré d’adhésion à l’approche thérapeutique (alpha de Cronbach = 0,64) (variables de ratio). Une analyse factorielle exploratoire avec rotation Varimax réalisée à partir de 15 énoncés relatifs aux caractéristiques du modèle de collecte d’informations et du modèle d’évaluation thérapeutique (items mesurés sur une échelle de type Likert en 5 points allant de « Tout à fait en désaccord » à « Tout à fait en accord ») a permis d’extraire deux facteurs distincts correspondant aux deux échelles (r = -0,14). Un item a été exclu parce qu’il présentait des indices de saturations équivalents aux deux facteurs. Le score associé à chacune des deux échelles représente le score moyen des sept items composant l’échelle.
16Pour ce qui est du deuxième objectif, il traite du principal construit mesuré en tant que variable dépendante (variable nominale à 4 catégories pour les C.O. [intérêts, personnalité, habiletés et autres construits] et 3 catégories pour les psychologues [habiletés, personnalité et santé mentale]) et des mêmes variables indépendantes mentionnées au premier objectif.
17Une première vague d’invitations a été envoyée le 17 novembre 2016 aux membres de l’OCCOQ (courriel ciblé) ainsi que le 5 décembre 2016 aux membres de l’OPQ (courriel ciblé) par l’entremise des listes d’envoi des ordres professionnels. Des courriels de rappel ont ensuite été acheminés aux membres de l’OCCOQ (2 rappels par courriel ciblé) au cours des mois de décembre 2016 et janvier 2017. Par la suite, l’invitation a été diffusée sur les réseaux sociaux (LinkedIn, Facebook et Twitter) de l’équipe de recherche durant les mois de janvier et février 2017. L’invitation a également été affichée sur les sites Internet de l’APQ (bannière sur la page d’accueil) et de la SQRP (babillard) à la fin du mois de janvier 2017. Enfin, d’autres courriels d’invitation ont été transmis à la fin du mois de janvier 2017 via la liste de diffusion de l’IRP et de la SQRP, ainsi qu’à la mi-mars 2017 par l’APQ. La collecte des données s’est officiellement terminée le 31 mars 2017.
18Dans le but d’identifier des facteurs associés à la fréquence d’évaluation psychométrique (objectif 1), des analyses de régression linéaire multiple pas à pas avec sélection statistique ont été réalisées pour chacun des groupes professionnels. Vingt-deux et vingt-cinq variables ont respectivement été introduites dans les analyses portant respectivement sur l’échantillon des C.O. et des psychologues. Une probabilité de F plus petite ou égale à 0,05 a été retenue comme critère d’entrée des variables et une probabilité de F plus grande ou égale à 0,10 a été retenue comme critère de suppression des variables. La méthode de sélection pas à pas se justifie par l’approche exploratoire adoptée dans le cadre de cette étude en l’absence d’hypothèses spécifiques sur la capacité prédictive des variables indépendantes (Tabachnick & Fidell, 2013). Cette méthode de sélection est d’autant plus privilégiée considérant le nombre élevé de variables indépendantes à inclure dans les analyses.
19Le tableau 1 présente les résultats de l’analyse de régression multiple pour expliquer la fréquence de l’évaluation psychométrique des C.O. À cet égard, le nombre d’heures de formation continue suivie en psychométrie (β = 0,22, p < 0,001), le fait d’œuvrer principalement auprès de la clientèle adulte (18 à 59 ans) (β = 0,16, p = 0,007) et le degré d’adhésion à l’approche de collecte d’informations (β = 0,19, p < 0,001) sont associés positivement à la fréquence d’évaluation psychométrique, alors que le fait d’œuvrer dans le milieu de l’éducation est associé négativement à cette même variable (β = -0,13, p = 0,028). Le modèle final est significatif et contribue à expliquer 15,4% de la variance de la fréquence d’évaluation psychométrique [F(4, 291) = 14,47, p < 0,001], ce qui constitue un effet de taille moyenne selon les barèmes de Cohen (1988).
20Concernant l’échantillon de psychologues, le tableau 1 montre que le fait d’œuvrer en psychologie clinique (β = -0,22, p = 0,001) est associé négativement à la fréquence d’évaluation psychométrique, alors que le fait de travailler en neuropsychologie (β = 0,34, p < 0,001), en expertise psycholégale (β = 0,23, p < 0,001) et auprès des enfants (0 à 12 ans) (β = 0,16, p = 0,011) et le degré d’adhésion à l’approche de collecte d’informations (β = 0,19, p = 0,002) sont associés positivement à la fréquence d’évaluation psychométrique. La combinaison de ces variables contribue à expliquer 37,9% de la variance de la fréquence d’évaluation psychométrique chez les psychologues [F(5, 171) = 22,47, p < 0,001], ce qui constitue un effet de grande taille.
Tableau 1 : Régression multiple pas à pas pour les variables associées à la fréquence d’évaluation psychométrique
Table 1 : Stepwise regression for variables associated with psychometric assessment frequency
|
B
|
ET
|
β
|
R2 partiel (ajusté)
|
C.O.
|
|
|
|
|
Heures de formation continue en psychométrie
|
0.02
|
0.01
|
.22***
|
.06
|
Clientèle : adulte (18-59 ans)
|
0.42
|
0.16
|
.16**
|
.04
|
Approche de collecte d’informations
|
0.45
|
0.13
|
.19***
|
.04
|
Milieu de pratique : éducation
|
-0.29
|
0.13
|
-.13*
|
.01
|
Psychologues
|
|
|
|
|
Secteur : psychologie clinique
|
-0.57
|
0.18
|
-.22**
|
.20
|
Secteur : neuropsychologie
|
1.01
|
0.20
|
.34***
|
.07
|
Secteur : expertise psycholégale
|
1.45
|
0.40
|
.23***
|
.05
|
Approche de collecte d’informations
|
0.49
|
0.16
|
.19**
|
.04
|
Clientèle : enfants (0-12 ans)
|
0.40
|
0.16
|
.16*
|
.02
|
Note. R2 ajusté = .15, F (4, 291) = 14.47, p < .001 pour les C.O. (n = 296). R2 ajusté = .38, F (5, 171) = 22.47, p < .001 pour les psychologues (n = 177).
* p < .05. ** p < .01. *** p < .001.
- 3 Certaines variables indépendantes ont été exclues des analyses de régression logistique multinomial (...)
21Afin d’identifier des facteurs associés à la nature du principal construit psychologique mesuré (objectif 2), des analyses de régression logistique multinomiale pas à pas avec sélection statistique ont été effectuées pour chaque groupe professionnel (pour les C.O., il s’agit exactement des mêmes 22 variables introduites pour l’objectif 1 ; pour les psychologues, il s’agit de 21 des 25 variables introduites pour l’objectif 13). Le tableau 2 présente les facteurs liés à la nature du principal construit mesuré par les C.O. (intérêts, personnalité, habiletés ou autres construits). Ainsi, les C.O. œuvrant auprès des adultes âgés de 60 ans et plus sont plus susceptibles que les autres C.O. d’évaluer la personnalité (B = -1,25, p < 0,001) et d’autres construits (B = -1,59, p = 0,008) comparativement aux intérêts. Les C.O. travaillant auprès des organisations ont aussi davantage tendance à évaluer la personnalité (B = -1,66, p = 0,008) et d’autres construits (B = -2,05, p = 0,018) par rapport aux intérêts. En outre, plus leur degré d’adhésion à l’approche de collecte d’informations augmente, plus il est probable que les C.O. évaluent les habiletés (typiquement cognitives) comparativement aux intérêts (B = 1,47, p = 0,017). Inversement, plus leur degré d’adhésion à l’approche thérapeutique est élevé, plus il est probable que les C.O. évaluent les intérêts comparativement aux habiletés (B = -1,29, p = 0,005). Enfin, le modèle global contribue à expliquer 17,5% de la variance du principal construit mesuré par les C.O. [χ2(12) = 47,04, p < 0,001], ce qui représente un effet de taille moyenne.
Tableau 2 : Régression logistique multinomiale pas à pas pour les variables associées à la nature du principal construit mesuré par les C.O. (n = 287)
Table 2 : Stepwise multinomial logistic regression for variables associated with the nature of the main construct measured by guidance counselors (n = 287)
|
B (SE)
|
OR [IC 95%]
|
Personnalitéa vs. Intérêts
|
|
|
Clientèle adulte (60 ans et plus)
|
-1.25 (0.37)***
|
0.29 [0.14, 0.60]
|
Clientèle : organisations et entreprises
|
-1.66 (0.62)**
|
0.19 [0.06, 0.65]
|
Approche de collecte d’informations
|
0.40 (0.32)
|
1.50 [0.80, 2.80]
|
Approche thérapeutique
|
-0.19 (0.28)
|
0.83 [0.48, 1.44]
|
Habiletésb vs. Intérêts
|
|
|
Clientèle adulte (60 ans et plus)
|
-0.74 (0.73)
|
0.48 [0.11, 2.00]
|
Clientèle : organisations et entreprises
|
-1.70 (0.90)
|
0.18 [0.03, 1.07]
|
Approche de collecte d’informations
|
1.47 (0.61)*
|
4.34 [1.31, 14.44]
|
Approche thérapeutique
|
-1.29 (0.46)**
|
0.28 [0.11, 0.67]
|
Autres construitsc vs. Intérêts
|
|
|
Clientèle adulte (60 ans et plus)
|
-1.59 (0.60)**
|
0.20 [0.06, 0.66]
|
Clientèle : organisations et entreprises
|
-2.05 (0.87)*
|
0.13 [0.02, 0.71]
|
Approche de collecte d’informations
|
-0.52 (0.57)
|
0.59 [0.19, 1.82]
|
Approche thérapeutique
|
0.65 (0.62)
|
1.92 [0.57, 6.45]
|
Note. OR = odds ratio ; IC = intervalle de confiance. La catégorie de référence est celle des intérêts (N = 173). R2 = .15 (Cox et Snell), .18 (Nagelkerke). χ2(12) = 47.04, p < .001. aN = 80. bN = 18. cN = 16.
*p < .05 **p < .01 ***p < .001
- 4 La catégorie comportant d’autres principaux construits mesurés (par ex. : troubles neuropsychologiq (...)
22Quant à la nature du principal construit mesuré par les psychologues (habiletés, personnalité ou santé mentale)4, le tableau 3 indique que celles et ceux œuvrant auprès des adultes (18-59 ans) sont plus susceptibles que les autres psychologues d’évaluer la personnalité (B = -1,38, p = 0,019) et la santé mentale (B = -1,89, p < 0,001) comparativement aux habiletés (principalement cognitives). À l’inverse, les psychologues œuvrant auprès d’une clientèle présentant une déficience intellectuelle sont davantage portés à évaluer les habiletés plutôt que la personnalité (B = 2,45, p = 0,031) et la santé mentale (B = 2,21, p = 0,003). En outre, les psychologues œuvrant auprès d’une clientèle présentant des troubles d’apprentissage ont davantage tendance à évaluer les habiletés par rapport à la personnalité (B = 1,70, p = 0,047). Quant aux psychologues œuvrant auprès d’une clientèle présentant des handicaps physiques ou sensoriels, elles et ils sont plus susceptibles d’évaluer la santé mentale comparativement aux habiletés (B = -1,29, p = 0,045). Enfin, le modèle global contribue à expliquer 47,4% de la variance du principal construit mesuré par les psychologues [χ2(8) = 82,80, p < 0,001], ce qui correspond à un effet de grande taille.
Tableau 3 : Régression logistique multinomiale pas à pas pour les variables associées à la nature du principal construit mesuré par les psychologues (n = 164)
Table 3 : Stepwise multinomial logistic regression for variables associated with the nature of the main construct measured by psychologists (n = 164)
|
B (SE)
|
OR [IC 95 %]
|
Personnalitéa vs. Habiletés
|
|
|
Clientèle adulte (18-59 ans)
|
-1.38 (0.59)*
|
0.25 [0.08, 0.80]
|
Clientèle présentant des
troubles d’apprentissage
|
1.70 (0.86)*
|
5.46 [1.02, 29.28]
|
Clientèle présentant une
déficience intellectuelle
|
2.45 (1.14)*
|
11.57 [1.25, 101.04]
|
Clientèle présentant des
handicaps physiques ou sensoriels
|
0.73 (0.16)
|
2.07 [0.21, 19.97]
|
Santé mentaleb vs. Habiletés
|
|
|
Clientèle adulte (18-59 ans)
|
-1.89 (0.53)***
|
0.15 [0.05, 0.43]
|
Clientèle présentant des
troubles d’apprentissage
|
0.77 (0.63)
|
2.15 [0.63, 7.39]
|
Clientèle présentant une
déficience intellectuelle
|
2.21 (0.73)**
|
9.12 [2.17, 38.29]
|
Clientèle présentant des
handicaps physiques ou sensoriels
|
-1.29 (0.64)*
|
0.28 [0.08, 0.97]
|
Note. OR = odds ratio ; IC = intervalle de confiance. La catégorie de référence est celle des habiletés (N = 104). R2 = .40 (Cox et Snell), .47 (Nagelkerke). χ2(8) = 82.80, p < .001. aN = 24. bN = 36.
*p < .05 **p < .01 ***p < .001.
23Cet article avait pour objectif d’identifier des facteurs associés aux pratiques d’évaluation psychométrique ciblées. À cet égard, il apparaît que ces facteurs varient selon l’appartenance professionnelle. D’abord, les facteurs retenus pour l’échantillon des C.O. contribueraient modérément à expliquer la fréquence d’évaluation psychométrique. Ainsi, considérant le lien anticipé entre la formation continue et les pratiques d’évaluation psychométrique (Yergeau & Paquette, 2007), on peut penser que le nombre d’heures de formation continue en psychométrie serait effectivement associé à une plus grande tendance à utiliser les instruments psychométriques. Il est aussi possible qu’une utilisation accrue des instruments psychométriques incite les C.O. à assister davantage à des activités de formation continue en psychométrie. De plus, considérant le fait que plus de la moitié des C.O. œuvrant dans le milieu de l’éducation travaille dans les écoles secondaires (53%) où l’accessibilité aux services d’orientation serait marquée par un manque de temps et de ressources (Ordre des conseillers et conseillères d’orientation et des psychoéducateurs et psychoéducatrices du Québec, 2010), l’utilisation d’instruments psychométriques serait moins propice aux contraintes du milieu. Cela serait en cohérence avec les résultats de l’étude de Dorceus, Le Corff, Yergeau, Gingras et Savard (2014) qui indique une utilisation moins fréquente des instruments psychométriques par les C.O. œuvrant dans les écoles secondaires comparativement aux autres C.O. Ces résultats pourraient aussi expliquer pourquoi les C.O. œuvrant auprès d’une clientèle adulte (18-59 ans), soit ceux œuvrant dans d’autres milieux que les écoles secondaires, utiliseraient davantage d’instruments psychométriques. Par ailleurs, il est intéressant de noter qu’au-delà des facteurs contextuels, le degré d’adhésion à l’approche de collecte d’informations serait associé à une plus grande utilisation des instruments psychométriques chez les C.O. et les psychologues. Cela est tout à fait cohérent avec le fait que les instruments psychométriques sont considérés comme étant essentiels à la prise de décision dans le cadre de cette approche (Finn & Tonsager, 1997 ; Miller & Lovler, 2016).
24En plus de ce facteur cognitif, d’autres facteurs contextuels seraient associés à la fréquence d’utilisation des instruments psychométriques chez les psychologues de façon plus importante que chez les C.O. Ainsi, le caractère indispensable des instruments psychométriques en neuropsychologie, dans le cadre d’évaluation de troubles neuropsychologiques (Office des professions du Québec, 2013 ; Rabin et al., 2016 ; Wright et al., 2017) et en expertise psycholégale (McLaughin & Kan, 2014) expliquerait le lien entre ces variables et la fréquence d’évaluation psychométrique. En comparaison, les psychologues clinicien·ne·s auraient tendance à moins utiliser les instruments psychométriques considérant le fait que leur principale activité est la psychothérapie (OPQ, 2018). Enfin, le fait d’intervenir principalement auprès d’enfants favoriserait l’utilisation d’instruments psychométriques. Auprès de cette clientèle, ces outils comportent effectivement une valeur ajoutée, notamment les échelles d’évaluation du comportement s’appuyant sur l’évaluation de multiples répondant·e·s (par ex. : parents et enseignant·e·s) qui permettent de mesurer efficacement un large éventail de comportements chez les enfants (Benson et al., 2019).
25En ce qui a trait à la nature du principal construit mesuré par les professionnel·le·s faisant partie de l’échantillon, il importe d’abord de noter que les intérêts professionnels représentent le construit le plus fréquemment identifié comme étant le principal construit mesuré par les C.O., alors qu’il s’agit des habiletés cognitives du côté des psychologues. Il faut d’ailleurs rappeler qu’au-delà du principal construit mesuré, les professionnel·le·s évaluent également d’autres construits.
26Du côté des C.O., certaines clientèles et les représentations sociales au sujet des approches d’évaluation seraient associées à la nature du principal construit mesuré de façon modérée. Ainsi, la nature des enjeux d’orientation particulièrement liés aux adultes âgés de 60 ans et plus expliquerait peut-être le fait que les C.O. œuvrant principalement auprès de cette clientèle soient plus susceptibles d’évaluer la personnalité et d’autres construits plutôt que les intérêts. Aussi, considérant le fait que le champ d’exercice des C.O. organisationnels s’écarte du champ général d’intervention du C.O. (OCCOQ, s.d.), il est logique que ces professionnel·le·s soient plus susceptibles d’évaluer d’autres construits dans le cadre de leur pratique, impliquant notamment l’évaluation du potentiel et la sélection de personnel. Enfin, les résultats indiquent qu’un plus haut degré d’adhésion à l’approche thérapeutique serait associé à une plus grande probabilité d’évaluer les intérêts comparativement aux habiletés et, qu’inversement, un plus haut degré d’adhésion à l’approche de collecte d’informations serait associé à une plus grande tendance à évaluer les habiletés plutôt que les intérêts. Cela pourrait s’expliquer par le fait que les professionnel·le·s adhérant à une approche thérapeutique semblent mettre l’accent sur l’évaluation de la personnalité (Finn & Chudzik, 2010 ; Frackowiak et al., 2015 ; Smith & Finn, 2014), ce qui s’étendrait aux construits connexes, tels que les intérêts professionnels.
27Quant aux psychologues, certaines clientèles desservies seraient fortement associées à la nature du principal construit mesuré. D’abord, le fait que celles et ceux œuvrant principalement auprès des adultes soient plus susceptibles d’évaluer la personnalité et la santé mentale comparativement aux habiletés cognitives s’expliquerait par la diversité des secteurs d’intervention dans lesquels on retrouve cette clientèle et donc des construits mesurés. De plus, considérant la nature cognitive des difficultés associées aux clientèles présentant des troubles d’apprentissage ou une déficience intellectuelle, il n’est pas étonnant de constater que les psychologues œuvrant auprès de ces clientèles sont davantage portés à évaluer les habiletés cognitives plutôt que d’autres construits. Enfin, la prévalence élevée de problèmes de santé mentale chez les clientèles présentant des handicaps physiques (Okoro & Dhingra, 2014 ; Okoro et al., 2009 ; Turner et al., 2006) expliquerait pourquoi les psychologues œuvrant auprès de ces clientèles ont davantage tendance à évaluer la santé mentale comparativement aux habiletés cognitives.
28En somme, il importe de noter que parmi les facteurs ciblés dans le cadre de cet article, le secteur d’intervention semble être davantage associé aux pratiques d’évaluation psychométrique que le milieu de pratique, la formation continue suivie en psychométrie et les représentations sociales liées aux approches d’évaluation psychométrique. La contribution du secteur d’intervention psychologique est en cohérence avec les études recensées présentées en introduction (Jacobson et al., 2015 ; Wright et al., 2017). La modeste contribution du milieu de pratique, identifié comme un facteur potentiel (Dorceus, Le Corff, Yergeau, Gingras, & Savard, 2014 ; Dorceus, Le Corff, Yergeau, Savard, & Gingras, 2014 ; Hunsley et al., 2013 ; Palmiter, 2004), laisse penser que c’est surtout le champ d’intervention visant une finalité particulière (par ex. : le secteur de la psychologie clinique dont la principale intervention est la psychothérapie) plutôt que le milieu de pratique (par ex. : santé et services sociaux) pouvant être associé à diverses finalités qui expliquerait certaines pratiques d’évaluation psychométrique. La clientèle desservie serait également un facteur potentiellement explicatif, tel que mis en évidence par Béland et Goupil (2005). Certaines clientèles favoriseraient ainsi des pratiques spécifiques, notamment en ce qui concerne les principaux construits mesurés. En outre, l’influence de la formation continue en psychométrie serait possiblement plus significative dans le cadre de l’étude de changements dans les pratiques, tel que cela avait été observé par Yergeau et Paquette (2007). Enfin, au-delà de la contribution de variables contextuelles pour expliquer les pratiques d’évaluation psychométrique ciblées, il est important de souligner la contribution additionnelle des représentations sociales liées aux approches d’évaluation privilégiées dans le cadre de certaines pratiques. Ainsi, la contribution de facteurs cognitifs dans l’étude des pratiques d’évaluation psychométrique mériterait d’être explorée davantage.
29La présente recherche comporte certaines limites sur le plan méthodologique. D’abord, le faible taux de réponse obtenu a pu limiter la représentativité des échantillons (Beaud, 2016 ; Fortin & Gagnon, 2016). En outre, la recommandation de Tabachnick et Fidell (2013) quant au nombre de sujets requis par variable indépendante (40 pour 1) dans le cadre d’analyses de régression pas à pas n’est pas toujours respectée. À titre d’exemple, l’échantillon de 296 C.O. mobilisé dans le cadre de l’analyse de régression pour expliquer la fréquence d’évaluation psychométrique est nettement sous le minimum recommandé de 880 sujets considérant l’inclusion de 22 variables indépendantes. Il en est de même pour l’échantillon de psychologues. Cela aurait eu comme effet de limiter la puissance statistique disponible, soit la capacité à détecter des relations significatives (Tabachnick & Fidell, 2013) et donc limiter le nombre de variables retenues dans les modèles.
30Dans le cadre des analyses de régression logistique multinomiale, l’échantillon de psychologues présente aussi une limite quant à la nature des variables indépendantes retenues bien qu’elles contribuent à expliquer une large proportion de la variance du principal construit mesuré. Tel que mentionné précédemment en note de bas de page, certaines variables potentiellement explicatives ont été exclues des analyses puisqu’elles ne respectaient pas le nombre minimal de cas requis par catégorie du principal construit mesuré.
31Il importe également de mentionner que les échelles d’adhésion aux deux approches d’évaluation présentaient de faibles indices de cohérence interne selon les barèmes établis (Hogan, 2017). Cela a pu limiter leur contribution relative dans les modèles de régression.
32En termes de pistes de recherche, il y aurait matière à examiner d’autres variables potentiellement explicatives des pratiques d’évaluation psychométrique, particulièrement des C.O., considérant la proportion parfois très limitée de la variance expliquée par les variables ciblées dans le cadre de cette étude. En d’autres mots, il serait pertinent d’explorer d’autres variables au-delà des facteurs contextuels recensés dans les études mobilisées dans l’introduction du présent article. De plus, il serait intéressant de refaire les analyses avec un plus grand échantillon, des échelles d’adhésion aux approches d’évaluation bonifiées et de nouvelles données, notamment liées à la formation initiale (par ex. : le nombre d’heures de formation initiale en psychométrie ou le nombre de crédits en psychométrie au cours de la formation initiale). Il serait aussi pertinent d’examiner la contribution des facteurs mobilisés dans la présente étude sur la variance des autres pratiques d’évaluation psychométrique, telles que la sélection des instruments psychométriques et le respect des normes de pratique. Enfin, il serait souhaitable d’étudier d’autres pratiques professionnelles que celles examinées dans le cadre de cet article.