1. Introduction

3Évidemment, plusieurs facteurs sont générateurs d’une telle difficulté concernant les tests statistiques. Ainsi, nous sommes convaincus que l’obstacle de leur enseignement ne sera surmonté qu’à l’issue d’une étude approfondie des causes sous-jacentes. Il nous apparaît que les facteurs de difficultés sont pour la plupart d’entre eux raisonnablement repérés et bien compris, ou pour le moins reconnus. Mais quelques facteurs restent méconnus, voire ignorés. Cet article est focalisé sur l’exploration de l’effet chez des étudiants en dernière année de licences scientifiques, relevant d’universités du Maroc, de deux facteurs particuliers, souvent déconsidérés et négligés dans les études exploratoires publiées sur les éventuelles incompréhensions relativement à la statistique en général et de concepts associés aux tests statistiques en particulier. Depuis plusieurs années, ces deux facteurs ont suscité notre curiosité, ainsi qu’une préoccupation et un intérêt particuliers. Il s’agit spécifiquement du « vocabulaire » en usage dans la pratique des tests statistiques et de « l’ambiguïté linguistique » que les expressions habituellement utilisées lors de la mise en œuvre des procédures peuvent véhiculer.

4Remarquons que le développement des concepts est intimement dépendant du vocabulaire qui est utilisé afin de les mobiliser dans les procédures sous-jacentes. Nous ne pouvons rien savoir des concepts sans les mots qui les désignent. Et ceux-ci peuvent être chargés de sens dans le langage courant. Pointons au passage le cas de l’étudiant qui lie toujours le mot « population » à un ensemble d’êtres humains seulement. De plus, les étudiants ont des difficultés notoires à appréhender les concepts statistiques, ne comprenant pas bien les concepts de base, que nous indiquerons plus avant dans cet article. D’une manière équivalente, ceci peut être exprimé de la façon suivante : « Les étudiants ne maîtrisent pas bien le vocabulaire de base, et de ce fait éprouvent des troubles au contact de concepts plus complexes ». Dans la plupart des cas, le vocabulaire statistique (de base) utilise des mots de tous les jours, mais souvent avec des significations spécialisées. Les étudiants devront alors accomplir deux opérations intellectuelles : connaître la signification spécialisée et se représenter la signification courante. Plus encore, beaucoup de ces concepts de base sont superficiellement simples, mais ils sont en réalité beaucoup plus complexes ou subtils. Par exemple, le terme « population », que nous avons déjà évoqué, peut signifier, dans le langage de tous les jours, soit l’ensemble des gens qui vivent dans un pays, soit leur effectif. En statistique, dans le cadre d’une étude donnée, la population désigne un ensemble (Mclean, 2002), celui des éléments considérés, nommés alors les individus de l’étude.

6Pareillement, la notion de preuve, utilisée dans des domaines où les tests statistiques jouent un rôle très important (le domaine de droit, par exemple) n’est pas absolue. Une déclaration peut être considérée comme prouvée si l’argumentation avancée en sa faveur semble être « assez solide » et est une base satisfaisante pour une prise de décision. Ainsi, si on « prouve » qu’une personne est coupable d’un acte criminel, cela signifie que la « preuve » avancée contre cette personne est assez solide, allant au-delà du doute raisonnable, et qu’il apparaît donc justifié de prononcer une condamnation. « Preuve » dans ce cas signifie donc « preuve au-delà du doute raisonnable » et non pas « au-delà du doute. »

7La tendance à concevoir un test statistique de façon mécanique est accentuée dans l’esprit de plusieurs étudiants et professionnels. Il est clair que des outils mathématiques, souvent complexes, sont utilisés dans la pratique des tests statistiques, mais la situation reste la même que dans le domaine de l’architecture, par exemple, où les calculs mathématiques sont seulement des aides à la réalisation du design d’un bâtiment. Le vocabulaire généralement utilisé, à savoir l’utilisation des mots « prouver » et « vrai », peut tromper. Le fait de parler de valeurs vraies d’un paramètre, de preuve, de règles de décision et de niveaux de signification 1 %, 5 %, est aussi trompeur. Un test statistique n’est pas directement concerné par la valeur d’un paramètre, mais par les modèles probabilistes qui traduisent au mieux la situation étudiée (Mclean, 2000). Accepter un modèle associé à une valeur spécifique d’un paramètre, signifie seulement qu’il est raisonnable de fonder nos prédictions sur un tel modèle ; le rejeter signifie qu’il est préférable d’utiliser un autre modèle, associé à une valeur différente de ce paramètre.

9Considérons, par exemple, les deux expressions suivantes : « La probabilité d’obtenir les données 𝔇 par hasard » et « La probabilité que les données 𝔇 soient obtenues par hasard ». Il n’est pas surprenant que ces expressions soient considérées par beaucoup de gens comme traduisant une même signification. Pourtant, la première expression signifie : « la probabilité qu’un processus considéré comme aléatoire, appelé H, peut produire 𝔇 », alors que la seconde signifie : « la probabilité qu’un événement connu 𝔇, soit produit par un processus aléatoire H ». La première expression fait alors référence à \({\rm P}\left( {\mathfrak{D} \mid {\rm H}} \right)\), et la seconde à \({\rm P}\left( {{\rm H} \mid \mathfrak{D}} \right)\).

10Il est aussi facile de trouver des expressions relatives à des relations à caractère probabiliste qui peuvent conduire à plus d’une seule interprétation. Par exemple, l’expression : « la probabilité que le hasard produise les données 𝔇 », peut être considérée comme étant équivalente à : « sachant qu’un processus est aléatoire, la probabilité que les données 𝔇 soient produites ». Mais, il peut aussi signifier : « la probabilité qu’un processus aléatoire puisse produire les données 𝔇 ». Soit H désignant le processus aléatoire, la première expression peut être représentée par \({\rm P}\left( {\mathfrak{D} \mid {\rm H}} \right)\), et la seconde peut être représentée par \({\rm P}\left( {{\rm H} \cap \mathfrak{D}} \right)\) \(\left( {ou\;{\rm P}\left( {\rm H} \right).{\rm P}\left( {\mathfrak{D} \mid {\rm H}} \right)} \right)\). Cette erreur est souvent commise en matière de tests statistiques. Par exemple, la définition de la puissance est : « la probabilité de rejeter avec raison l’hypothèse nulle ». Elle signifie donc la probabilité de rejeter l’hypothèse nulle, sachant qu’elle est fausse. Cependant, cette dernière interprétation n’est pas la seule, la puissance pourrait aussi être interprétée comme étant « la probabilité de rejeter avec raison l’hypothèse nulle », qui est, en fait, la probabilité conjointe des deux événements : « l’hypothèse nulle est fausse » et « on rejette l’hypothèse nulle ».

11Pareillement, l’ambiguïté linguistique associée à l’expression « erreur de 1^ère espèce » contribue aussi à la tendance à interpréter le niveau de signification, souvent noté \( \alpha \), qui est égal à la probabilité de la région critique RC sachant que l’hypothèse H₀ est vraie (P(RC|H₀)), comme étant (erronément) égal à la probabilité P(H₀|RC). Cette erreur vient du fait que le concept de niveau de signification est souvent présenté aux étudiants et aussi introduit dans la plupart des ouvrages, même spécialisés en statistique comme étant égal à la probabilité de l’erreur de 1^ère espèce. Cette interprétation (ou cette présentation) se forme facilement dans les esprits des étudiants et semble être la racine de la confusion subséquente, étant donné que \( \alpha \) est une probabilité conditionnelle bien définie, alors que l’expression « erreur de 1^ère espèce » n’est pas conditionnellement formulée. De même, les étudiants savent que rejeter H₀ et commettre une erreur sont usuellement associés. Cette ambiguïté linguistique permet à la combinaison exacte des deux événements : « rejet de H₀ » et « commettre une erreur » d’être ouverte à différentes interprétations : s’agit-il de leur conjonction ou d’un événement sachant le second ? Maintenant, quand H₀ est rejetée et que nous voulons vérifier la probabilité de l’erreur commise, nous nous demandons de quel type d’erreur il s’agit. Naturellement, le concept lâche « erreur de 1^ère espèce » vient immédiatement à l’esprit. Ainsi, la distinction cruciale entre les deux directions opposées des probabilités conditionnelles devient floue via la médiation de l’expression mal définie « erreur de 1^ère espèce ». L’emploi de cette expression de médiation devrait être accompagné de sa probabilité, sinon il est préférable d’invoquer le risque de première espèce. Comme des manuels scolaires, ouvrages et enseignants le signalent souvent, « l’événement conditionnel » (A|B) n’est pas à proprement parler un concept légitime. Ce sont les probabilités de cet événement (c’est-à-dire, les probabilités conditionnelles) qui lui donnent une valeur convenable et sa légitimité, et permettent de le définir sans équivoque comme un rapport de probabilités d’événements. « L’erreur de 1^ère espèce » est ainsi une expression malheureuse en tests statistiques (Falk, 1986).

12Nous procéderons tout au long de cet article à une étude exploratoire sur l’effet que pourraient impliquer le vocabulaire et l’ambiguïté linguistique sur la compréhension des concepts qui fondent les tests statistiques chez les étudiants susmentionnés. Mais auparavant, nous allons, dans un premier temps, partager avec le lecteur les autres facteurs, que nous estimons générateurs de difficultés d’appréhension. Signalons que nous avons pu déduire ces facteurs, qui se présentent souvent de manière assez subtile, d’une réflexion approfondie et de longue haleine, ainsi que d’une revue de littérature très diverse en rapport avec les tests statistiques. Cela a constitué pour nous un défi à surmonter un problème didactique qui n’a jamais cessé de nous préoccuper et avec lequel nous avons vécu depuis plusieurs années. Signalons qu’il existe des détracteurs qui critiquent l’usage des tests statistiques en recherche expérimentale, en proposant sa pure et simple exclusion de l’enseignement ou au moins son accompagnement par d’autres méthodes statistiques telles que les intervalles de confiance, la taille de l’effet, etc. Mais on doit prendre en considération, d’une part, que la pratique des tests statistiques a eu cours dans le passé, continue d’être utilisée aujourd’hui et restera certainement en usage pour plusieurs années encore, et d’autre part, que cet outil est théoriquement solide, historiquement enraciné et qu’il est utilisé très généralement comme il devrait effectivement l’être (Mclean, 2002 ; Zaki & Elm’hamedi, 2013). Plusieurs alternatives aux tests statistiques ont été proposées. Cependant, chacune peut être évaluée pour sa capacité à remplacer ou compléter la procédure des tests statistiques d’aujourd’hui. Pareillement, il est à signaler qu’une théorie pourrait être considérée favorable jusqu’à ce qu’une autre théorie prouve elle-même être plus désirable scientifiquement et méthodologiquement. Cet article s’inscrit donc dans le cadre de l’idée réaliste suivante : « sachant que les tests statistiques continueront d’être utilisés dans le futur, qu’est-ce qui peut être fait pour améliorer leur utilisation ? » Il est ainsi écrit avec l’idée que les tests statistiques constituent « les meilleures » alternatives disponibles dans la boîte à outils de l’inférence statistique.

2. Autres facteurs susceptibles d’avoir des effets sur la compréhension des tests statistiques

13Les facteurs contribuant aux difficultés de compréhension des tests statistiques sont multi-dimensionnelles et assez nombreux. Ils reflètent la multitude de difficultés et de conceptions erronées détectées chez les apprenants et les utilisateurs à tout niveau d’expertise. Comme nous l’avons signalé dans l’introduction de ce travail, nous allons présenter dans cette section des facteurs autres que le vocabulaire et l’ambiguïté linguistique sur lesquels repose la présente étude. Nous avons répertorié ces autres facteurs en cinq classes essentielles, que nous présenterons dans ce qui suit, à savoir : « la complexité de la nature de l’inférence statistique », « la complexité de la nature de l’outil des tests statistiques », « les pratiques usuelles d’enseignement de l’outil des tests statistiques », « l’usage aveugle des logiciels spécialisés en statistique » et enfin « les facteurs psychanalytiques ».

2.1. La nature complexe de l’inférence statistique

14Contrairement à la statistique descriptive, la statistique inférentielle sert, d’une part, à évaluer des hypothèses statistiques, et d’autre part, à estimer des paramètres de populations, et ce sur la base d’un ensemble de caractéristiques très spécifiques (Elm’hamedi, 2010). Elle est ainsi caractérisée par un ensemble de propriétés essentielles. Nous citerons, à titre d’exemples, les trois éléments suivants : « la multitude d’écoles » (ou de théories) pour traiter une situation-problème donnée, « la non-unicité » du résultat fourni par l’ensemble de ces écoles, et l’obligation d’utilisation d’une notion très complexe appelée « jugement » pour tirer une conclusion, quelle que soit la théorie utilisée.

2.1.1. La multitude d’écoles

15Actuellement, nous avons au moins quatre écoles différentes de pensée de référence concernant la statistique inférentielle. Il y a « l’approche fishérienne », « l’école de Neyman-Pearson », « la théorie bayésienne » et celle de « vraisemblance ». Une description assez détaillée et une évaluation entière de chacune d’elles sont présentées dans Oakes (1986). Il faut noter qu’aucune de ces approches statistiques n’est sans controverses et ni sans critiques. Toutefois, chaque école est un paradigme à part ayant son propre raisonnement, sa propre logique, sa propre force de preuve, ses concepts spécifiques, sous-jacents aux résultats auxquels il peut aboutir. Plus encore, dans une situation donnée d’inférence statistique, les résultats auxquels on pourrait aboutir pourraient éventuellement varier d’une école à l’autre, étant donné qu’elles se basent toutes sur un élément fondamental caractérisant la statistique inférentielle qui est « le jugement argumenté ».

2.1.2. La non-unicité du résultat fourni

16Le caractère de non-unicité relatif au résultat fourni par application des outils de l’inférence statistique est un obstacle pour les étudiants, voire même les professionnels de la statistique. Ces derniers continuent à croire que la statistique inférentielle est semblable à la statistique descriptive ; de ce fait, ils considèrent que les résultats de cette discipline devraient a priori revêtir un caractère absolu. Cela est sans doute à l’origine de certaines conceptions erronées chez les différents utilisateurs. En fait, la statistique inférentielle utilise la notion de probabilités, et en particulier celle des probabilités conditionnelles : la probabilité des hypothèses H sachant des données 𝔇 (P(H|𝔇)) dans le cas de la statistique bayésienne et la probabilité des données sachant les hypothèses (P(𝔇|H) dans le cas des théories de Fisher et de Neyman-Pearson. Ces nuances introduites dans les paradigmes de base de ces différentes théories contribuent largement à la non-unicité du résultat fourni face à une situation donnée.

2.1.3. La complexité de la tâche de formulation de l’élément de jugement

17Outre la non-unicité du résultat fourni par les différentes théories de la statistique inférentielle, le jugement du statisticien, qui s’appuie sur sa connaissance du domaine de recherche travaillé, reste prépondérant pour la détermination d’un résultat. Du point de vue de l’enseignement, les étudiants sont souvent en attente de règles de décision rigides et habillées de fer, telles par exemple : « si la taille n de l’échantillon est supérieure ou égale à 30 alors la loi de la distribution dans l’échantillon sera normale, et si n est inférieur à 30 alors elle ne le sera pas », ou encore « si la p-valeur p est inférieure à 0,05 alors on rejettera H₀, sinon on échouera à rejeter H₀ », etc. Cependant, ils ont souvent des difficultés avec une approche qui dit : « utilisez votre jugement pour conclure ». Il faut dire que l’instauration de la valeur du jugement dans une situation d’inférence statistique, est assez complexe car elle dépend de la théorie adoptée : de Fisher, de Neyman-Pearson, de Bayes… D’ailleurs, la détermination de la valeur seuil (\(\alpha \)) prise pour le niveau de signification et de la probabilité a priori de H₀ (P(H₀)), utilisées respectivement comme éléments de jugements dans le cas des tests statistiques et celui de la statistique bayésienne, est une tâche qui exige une réflexion approfondie sur plusieurs paramètres directement reliés aux contraintes du problème posé (Labovitz, 1970 ; Elm’hamedi, 2010 ; Zaki & Elm’hamedi, 2013).

2.2. La nature complexe des tests statistiques

18La nature même des tests statistiques leur confère un caractère subtil, car leurs concepts de base sont à la fois abstraits et ouverts à plusieurs interprétations (Watts, 1991). Les fondements mathématiques et la terminologie véhiculés par les procédures sous-jacentes aux tests statistiques sont à l’origine de difficultés et de conceptions erronées chez les étudiants, voire même chez les utilisateurs professionnels (Oakes, 1986 ; Poitevineau, 1998 ; Haller & Krauss, 2002). Les notions de vocabulaire et d’ambiguïté linguistique, faisant l’objet du travail d’expérimentation rapporté dans cet article, relèvent toutes deux de cette catégorie importante et de la nature complexe de l’outil des tests statistiques.

2.2.1. Le caractère difficile du fondement mathématique

19Le fondement mathématique, en particulier probabiliste, justifiant la construction des tests statistiques dépasse généralement les connaissances des programmes d’enseignement dans lesquels ces tests sont présentés. Ce n’est qu’au niveau d’un Master de mathématiques que l’on peut a priori établir en toute rigueur la théorie de cet outil (Zaki & Elm’hamedi, 2009, 2013). Par ailleurs, la notion de probabilités conditionnelles, considérée comme la pierre angulaire sur laquelle reposent les procédures sous-jacentes aux tests statistiques, est un exemple significatif de notion qui engendre beaucoup de difficultés chez les étudiants et les utilisateurs à tout niveau d’expertise. Par exemple, beaucoup d’étudiants utilisent les relations probabilistes erronées suivantes : P(𝔇|H) = P(H|𝔇), P(𝔇|H) = P(H∩𝔇), … (Falk, 1986 ; Falk & Greenbaum, 1995 ; Nickerson, 2000).

20De plus, il est probable que ce soit la complexité de ce fondement mathématique qui amène souvent les enseignants à ne pas présenter à leurs étudiants les tests d’hypothèses (surtout paramétriques) à partir d’un modèle statistique \(\left( {{\rm{\Omega }},\Gamma ,{\rm P}_\theta } \right)_{\theta \in \Theta} \), en ne leur faisant pas connaitre, par exemple, que la région critique est non seulement un élément de la tribu Γ mais aussi que sa détermination nécessite, sous certaines conditions, la résolution d’un problème d’optimisation (probabiliste) induisant la minimisation simultanée de deux types de risques d’erreurs définis à partir d’une « fonction coût » et d’un « espace d’actions » fixés a priori.

2.2.2. La multitude de terminologies et de définitions

21Une étude de la littérature de concepts particuliers impliqués dans les tests statistiques démontre l’existence de plusieurs inconsistances qui sont associées aux définitions et à la terminologie habituellement utilisées. Truran (1998), par exemple, a observé un manque de consistance et de compréhensibilité dans une étude qu’il a menée sur les différentes définitions de l’hypothèse nulle H₀ qui existent dans les ouvrages et manuels de statistique. De leur côté, Freund et Perles (1993) ont aussi trouvé quatre définitions différentes du concept de p-valeur. Le niveau de signification a été nommé aussi alpha, et il est représenté par le symbole \( \alpha \) ou (peu couramment) par le symbole P_critique (Thompson, 1994). La p-valeur a été référée à « la probabilité de signification », « le niveau de probabilité » (Huberty, 1987), « p » (Carver, 1978), « P_calculée » (Thompson, 1994), « prob-value », « probabilité queue », « P », « P-value » et « niveau de signification descriptif » (Freund & Perles, 1993). On comprend que de toutes ces différences peuvent résulter des troubles.

2.3. Les pratiques usuelles d’enseignement des tests statistiques

22La difficulté de l’enseignement et aussi de l’apprentissage du sujet des tests statistiques est largement reconnue (Garfield & Ahlgren, 1988 ; Hawkins, 1991). Les travaux antérieurs remettent surtout en cause les pratiques usuelles d’enseignement de cet outil, car celles-ci restent essentiellement ancrées sur des formules et des techniques routinières (Ehrenberg, 1990), encourageant l’apprentissage par cœur et le calcul machinal, plutôt que la réflexion et l’interprétation des résultats (Hawkins, Jolliffe & Glickman, 1992). Malheureusement, ces pratiques d’enseignement présentent souvent les tests statistiques non seulement comme « un amalgame entre les tests de signification et ceux d’hypothèses », mais aussi « de façon isolée, sans leur intégration dans un modèle plus général de l’inférence scientifique », et enfin comme « seul outil de la statistique inférentielle, qui sert à évaluer la discordance qui pourrait exister entre des données construites et des hypothèses scientifiques ».

2.3.1. La présentation des tests statistiques comme amalgame entre les tests de signification et ceux d’hypothèses

23Plusieurs auteurs ont déclaré que la base théorique des tests statistiques est largement mal comprise (voir Oakes, 1986 ; Gigerenzer & Murray, 1987 ; Pollard & Richardson, 1987 ; Lunt & Livingstone, 1989 ; Cohen, 1994 ; Dracup, 1995). Gigerenzer (1993) a argumenté que les conceptions de la plupart des étudiants de psychologie relatives à l’inférence statistique sont incohérentes parce qu’elles dérivent de deux théories mutuellement incompatibles, d’une part, celle de Fisher, et de l’autre, celle de Neyman-Pearson (Gigerenzer & Murray, 1987 ; Sedlmeier & Gigerenzer, 1989). Bien que la théorie de Neyman-Pearson se soit développée en dehors de celle de Fisher, il n’en reste pas moins qu’il y a eu beaucoup de débats entre ceux qui appuient la théorie de Fisher et ceux qui appuient celle de Neyman-Pearson, autour de la nature même de l’inférence statistique (Box, 1978 ; Kruskal, 1980). Dans le domaine de la psychologie, par exemple, où les tests statistiques jouent un rôle très important, Gigerenzer (1993) a étudié trente ouvrages de statistique destinés aux étudiants de cette discipline, sans relever aucune discussion sur les deux approches de Fisher et de Neyman-Pearson. Ses conclusions étaient que ce qui est devenu institutionnel en psychologie et même en d’autres branches des sciences sociales n’était plus la statistique fishérienne ou neyman-pearsonienne, mais un amalgame incohérent d’idées incompatibles de Fisher et de Neyman-Pearson. Selon lui, cet amalgame est, en quelque sorte, la progéniture résultant d’un mariage forcé entre ces deux théories.

2.3.2. La présentation de façon isolée d’une procédure de tests statistiques

24Il est important de rappeler qu’une procédure de tests statistiques n’est qu’une partie d’un processus plus global d’inférence scientifique. Une telle procédure ne doit donc pas être mise en œuvre sans être intégrée à une approche méthodologique de recherche plus générale et à un plan expérimental adéquat.

25Malheureusement, une telle procédure est souvent présentée aux étudiants de la manière mécanique suivante : a) on se donne deux hypothèses statistiques H₀ et H₁, et des données D₀, b) on effectue un calcul probabiliste, et enfin c) on tire une conclusion de type : « Rejeter H₀ », « Accepter H₀ » (ou éventuellement : « Echouer à rejeter H₀ »). De cette façon de faire peuvent résulter plusieurs difficultés d’appréhension relatives aux tests statistiques. Notamment, peuvent être occultées les propriétés fondamentales suivantes :

• Les procédures sous-jacentes aux tests statistiques ne doivent pas être mises en œuvre comme une recette qui donne automatiquement et commodément l’une des réponses : « Rejeter H₀ », « Accepter H₀ » ou « Echouer à rejeter H₀ », à n’importe quel problème posé.

• Le rôle effectif d’un test statistique est d’une manière générale la mise en évidence des fluctuations d’échantillonnages et des erreurs de mesures expérimentales commises lors de la construction des données D₀. Cela ne sera pas garanti par cette façon de présenter les tests statistiques, puisque les données D₀ sont éventuellement imaginées par l’enseignant et non construites par l’étudiant.

• Les hypothèses statistiques H₀ et H₁ sont seulement deux modèles représentant chacun une hypothèse ou une action scientifique. En outre, les scientifiques ne sont intéressés ni par les tests statistiques, ni par les hypothèses testées par ces tests, mais plutôt par des hypothèses (d’étendue plus large) qui réfèrent à un phénomène scientifique, c’est-à-dire, à des hypothèses scientifiques. Ces dernières sont différentes des hypothèses testées par les tests statistiques. D’où l’importance de l’interprétation qui s’inscrit dans une connaissance du champ de recherche.

• Le résultat fourni par un test statistique, à savoir : « Rejeter H₀ », « Accepter H₀ » ou « Echouer à rejeter H₀ » n’est pas l’objectif ultime du chercheur. En pratique, il faut poursuivre la recherche en optant pour d’autres plans expérimentaux bien construits, et en utilisant éventuellement des outils de l’inférence statistique autres que les tests statistiques, afin de mettre en évidence la signification pratique qui intéresse avant tout le chercheur.

2.3.3. La présentation des tests statistiques comme seul outil pour évaluer des hypothèses scientifiques (l’anti-pluralisme)

• • 8 Pour en savoir plus sur cette correspondance, consulter Dacunha-Castelle et Duflo (1990).

  Ne présentent pas à leurs étudiants la correspondance qui existe entre les tests d’hypothèses et les intervalles de confiances (i.e., comment peut-on construire à partir de la région critique d’un test d’hypothèses de taille \(\alpha\), un intervalle de confiance \((1-\alpha)\), et vice versa ?)8,

• Interprètent les intervalles de confiance comme étant des intervalles de crédibilité selon la statistique bayésienne (Lecoutre, 2006), et déclarent erronément que « [a,b] est un intervalle de confiance \((1-\alpha)\) du paramètre \(\theta \) signifie que la probabilité \(P\left( {\theta \in \left[ {a,b} \right]} \right)\) est égale à \((1-\alpha)\) ».

27Aussi, une présentation diversifiée d’outils d’inférence statistique peut permettre aux étudiants non seulement de savoir que l’outil des tests statistiques n’est pas un générateur des probabilités conditionnelles P(H|𝔇) propres à la statistique bayésienne, mais aussi de pouvoir « appliquer une étendue variée de stratégies » et de « sélectionner et utiliser différents types de raisonnements et de preuves appropriés ». Cependant, il est important de noter que la pensée statistique n’est pas fondée sur la méthode statistique que l’on doit appliquer. Bien entendu, toutes les méthodes statistiques déjà mentionnées peuvent donner lieu à des recettes spécifiques appliquées de manière routinière. Or, une pensée statistique solide va au-delà de cette capacité, elle s’intéresse d’abord et avant tout à la justification de la procédure qui sera retenue. Effectuer des calculs statistiques suivant une procédure n’est pas ce que nous comprenons par pensée statistique. Pour ce faire, nous avons des logiciels. La pensée statistique est nécessaire au début – c’est-à-dire, le choix de la méthode inférentielle appropriée – et à la fin – c’est-à-dire, l’interprétation du résultat de tout processus inférentiel statistique.

28Cependant, en enseignant des approches inférentielles variées, il est important de ne pas tomber dans le piège du dogmatisme et de ne pas se contenter de remplacer les tests statistiques par une autre méthode. Il n’y a pas de meilleure méthode inférentielle. Gigerenzer (1993) signale qu’il est notre devoir d’informer nos étudiants de l’existence de plusieurs chemins en inférence statistique, et de leur enseigner à utiliser le jugement qui conduit au choix de celui qui convient pour un problème particulier. De son côté, Iseler (1997) propose la métaphore qu’un couteau n’est pas approprié pour manger de la soupe, et qu’une cuillère ne permet pas facilement de couper ; il est heureux que nous ayons les deux, et nous ne devons pas jouer l’un contre l’autre.

29Une analogie avec le domaine de l’art plastique peut clarifier la distinction entre connaître l’outil des tests statistiques et comprendre comment l’utiliser (Gall, 1995 ; Elm’hamedi, 2014). Penser à un pinceau parmi d’autres que le peintre utilise souvent. Au-delà des propriétés physiques (par exemple : la forme, la taille, …), qu’est-ce que les peintres ont besoin de savoir à propos de leurs pinceaux ? La réponse est : « probablement pas beaucoup ». En effet, ce qui est plus important pour le peintre est de savoir les utilités des différents pinceaux. Par exemple, comment les utiliser pour obtenir des effets de surfaces désirés ou des peintures variées, ou bien savoir quand le pinceau n’est pas le meilleur outil pour exécuter une certaine tâche.

30De même, nous pensons que les étudiants, d’une manière générale, doivent savoir qu’un test statistique est un outil mathématique utile dans certaines situations. De la même façon que le savoir-faire en art plastique va au-delà des aptitudes à tout simplement étaler la peinture sur des surfaces, les connaissances de procédures de tests statistiques par les étudiants doivent être situées dans un environnement. Elles nécessitent, en effet, plus que d’énoncer les propriétés mathématiques mobilisées ou d’utiliser une procédure comme une recette, et pour l’enseignant l’objectif ne se réduit pas à former des étudiants capables de traiter n’importe quelle série de nombres sans tenir compte de leur origine ou de leur nature. Comme pour les peintres qui utilisent les pinceaux, les besoins de base pour l’usage futur de tests statistiques sont que les étudiants sachent répondre aux questions suivantes.

• A quoi les tests statistiques sont-ils utiles ?

• Sous quelles conditions l’utilisation d’un test statistique donné est-elle justifiée, et pourquoi ?

• Que peut-il arriver si une procédure de tests statistiques est utilisée là où elle ne devrait pas l’être ?

• Quel est le rôle de l’outil tests statistiques en comparaison des autres outils de la boîte à outils de l’inférence statistique ? Les étudiants doivent savoir dans quelles situations les tests statistiques sont différents des autres outils ou similaires, et reconnaître que le test statistique peut ne pas nécessairement être le premier outil à utiliser, ni le seul outil dont on a besoin, ni le plus approprié.

31L’analogie avec le domaine de l’art plastique pourrait ne pas être complète sans considérer qu’en plus des peintres qui créent l’art, il existe des amateurs d’art qui ont besoin de le comprendre. L’appréciation d’un tableau ne dépend pas de la connaissance générale des techniques de l’art plastique et n’oblige pas à savoir comment les peintres essayent de communiquer certaines impressions. De même existe, pour s’informer ou décider, le besoin d’information sur l’application de tests statistiques. Face à des tests statistiques, le lecteur n’a pas nécessairement besoin de savoir comment effectuer une recherche ou comment utiliser des techniques statistiques, mais il a besoin de savoir quoi penser de déclarations qui sont formulées à partir de l’application de tests statistiques.

32Il est important de développer les capacités des apprenants à maîtriser les tests statistiques dans chacun des deux contextes, la production de tests et l’interprétation de tests. Malheureusement, bien que l’enseignement de la statistique soit souvent justifié en se référant à la nécessité de préparer les étudiants aux demandes d’une société d’information, les efforts d’enseignement pour satisfaire de telles demandes ne sont pas forcément à la hauteur souhaitable, d’une manière répandue. Bien des enseignants introduisent dans leurs cours des tâches qui ne demandent aux étudiants que d’effectuer des calculs. Ceci peut ne pas suffire à développer leur savoir-faire en statistique. Par exemple, il n’est pas sûr qu’ils soient en mesure de critiquer d’une façon pertinente des résultats de tests statistiques présentés dans des articles de revues, des informations radio-télévisées, des publicités, le monde du travail ou les publications de recherche.

2.4. L’usage aveugle des logiciels spécialisés

33L’usage aveugle des logiciels spécialisés n’est pas neutre dans les difficultés à appréhender les tests statistiques. En effet, des logiciels comme sphinx, R, Statistica, SPAD, SPSS, etc., destinés pour un large public, embraquent des procédures de tests statistiques de tout type et permettent de les appliquer à ce que l’utilisateur demande. En entrant un tableau de données, le logiciel donne automatiquement et commodément un résultat ; sans pour autant savoir si cela aura une valeur. Leur usage donne accès à une réponse même si l’on ne connait pas les fondements des tests statistiques que l’on utilise.

2.5. Les facteurs psychanalytiques

34Falk et Greenbaum (1995) déclarent que quelqu’un d’intelligence simplement moyenne pourrait facilement comprendre que les deux probabilités conditionnelles P(A|B) et P(B|A) sont différentes. Cependant, la confusion entre le niveau de signification faisant référence à P(𝔇|H) et la probabilité d’une hypothèse égale à P(H|𝔇), reste une erreur fréquente chez les étudiants et les utilisateurs de statistiques. Ils ont ainsi conclu qu’il existe un mécanisme psychanalytique profond conduisant à commettre cette erreur et à croire, d’une part, qu’on élimine le facteur de chance, et d’autre part, qu’on minimise l’incertitude, lorsqu’on obtient un résultat statistiquement significatif par application d’une procédure de tests statistiques. Ils ont introduit, dans ce sens, la notion « d’illusion de preuve par probable contradiction », ou « l’illusion d’atteindre l’improbabilité », qui consiste en la croyance erronée que l’hypothèse nulle H₀ est improbable lorsqu’on aboutit à un résultat statistiquement significatif. Ce genre de preuve, se basant éventuellement sur une généralisation trompeuse du raisonnement déductif (Birnbaum, 1982 ; Lindley, 1993), est difficile à éradiquer dans les esprits, étant couramment présent dans plusieurs ouvrages de statistique (Falk & Greenbaum, 1995).

35De plus, Acree (1978), Gigerenzer et al. (1989), Gigerenzer (1993) et Batanero (2000) ont tous considéré que, dans l’utilisation des tests statistiques, on a souvent recours à des rituels, marqués par une logique hybride, une procédure routinière ou un amalgame, engagés avant toute pensée statistique proprement dite. Ils ont expliqué cette conduite en établissant une analogie entre ce que Freud déclare des conflits inconscients et les comportements individuels dans la situation d’appliquer de tests statistiques. Le développement de cette analogie dépasserait le cadre de cet article, aussi nous nous en tiendrons là à son propos.

3. Etude exploratoire auprès des étudiants

36Nous détaillons, dans ce qui suit, les étapes fondamentales de la mise en place de la partie expérimentale de cette étude.

3.1. Objectif de l’étude et expérimentation

37Les conclusions dégagées à la lumière de l’analyse précédente concernant les facteurs contribuant aux difficultés qui concernent les tests statistiques, bien qu’elles soient fondées sur la revue de plusieurs travaux didactiques antérieurs, ne peuvent que gagner à être accompagnées d’observations effectives auprès des étudiants. Nous avons donc conduit à la fin du deuxième semestre de l’année scolaire 2017/2018 une expérimentation auprès de 195 étudiants de huit universités du Maroc, poursuivant leurs études en année de licence scientifique de l’une des spécialités : Mathématiques, Physique, Chimie, Génie électrique, Informatique, Enseignement, et en Economie. Parmi ces sujets, âgés de 22 à 25 ans, 95 sont de sexe féminin et 100 de sexe masculin. Ils ont des baccalauréats de cinq types, à savoir : les Mathématiques, la Physique-Chimie, la Vie et Terre, les Sciences Techniques et l’Economie. A cela s’ajoute le fait que tous avaient déjà suivi au moins une fois un cours sur la probabilité globalement et sur la probabilité conditionnelle d’une manière particulière, étant donné que ce type de cours est indispensable pour passer l’examen du baccalauréat scientifique ou économique. De plus, 57 % de ces sujets avaient déjà suivi un cours sur les tests statistiques pendant leurs séjours à l’université.

38A ces sujets, nous avons administré un questionnaire de durée une heure, composé de cinq questions. Chaque question traite des significations susceptibles d’être données à un terme ou à des expressions usuellement utilisées dans les tests statistiques. Les quatre premières questions concernent le facteur vocabulaire et la cinquième le facteur ambiguïté linguistique. Chaque question est composée d’un ensemble d’items à choix multiple (double ou triple). Les items de chaque question tournent autour des différentes significations des termes ou des expressions en relation avec la question. Les modalités de chaque item sont quelques significations possibles (justes ou fausses) qu’on pourrait imaginer. Ces modalités sont éventuellement de trois types : juste, induisant implicitement ou explicitement l’erreur commise en tests statistiques, induisant un autre type d’erreur.

39Nous avons recommandé aux sujets de lire attentivement chaque item avant de choisir la modalité qui leur semblait la plus convenable, puis de justifier brièvement, sans faire de calcul, chacune des réponses. Enfin, nous leur avons aussi indiqué qu’ils peuvent répondre de manière indépendante aux différents items de chaque question.

40Il est important d’insister sur le fait que nous n’avons pas communiqué aux sujets l’objectif du questionnaire. D’ailleurs, ce dernier est construit de telle sorte que les termes dont nous demandons la signification et les expressions dont nous mettons en question leurs équivalents ne semblent pas relever du vocabulaire et du langage utilisés en tests statistiques.

3.2. Présentation et analyse a priori du questionnaire

41Avant de procéder à l’analyse proprement dite des productions des étudiants, nous allons consacrer la prochaine section à l’analyse a priori du questionnaire, afin de mieux cerner l’interprétation (statistique) des réponses des étudiants. Pour chaque item des différentes questions, la modalité correcte (selon la logique habituelle ou le contexte des tests statistiques) est celle présentée cochée. Vu la nature de l’objectif fixé par la présente recherche, qui vise, en quelque sorte, l’exploration de l’effet impliqué par le vocabulaire et l’ambiguïté linguistique sur la signification qu’on pourrait éventuellement donner aux concepts utilisés en terme de procédures des tests statistiques, notre analyse se focalisera surtout sur les deux éléments essentiels suivants : a) la justification scientifique proprement dite de la fausseté ou de la véracité de chaque modalité, en la liant éventuellement aux conceptions erronées usuelles relativement aux tests statistiques, et ce étant donné que ce présent travail s’adresse aux utilisateurs expérimentés et potentiels de cet outil statistique ; b) la justification de la formulation par laquelle l’item d’une question donnée est construit et le terme (ou les termes) trompeur utilisé dans cette construction forçant un sujet qui n’a jamais suivi de cours sur les tests statistiques (ou même celui qui en a déjà suivi) à établir une correspondance erronée avec le terme ou l’expression objet de la question.

42L’« hypothèse nulle » est spécialement réquisitionnée dans la théorie des tests de signification de Fisher. Dans cette théorie, une telle hypothèse est avancée pour être rejetée, afin d’acquérir un support d’acceptabilité de l’hypothèse scientifique (ou de recherche) qui intéresse le chercheur. Une telle hypothèse est souvent considérée par erreur comme une hypothèse dont la véracité ne conduit à l’adoption d’aucune action nouvelle, en la confondant ainsi avec l’hypothèse H₀ de la théorie de Neyman-Pearson, incompatible avec la théorie de Fisher. Notons au passage que l’hypothèse nulle est appelée ainsi, dans le sens de « to be nullified », c’est-à-dire, à réfuter, et non nécessairement, comme on le trouve écrit dans certains manuels, d’une valeur de zéro pour le paramètre testé, même si c’est le cas le plus fréquent (Poitevineau, 1998). En général l’hypothèse nulle sera la négation de l’hypothèse à laquelle le chercheur s’intéresse réellement : « … the hypothesis that the phenomenon to be demonstrated is in fact absent » (Fisher, 1971, p. 13).

44Pareillement, bien que le résultat d’un test de signification soit « rejeter l’hypothèse nulle » ou « échouer à rejeter l’hypothèse nulle », il est possible dans ce dernier cas d’approfondir la recherche pour étudier la possibilité de résistance d’une telle hypothèse, qui restera encore valide jusqu’à nouvel ordre. Par ailleurs, il y a trois critères pour accepter l’hypothèse nulle, à savoir : (1) l’hypothèse nulle devrait être possible, (2) les résultats devraient être consistants avec l’hypothèse nulle (ou une p-valeur faible), et (3) un bon effort devrait être fait pour chercher un effet (c’est-à-dire, pour rejeter l’hypothèse nulle). Selon Frick (1995), dire qu’un bon effort est fourni dans une expérimentation donnée est fonction du degré de satisfaction des trois critères suivants : (a) l’adoption d’un plan expérimental adéquat, (b) l’obtention d’intervalles de confiances très larges, pour le paramètre testé, et (c) l’existence (ou non) d’un effet (lié) dans une expérimentation similaire, utilisant le même plan expérimental que à celle pour laquelle il reste à trouver un effet.

45Il est vrai que l’hypothèse alternative H₁ est souvent celle que le chercheur (ou le décideur) souhaite prouver, mais il ne faut pas voir une absence d’information dans un résultat négatif. Nous savons qu’au rejet de l’hypothèse nulle H₀, impliquant la signification statistique, est attaché un grand prix, parce que ce rejet est vu comme conduisant à la théorie en développement, tandis que l’échec du rejet de H₀, ou même son acceptation, pourraient conduire à une impasse. La signification statistique devrait en revanche être considérée comme une mesure de satisfaction. Il est, par conséquent, plus utile d’attribuer à une recherche (ou une décision) une valeur qui est fonction de la qualité du plan expérimental adopté, dans la mesure où ce dernier réduit autant que possible les fluctuations d’échantillonnages et les erreurs de mesures expérimentales.

46On peut remarquer que les différents items de cette question sont volontairement formulés à l’aide d’expressions traduisant une certaine nullité, qui peut être directement liée au terme « nulle », indiqué dans l’expression « hypothèse nulle ». On peut remarquer, par exemple, les expressions : « sans valeur », « aucune importance », « ne conduira pas », « fausse », « égalité », « différence nulle ». Cela permettra d’étudier si ce terme constitue vraiment un obstacle pour donner une signification exacte à l’expression hypothèse nulle. Il est vrai que l’expression indiquée dans l’item E est celle la plus habituellement enseignée aux étudiants, mais cela n’empêche pas d’étudier la possibilité d’existence des autres expressions signalées dans les autres items.

47Remarquons que l’analyse des deux expressions (prouver et vrai) objets de ces deux questions avait déjà commencé dans l’introduction de ce travail. Néanmoins, nous allons approfondir une telle analyse en présentant sur ce sujet quelques autres éléments de valeur. De plus, contrairement à l’expression « hypothèse vraie » qui est explicitement utilisée dans le langage usuel des tests statistiques, l’expression « Prouver la Véracité d’une Hypothèse » est implicitement emmagasinée dans l’esprit de l’utilisateur de cet outil qui sollicite les tests statistiques afin de lui permettre de prouver quelque chose. Signalons aussi que c’est volontairement que nous avons situé ces deux questions dans le même panier d’analyse. La raison en est que les deux termes sous-jacents sont étroitement liés, dans la mesure où la véracité d’une hypothèse ne sera établie qu’en s’appuyant sur des éléments de preuve convaincants. De plus, les différents items de ces deux questions sont tous formulés avec des termes et des expressions induisant soit un caractère relatif considéré comme valide dans le contexte des tests statistiques et suivant la logique sous-jacente, soit un caractère absolu.

48Il est à signaler qu’en termes de procédures de tests statistiques, il est préférable d’utiliser le terme « modèle » plutôt qu’hypothèse, si l’on veut souligner qu’en tests statistiques, on compare des modèles et non des hypothèses. En effet, des hypothèses (statistiques) sont des modélisations d’hypothèses scientifiques plus abstraites, reflétant le monde réel. Ainsi, accepter, par exemple, l’hypothèse nulle signifie que le modèle nul pourrait validement être utilisé. Un autre point que nous souhaitons soulever à propos des tests statistiques est que dans un projet de recherche, un test statistique est utilisé seulement pour aider à décider en s’aidant de l’analyse statistique. A cela s’ajoute le fait qu’il s’agit seulement d’un outil de la boîte des statistiques, parmi plusieurs qui peuvent être utilisés. Cela permet de conclure que son usage est limité par définition.

49Il est vrai que les données construites supportent toujours le modèle alternatif. Si ce n’était pas le cas, aucun test statistique choisissant automatiquement le modèle nul ne devrait être utile ou nécessaire. Un test de signification, par exemple, fournit une mesure ayant force de preuve contre le modèle nul et en faveur de l’acceptabilité du modèle alternatif. L’indicateur de mesure généralement utilisé, est la p-valeur qui est égale à « la probabilité d’obtenir le résultat de l’échantillon (ou même plus extrême) en supposant que le modèle nul est vrai ». Cette approche en termes de modèles des tests statistiques est plus longuement discutée par McLean (2000).

50Ainsi, l’usage de la terminologie telle que « la valeur vraie de la moyenne » conduit à des déclarations comme « l’hypothèse nulle est presque toujours fausse ». Bien que ceci puisse être vrai, c’est hors de propos. Un test statistique n’est pas directement concerné par la valeur vraie d’un paramètre, mais par les modèles escomptés. Accepter le modèle nul signifie seulement que l’usage de ce modèle, fondé sur la valeur spécifiée du paramètre, est avantageux (valable) ; le rejeter signifie qu’il est préférable d’utiliser un modèle fondé sur une valeur différente.

51Cependant, juger de la qualité de la preuve pour conclure quant au rejet du modèle nul ou à l’échec de son rejet est une tâche subjective. Quelqu’un pourrait considérer une déclaration comme étant prouvée, alors que son proche voisin penserait le contraire. Si la preuve statistique est suffisamment forte, le lecteur pourra accepter le résultat comme « prouvé » dans un sens faible. Cet argument s’applique en particulier aux tests statistiques.

52Par ailleurs, dans une situation de recherche, la décision est provisoire dans la mesure où il faut toujours avoir présent à l’esprit que l’acceptation ou le rejet d’une hypothèse peuvent ne pas durer longtemps. Les recherches qui seront menées dans le futur pourront contredire les conclusions d’aujourd’hui.

53Nous pouvons définir la vérité et la preuve pragmatiquement – une hypothèse ou une théorie est vraie si elle est suffisamment fondée sur de solides évidences observées, de sorte que la plupart des gens raisonnables l’acceptent comme un modèle. Cette vue pragmatique de la vérité décrit la science. Ainsi la théorie d’évolution peut être acceptée comme vraie parce que l’évidence est suffisamment solide et provient de larges sources variées. Pour la plupart des gens, cette acceptation est probablement implicite. Les conclusions de la justice sont de même nature : dire qu’une personne est prouvée coupable d’un crime revient simplement à dire que l’évidence factuelle est suffisamment solide pour que la plupart des gens (représentés par le jury) acceptent la culpabilité comme modèle de la réalité.

55Par ailleurs, l’erreur majeure signalée dans l’interprétation des tests statistiques est la supposition naïve qu’un résultat statistiquement significatif est un résultat remarquable (Daniel, 1997). Dès 1931, Tyler avait commencé à reconnaître l’étendue de la mauvaise interprétation de la signification statistique, en déclarant que les interprétations qui ont été généralement formulées à partir des études de l’époque nous contraignent à concevoir la signification statistique comme équivalente à la signification sociale, alors que ces deux termes sont essentiellement différents et ne devraient pas être confondus. Les différences qui sont statistiquement significatives ne sont pas toujours socialement importantes. La réciproque est aussi vraie : les différences qui ne s’avèrent pas être statistiquement significatives peuvent pourtant être socialement significatives.

56De manière similaire, Schafer (1993) a noté que la plupart des chercheurs ne comprennent pas que (statistiquement) significatif et important sont deux choses différentes. Le terme significatif lui semble avoir été mal choisi. De plus, Meehl (1997) caractérise l’utilisation du terme significatif comme étant « cancéreux » et « trompeur » et recommande que les chercheurs interprètent leurs résultats en utilisant les intervalles de confiance de préférence aux p-valeurs impliquées par les tests de signification.

57Certes, le résultat (existence ou non de la signification statistique) fourni par application d’un test statistique, à savoir : « Rejeter H₀ », « Accepter H₀ » ou « Echouer à rejeter H₀ », possède deux aspects favorisant le non déterminisme : D’une part, la région critique RC, dans le cas d’un test d’hypothèses, et la p-valeur, dans le cas d’un test de signification, sont déterminées par un calcul probabiliste, et d’autre part, le statisticien utilise son jugement (la valeur \( \alpha \), prise pour le niveau de signification) pour déterminer un tel résultat.

58Par conséquent, l’omission, dans cette question, de l’adverbe statistiquement dans l’expression « résultat statistiquement significatif » et la formulation des items sous-jacents pourraient conduire non seulement un apprenant qui n’a jamais suivi de cours sur les tests statistiques, mais aussi un utilisateur expérimenté de l’outil statistique, à choisir des modalités erronées des différents items de cette question.

60Question 5 : On désigne par D₀ l’ensemble des données issues d’une enquête policière, qu’on a pu construire de manière aussi adéquate que possible, et qui a priori vont dans le sens de la culpabilité du prévenu X. De telles données sont présentées au juge, qui a décidé de la culpabilité de ce prévenu.

61Présentation de la question 5

62Les éléments de la question 5 s’inscrivent dans le cadre d’une situation de test d’hypothèses (ou de décision) de Neyman-Pearson. Ainsi, à la lumière des données construites D₀, on a contrasté à travers cette situation les deux hypothèses H₀ et H₁ qui sont respectivement les modélisations des hypothèses juridiques : « Le prévenu X est innocent » et « Le prévenu X est coupable ». La décision à laquelle on a abouti dans cette situation est : « rejeter H₀  ».

63Chaque item de cette question est usuel dans le langage adopté par les tests d’hypothèses. Il met en exergue une erreur usuellement commise par les apprenants dans l’usage de tel outil statistique. Les expressions par lesquelles les items et leurs modalités sont construits impliquent toutes deux événements : 𝔇 (relatif aux données) et H (relatif aux hypothèses statistiques). Modalités et items sont conçus de telle sorte qu’il n’est pas facile pour le sujet de connaitre qu’il s’agit de la probabilité d’un événement simple ou d’un événement conditionnel. Si par hasard ces sujets savent qu’il s’agit d’un événement conditionnel, il sera difficile pour eux de choisir, entre 𝔇 et H, lequel est l’événement conditionné et lequel est l’événement conditionnant. Ainsi, les différentes difficultés auxquelles on s’est intéressé sont que la pratique de tests d’hypothèses génère de manière erronée les deux types de probabilités conditionnelles suivantes : les probabilités des hypothèses H sachant les données 𝔇 (P(H|𝔇)) et les probabilités de données 𝔇’ sachant d’autres données 𝔇 (P(𝔇’|𝔇)). Chacune des probabilités indiquées dans les items et dans les modalités correspondantes de la question 5 est relative à la conjonction ou au conditionnement des deux événements 𝔇 et H. Ces derniers sont implicitement ou explicitement mentionnés dans les différentes formulations de tels items et modalités. Ces formulations, habituellement utilisés dans les tests d’hypothèses, sont conçues de façon que les sujets ne puissent pas mettre facilement en œuvre les deux événements indiqués, ainsi que le type de probabilité sous-jacente, à savoir conjointe ou conditionnelle. Notons au passage que le terme « argumentation », explicité dans la plupart de ces formulations, n’est pas utilisé dans le sens courant des mathématiques.

64Cet item et les modalités qui le composent sont implicitement tous exprimés à l’aide de probabilités conditionnelles ne permettant pas aux sujets de saisir facilement lequel des deux événements conditionnels, (H₀|𝔇) ou (𝔇|H₀), est mis en avant. De telles probabilités (conditionnelles) sont très usuelles dans le langage adopté en théorie des tests statistiques.

65Par ailleurs, « connaitre la probabilité que le résultat soit dû au seul hasard », équivalente à la connaissance de la probabilité impliquée par cet item, est l’un des rôles d’un test statistique, parmi plusieurs habituellement déclarés aux étudiants lors d’un cours. De plus, le terme résultat indiqué dans un tel rôle prend une double signification accentuant l’amalgame des tests statistiques que nous avons indiqué dans l’introduction de ce travail, à savoir « les données construites D₀et la décision de rejet de H₀ ».

66Certes, ce n’est pas pour un tel rôle qu’un test statistique est conçu, du fait que « la probabilité que le résultat soit dû au seul hasard » n’est autre que « la probabilité de réalisation de H₀ sachant les données 𝔇 » (P(H₀|𝔇)), que les tests statistiques ne peuvent pas générer. La probabilité conditionnelle indiquée dans la modalité a de cet item est équivalente à la probabilité P(H₀|𝔇), tandis que celles mentionnées dans les modalités b et c sont non seulement équivalentes mais aussi égales à la probabilité P(𝔇|H₀), qu’il est possible de déterminer selon la logique des tests statistiques.

67« La probabilité de rejeter correctement l’hypothèse H₀ » est la définition usuelle donnée par la théorie des tests d’hypothèses au concept de puissance. Elle est équivalente dans le cas de la présente situation à « la probabilité que le juge décide correctement la culpabilité du prévenu X ». Cette définition désigne vraiment « la probabilité de rejeter l’hypothèse H₀ sachant qu’elle est fausse » (P(𝔇|H₁)). Une telle probabilité est la même que celle indiquée dans la modalité a de cet item. Cependant, la façon d’exprimer cet item et les modalités correspondantes met en question une autre fois le problème du choix adéquat d’événements qui sont mis en œuvre dans les différentes probabilités signalées. En effet, la probabilité impliquée dans cette définition semble non conditionnelle, et elle pourrait conduire le sujet à croire à tort que c’est une probabilité conjointe (non conditionnelle) des deux événements : « l’hypothèse nulle est fausse » et « on rejette l’hypothèse nulle » (P(𝔇 ∩ H₁)), comme dans le cas de la modalité b, ou « la probabilité de réalisation de H₁ sachant qu’on a décidé de l’accepter » (P(H₁|𝔇)), comme dans le cas de la modalité c. Notons au passage que, d’une manière générale, la probabilité P(A|B) est égale à P(A∩B)/P(B), et que l’égalité entre P(A|B) et P(A∩B) supposerait que B soit un événement certain.

68Cet item, déjà étudié par Birnbaum (1982), est une occasion de plus de mettre le sujet à l’épreuve, pour tester si l’ambiguïté linguistique peut le conduire à commettre l’erreur de considérer que les deux probabilités conditionnelles, P(𝔇|H₀) et P(H₀|𝔇), sont équivalentes. Les deux argumentations (1) et (2) sont bien sûr différentes. En effet, la première est valide. Elle exprime l’interprétation donnée au concept de niveau de signification de valeur égale à 5 %, et ce dans le cadre fréquentiste radical adopté par la théorie des tests d’hypothèses de Neyman-Pearson, sur laquelle nous nous basons dans cette question 5. Elle est équivalente au fait que la probabilité conditionnelle P(𝔇|H₀) soit égale à 0,05, où 𝔇 est l’événement « rejeter l’innocence d’un prévenu » (c’est-à-dire, rejeter H₀), et H₀ est l’événement : « un prévenu est innocent » (c’est-à-dire, « H₀ est vraie »). En revanche, la deuxième argumentation est invalide dans le cadre de la théorie des tests d’hypothèses. Elle est, en quelque sorte, équivalente au fait que la probabilité conditionnelle P(H₀|𝔇) soit égale à 0,05.

69Pareillement, cet item et les modalités qui en découlent sont tous exprimés de manière implicite ou explicite à l’aide de probabilités conditionnelles ne permettant pas aux sujets de choisir facilement lequel des trois événements conditionnels, (H|𝔇), (𝔇|H) ou (𝔇’|𝔇), est mis en avant. De telles probabilités (conditionnelles) sont usuelles dans le langage des tests statistiques. Par ailleurs, « connaître la probabilité que le résultat soit répliqué », équivalente à la connaissance de la probabilité impliquée par cet item, est l’un des plusieurs rôles d’un test statistique habituellement déclarés aux étudiants lors d’un cours. Il est évident que ce n’est pas en vue d’un tel rôle qu’un test statistique est conçu, du fait que « la probabilité que le résultat soit répliqué » n’est autre que « la probabilité de données 𝔇’ sachant d’autres données 𝔇 » (P(𝔇|𝔇)), que les tests statistiques ne peuvent pas générer. En effet, toute présentation des résultats d’un test statistique doit être formulée sous la condition « sachant que H₀ est vraie », et non « sachant des données » (Haller & Krauss, 2002 ; Zaki & Elm’hamedi, 2009). La probabilité conditionnelle indiquée dans la modalité b de cet item est équivalente à la probabilité P(𝔇’|𝔇), tandis que celles mentionnées dans les modalités a et c sont respectivement équivalentes au complément à 1 de la probabilité P(𝔇|H₀) et à la probabilité P(H₁|𝔇).

70« La probabilité de rejeter incorrectement l’hypothèse H₀ » est la définition usuelle donnée dans la théorie des tests d’hypothèses pour le concept de risque de 1^ère espèce. Elle est équivalente dans le cas de la présente situation à « la probabilité que le juge décide incorrectement la culpabilité du prévenu X ». Cette définition désigne vraiment la probabilité de rejeter l’hypothèse H₀ sachant qu’elle est vraie (P(𝔇|H₀)). Une telle probabilité est la même que celle indiquée dans la modalité c de cet item. Cependant, la façon d’exprimer cet item et les modalités correspondantes met en question une autre fois le problème du choix adéquat des événements mis en œuvre dans les différentes probabilités signalées. En effet, la probabilité impliquée dans cette définition semble non conditionnelle et pourrait conduire le sujet à croire à tort que c’est une probabilité conjointe (non conditionnelle) des deux événements : « l’hypothèse nulle est vraie » et « on rejette l’hypothèse nulle » (P(𝔇∩H₀)), comme dans le cas de la modalité a, ou « la probabilité de réalisation de H₀ sachant qu’on a décidé de la rejeter » (P(H₀|𝔇)), comme dans le cas de la modalité b.

71Nous présentons dans le tableau 2 qui suit le récapitulatif des éléments caractéristiques des différents items et modalités relatifs à la question 5 du questionnaire, en définissant ce que signifient les événements 𝔇 (ou éventuellement 𝔇’) et H, ainsi que les probabilités conditionnelles (ou conjointes) correspondantes. Nous rappelons que le langage (ambigu) par lequel les items et leurs modalités sont exprimés, pourrait éventuellement être la cause principale, d’une part, de la méconnaissance, par les étudiants, qu’il s’agit d’une probabilité conditionnelle, et d’autre part, de la confusion non seulement entre l’événement relatif aux données 𝔇 et celui relatif aux hypothèses H, mais aussi entre l’événement conditionné et celui conditionnant dans la probabilité conditionnelle impliquée.

3.3. Codage et outil d’analyse retenus pour le traitement des réponses des étudiants

72Pour le traitement des réponses des étudiants, l’analyse factorielle des correspondances multiples (AFCM), nous a semblé être un outil efficace, puisqu’il va permettre d’analyser et d’interpréter les réponses des étudiants en termes de liens qui existent entre les différentes modalités des différents items du questionnaire.

73Dans les tableaux 3 et 4 suivants, nous résumons, les différents questions et items du questionnaire, ainsi que les significations et les codages des modalités associées. Ces deux tableaux sont, en quelque sorte, un complément de l’analyse a priori dont nous avons commencé à présenter l’essentiel dans la section 3.2. de cet article.

3.4. Analyse a posteriori et interprétation des réponses des étudiants

74Rappelons que nous avons choisi l’AFCM pour analyser les données de cette étude. Nous présentons, dans ce qui suit, les éléments nécessaires à l’application de cette méthode multi-dimensionnelle ainsi que les résultats d’analyse auxquels nous sommes arrivés à travers son application.

3.4.1. Valeurs propres et inertie totale

76L’inertie totale est égale à 1,20 (nombre de valeurs propres non nulles, divisé par le nombre d’items).

3.4.2. Nombre d’axes retenus dans l’analyse

Inertie corrigée : pour , où s est le nombre d’items du questionnaire et λ_k les valeurs propres obtenues par l’analyse du tableau disjonctif complet.

78Le tableau 7 suivant fournit les pourcentages d’inerties corrigées et leurs cumuls, correspondant aux valeurs propres supérieures à la valeur moyenne  :

79Par conséquent, le premier axe représente 34 % de l’information totale, le deuxième axe 23 %, le troisième axe 16 % et le quatrième axe 12 % (les axes suivants chutent à une part d’information représentant moins de la moitié du quatrième axe). Ces valeurs indiquent que l’essentiel de l’information est lié aux quatre premiers axes factoriels qui représentent ensemble 85 % de l’information totale.

80Par ailleurs, les deux premières valeurs propre λ₁ =0,111 et λ₂ =0,100 sont très proches ; cela signifie que nous sommes pratiquement en présence d’une valeur propre double. En revanche, λ₃ =0,092 est significativement supérieure à λ₄ =0,086. Par conséquent, nous allons étudier, d’une part, le plan (1,2), et d’autre part, les axes 2 et 3, plutôt que de chercher à donner séparément une interprétation à chacun des 3 premiers axes. Avant d’entamer une telle étude, nous allons consacrer la prochaine section à la présentation de quelques éléments d’analyse globale que nous avons pu déduire en mettant en œuvre les différents plans et axes factoriels que nous avons pu retenir.

3.4.3. Eléments d’analyse globale

81En premier lieu en nous basant sur des éléments élémentaires de la statistique descriptive, nous pouvons signaler que le vocabulaire et le langage adoptés par les procédures de tests statistiques sont nettement ouverts à plusieurs interprétations (fallacieuses) par nos sujets. Ceci est déduit des pourcentages élevés (compris entre 27 % et 85 %) des réponses erronées aux différents items du questionnaire. Nous rappelons au passage que ces réponses erronées sont repérées à la fois chez les sujets qui avaient déjà suivi un cours sur les tests statistiques et chez ceux qui n’en avaient pas suivi. Ces pourcentages sont faibles tant pour les items relatifs à l’ambigüité linguistique que pour les items concernant le vocabulaire, excepté l’item 5C relatif à la distinction, dans un cadre fréquentiste, entre la probabilité P(𝔇|H) qui désigne le concept de niveau de signification, et la probabilité inverse P(H|𝔇), pour lequel ce pourcentage a pu atteindre les 56 %.

82De plus, les items du questionnaire font référence à une exploration conceptuelle à propos des tests statistiques, et non pas aux performances des étudiants en situation de résolution de problèmes sur ce sujet. Il est donc normal que la plus grande part de l’information (1^er plan factoriel) contenue dans les réponses des étudiants ne se traduise pas en termes de performances des étudiants, autrement dit en termes de réussites-échecs. Notons aussi au passage, que dans les oppositions de groupes de modalités à fortes contributions relatives au plan et aux axes factoriels retenus pour l’analyse, nous n’avons pas une opposition nette de modalités contraires. Ce qui confère au questionnaire une hétérogénéité de degré plus ou moins moyen.

83Cette hétérogénéité peut être expliquée, d’un côté, par la nature de notre questionnaire qui est formé non seulement d’items en bi-modalités mais aussi en tri-modalités, et d’un autre côté, par l’hétérogénéité des sujets (le public cible) questionnés, dans la mesure où il existe parmi eux ceux qui avaient déjà suivi un cours sur les tests statistiques et ceux qui n’en avaient jamais suivi. Une telle hétérogénéité peut aussi être due à la façon selon laquelle les différents items sont construits, qui ne permet pas aux sujets de facilement reconnaître qu’ils sont face à un questionnaire (homogène) qui tourne autour d’un objectif unique et bien défini, à savoir dans notre cas, l’exploration de l’effet que pourraient avoir le vocabulaire et l’ambiguïté linguistique sur la compréhension de la procédure des tests statistiques.

85De même, les items 5C et 5E impliquent tous les deux le même concept, à savoir le niveau de signification (ou le risque de 1^ère espèce), identifié par la probabilité conditionnelle P(RC|H₀). Ceci devrait être concrétisé par des proximités, dans les graphiques 1, 2 et 3, entre les deux modalités 5Ce et 5Eb et entre les deux modalités 5Cr et 5Er. Mais c’est le constat que les modalités 5Cr et 5Ce sont respectivement proches des modalités 5Ea et 5Eb qui retient l’attention. Une explication acceptable tient au langage dans lesquels les deux items et leurs modalités sont exprimés : fréquentiste pour l’item 5C et probabiliste pour l’item 5E. De plus, cette proximité remarquée entre 5Cr et 5Ea nous rend conscients de l’existence d’une difficulté conceptuelle très importante dans notre public cible, en raison de l’existence de sujets qui comprennent bien que les probabilités P(RC|H₀) et P(H₀|RC) soient différentes, mais qui en même temps confondent P(RC|H₀) avec P(H₁∩RA). Ceci explique à nouveau l’effet que pourrait avoir l’ambiguïté linguistique sur l’interprétation des expressions usuelles relativement aux tests statistiques.

3.4.4. Interprétation du plan factoriel (1, 2)

86L’AFCM conduit à des inerties de 34 % pour l’axe 1 et de 23 % pour l’axe 2. La figure 1 suivante représente la projection de l’ensemble des modalités par rapport au plan (1,2) :

87Les modalités correspondant aux plus fortes contributions relatives (comprises entre 3,3 % et 9,6 %) dans la construction des axes 1 et 2, et ayant une bonne représentation, sont celles qui sont entourées dans le graphique en figure 1. Ces modalités, distribuées en quatre regroupements (voir cadrans de I à IV, figure 1), donnent lieu, dans le plan factoriel (1,2), à deux oppositions : Cadran I vs Cadran II et Cadran III vs Cadran IV. Ainsi, avant d’attribuer des significations à ces deux oppositions, qui aideront à mettre en place une interprétation convenable de ce 1^er plan factoriel qui contient une part très importante d’information des réponses des étudiants, nous allons étudier quelques proximités remarquées, dans la figure 1, entre les différentes réussites et les différents échecs aux items de notre questionnaire.

88Les différents items des questions 2, 3 et 4 sont soit de caractère relatif, soit de caractère absolu. Bien qu’ils soient formulés de façons différentes, chacun d’entre eux est évidemment associé à l’un de ces deux caractères. Ces items reflètent, en quelques sortes, les interprétations variées (vraies ou fausses) usuellement données par les étudiants, et même par les professionnels, aux différents concepts habituellement utilisés relativement aux tests statistiques. Ces concepts sont mobilisés par les questions sous-jacentes, à savoir : « Prouver la véracité d’une hypothèse » pour la question 2, « Hypothèse vraie » pour la question 3 et « Résultat significatif » pour la question 4. On en déduit alors que non seulement les réussites aux différents items composant ces trois questions devraient être proches sur le graphique 1, mais aussi que les échecs correspondants devraient être proches. Un tel constat est satisfait pour la plupart des items, sauf pour les modalités (4Ar, 4Br) et (4Ae, 4Be), qui forment chacune un groupe, et qui se trouvent respectivement éloignées des autres réussites et des autres échecs aux items des trois questions susmentionnées. Ceci est sans doute dû au vocabulaire trompeur, utilisé en tests statistiques, à savoir l’expression « le résultat est significatif » qui figure dans la question 4 du questionnaire. En effet, une telle expression est habituellement utilisée pour indiquer que le résultat fourni par le test statistique est le rejet de l’hypothèse H₀, ou l’acceptation de l’hypothèse H₁ dans le cas des tests d’hypothèses. Cette dernière expression est, en quelque sorte, équivalente à l’expression « l’hypothèse H₁ est vraie », figurant dans la question 3. Cependant, contrairement aux items de cette dernière question, les réussites (ou les échecs) aux items de la question 4 ne sont pas tous voisins des réussites (ou des échecs) aux différents items des questions 2, 3 et 4.

89De même, les proximités observées dans la figure 1, entre 5Ab, 5Bc, 5Cr et 5Da, d’un côté, et entre 5Ar, 5Br, 5Ce et 5Dc, de l’autre, montrent de manière nette l’existence de sujets qui distinguent entre les deux probabilités P(𝔇|H) et P(H|𝔇) (5Ar, 5Br et 5Cr) et qui en même temps commettent l’erreur induisant non seulement à considérer que ces deux probabilités sont égales (5Ab, 5Bc et 5Ce) mais aussi que la probabilité P(𝔇|H) est égale au complémentaire de la probabilité P(𝔇’|𝔇) (5Da et 5Dc). Ceci est sans doute dû au langage par lequel les items et les modalités de la question 5 sont exprimés, dans la mesure où les autres facteurs susceptibles d’induire de telles difficultés, surtout ceux à caractère psychanalytique (cf. § 2.5), pourraient être exclus ici, à cause de l’hétérogénéité de nos sujets, d’une part, et de leur ignorance de l’ignorance de l’orientation du questionnaire vers les tests statistiques, d’autre part. Ceci explique une autre fois l’effet possible de l’ambiguïté linguistique sur l’interprétation des concepts utilisés dans les tests statistiques. Le positionnement des deux groupes de modalités (5Ab, 5Bc, 5Cr et 5Da) et (5Ar, 5Br, 5Ce et 5Dc) renforce une telle conjecture, dans la mesure où ils impliquent tous deux les deux difficultés déjà indiquées, alors même qu’ils se placent dans des cadrans opposés (cadran I et cadran II) de la figure 1.

• Cadran I vs Cadran II :

91Dans ces deux cadrans, nous sommes en présence de l’opposition : 1Ar, 4Ar, 4Br, 5Ab, 5Bc, 5Cr et 5Da vs 1Ae, 4Ae, 5Ar, 5Br, 5Cr et 5Dc. Ainsi, comme nous l’avons déjà indiqué dans les paragraphe précédents, les deux groupes de modalités (5Ab, 5Bc, 5Cr et 5Da) et (5Ar, 5Br, 5Cr et 5Dc), qui figurent respectivement dans le cadran I et le cadran II, impliquent tous les deux l’existence de sujets qui distinguent entre les deux probabilités P(𝔇|H) et P(H|𝔇) dans des situations, mais qui commettant non seulement l’erreur induisant que ces deux probabilités soient égales dans d’autres situations similaires, mais aussi l’erreur consistant à avancer que la probabilité P(𝔇|H) soit égale au complémentaire de la probabilité P(𝔇’|𝔇). De plus, la modalité 4Br est une conséquence logique de la modalité 4Ar, dans la mesure où il est rare de trouver un sujet caractérisé par 4Ar et 4Be à la fois, du fait que l’item 4B est, en quelques sortes, une négation de l’item 4A. Nous traduisons ceci par le fait que ces deux cadrans opposent la réussite à l’échec au fait que l’expression résultat significatif désigne vraiment un résultat à caractère relatif et non absolu. Enfin, nous remarquons aussi que les deux modalités 1Ar et son opposée 1Ae se trouvent dans ces mêmes cadrans. Pareillement, cela signifie que ces deux cadrans, I et II, opposent aussi la réussite à l’échec au fait que le terme nulle indiqué dans l’expression hypothèse nulle ne signifie en aucun cas sans valeur.

• Cadran III vs Cadran IV :

92De même, dans ces deux cadrans, nous sommes en présence de l’opposition (réussites-échecs) de 1Cr, 2Ar, 2Br, 3Br, 3Cr et 3Dr vs 1Ce, 2Ae, 3Ae, 3Be, 3Ce et 3De. Contrairement aux deux cadrans, I et II, dans lesquels un mélange de modalités relatives au vocabulaire et à l’ambiguïté linguistique impliqués par les tests statistiques, est mis en jeu, les deux cadrans III et IV sont concernés par le vocabulaire seul.

94Enfin, remarquons aussi que chacune des modalités 1Cr et son opposée 1Ce est nettement située dans un cadran, avec une forte composante sur l’axe 2. Cela signifie que les deux cadrans III et IV opposent aussi la réussite à l’échec à la définition correcte, donnée par Fisher, au concept d’hypothèse nulle, à savoir : « C’est une hypothèse prévue pour être falsifiée ou rejetée, afin de gagner un support susceptible de permettre un progrès scientifique ».

95En conclusion, le plan (1,2) est un plan d’ambiguïté linguistique et de réussite-échec en vocabulaire utilisé, qui se traduit par :

• Une distinction mal assimilée entre les trois probabilités P(𝔇|H), P(H|𝔇) et P(𝔇’|𝔇), associée à une réussite-échec au fait que l’expression « résultat significatif » désigne un résultat à caractère relatif et non absolu, et au fait que le qualificatif nulle dans l’expression « hypothèse nulle » est tout à fait différent du qualificatif « sans valeur » (Cadran I vs Cadran II) ;

• Une réussite ou un échec au fait que la notion de « véracité d’une hypothèse » et celle de raisonnement adopté pour montrer une telle véracité sont toutes les deux à caractère relatif et non absolu, est associée à une réussite ou un échec à la définition correcte (donnée par Fisher) au concept d’hypothèse nulle (Cadran III vs Cadran IV).

3.4.5. Interprétation du 2^ème axe factoriel

97Dans le deuxième plan factoriel, le 2^ème axe factoriel présente l’opposition suivante : 1Ce, 3Be, 3Ce, 5Ar, 5Br et 5Ce vs 1Cr, 3Br, 3Cr, 3Dr, 4Br, 5Ab, 5Bc et 5Cr.

98Cet axe oppose donc une absence de relativité conférée à la véracité d’une hypothèse (3Be, 3Ce), à la présence d’une telle relativité sous ses différents aspects, à savoir : celui intrinsèque à l’hypothèse (3Br), celui lié à la personne qui utilise son jugement argumenté pour pouvoir décider de la véracité (ou non) (3Dr), et enfin celui relatif au pouvoir d’être vigilant à conclure sur cette véracité, bien qu’elle soit exprimée par des termes absolus habituellement utilisés, comme par exemple : « résultat significatif » (4Br). Notons au passage que la présence de la modalité 3Cr du côté des modalités 3Br, 3Dr et 4Br n’est qu’un support qui consolide notre interprétation concernant la relativité de l’hypothèse.

100Enfin, ce 2^ème axe confirme encore l’opposition de la réussite (1Cr) à l’échec (1Ce) sur la définition correcte (donnée par Fisher) de ce que signifie le concept « d’hypothèse nulle ».

101En conclusion, les tendances expliquées par le 2^ème axe factoriel renvoient à une présence-absence de relativité du vocabulaire utilisé, associé à réussite-échec sur la définition correcte (donnée par Fisher) du concept d’hypothèse nulle, accompagnée d’une ambiguïté linguistique impliquant la confusion entre les probabilités conditionnelles P(𝔇|H), P(H|𝔇) et P(𝔇∩H). Par conséquent, le 2^ème axe factoriel peut être interprété comme un axe de confirmation de l’ambiguïté linguistique et de la réussite-échec en vocabulaire utilisé, déjà trouvés dans le plan (1,2).

3.4.6. Interprétation du 3^ème axe factoriel

103Dans le troisième plan factoriel, le 3^ème axe factoriel présente l’opposition de 1Br, 3Ae, 4De et 5Dr vs 1Ae, 1Be, 4Br, 4Dr et 5Ab.

104Cet axe oppose donc l’absence à la présence d’une certaine relativité quant à la notion de résultat significatif (4De vs 4Dr). D’un côté, une telle présence est consolidée par la réussite à l’item 4B, qui exprime autrement une telle relativité. De l’autre côté, une telle absence est supportée par l’échec à l’item 3A, revenant à avancer que « la véracité d’une hypothèse », qui est, en quelque sorte, une autre façon d’exprimer un résultat significatif, a aussi un caractère relatif.

105Notons aussi que l’axe 3 oppose la réussite (1Br) à l’échec (1Be) à la définition correcte du concept d’hypothèse nulle, qui diffère de celle donnée à l’hypothèse testée dans la théorie de Neyman-Pearson, à savoir : « c’est une hypothèse dont la véracité ne conduira à l’adoption d’aucune action nouvelle ». Un tel échec est accompagné par un autre échec (1Ae) consistant à prétendre que le qualificatif de nulle dans l’expression « hypothèse nulle » signifie « sans valeur ».

106Enfin, cet axe oppose aussi la réussite (5Dr) à la distinction entre les deux probabilités : P(𝔇’|𝔇) et P(𝔇|H) lorsque P(𝔇’|𝔇) est exprimée de la façon habituellement utilisée, mais mal interprétée, en tests statistiques, à savoir : « la probabilité de réplication de la décision », équivalente à « la probabilité que ces nouvelles données R permettent au juge de reprendre la même décision » dans l’item 5D de notre questionnaire, et l’échec (5Ae) induisant la confusion entre les deux probabilités : P(H|𝔇) et P(𝔇|H), et ce lorsque P(H|𝔇) est exprimée, comme nous avons déjà indiqué en interprétant le 2^ème axe factoriel, sous une façon impliquant l’approche bayésienne indirecte, habituellement utilisée pour définir le rôle pour lequel un test statistique est instauré, à savoir : déterminer « la probabilité que la décision prise par le juge soit due au seul hasard », objet de l’item 5A de notre questionnaire.

107En conclusion, les tendances expliquées par le troisième axe factoriel renvoient à la présence-absence du caractère relatif du vocabulaire utilisé, à la réussite-échec en termes de langage utilisé, associée à une réussite-échec quant à la définition correcte (donnée par Fisher), qui est différente de celle donnée à l’hypothèse testée dans la théorie de Neyman-Pearson. Par conséquent, le 3^ème axe factoriel peut être interprété comme un axe de réussite-échec dans l’utilisation du vocabulaire et du langage.

4. Discussion, conclusions et perspectives didactiques

108Nous avons passé en revue, dans cet article, un ensemble de facteurs susceptibles d’être principalement en cause pour les difficultés que rencontrent les étudiants, et même les professionnels, dans la compréhension des tests statistiques. Ce texte s’est focalisé sur les facteurs de vocabulaire et d’ambiguïté linguistique, qui sont souvent déconsidérés dans les cours dispensés aux étudiants par la plupart des enseignants de statistique (et probabilités). Pareillement, ces enseignants sous-estiment leur ampleur et leurs effets néfastes sur la compréhension des concepts statistiques, lesquels passent habituellement pour être davantage liés à la vie de tous les jours que les autres concepts de mathématiques. Par ailleurs, toute l’importance donnée dans ce travail à ces deux facteurs ne devrait pas faire oublier les difficultés qui peuvent être causées par les autres facteurs indiqués dans la partie théorique introductive de cette étude. Ces derniers peuvent entraîner des conséquences néfastes, à ne pas sous-estimer, et méritent aussi des études approfondies.

109Certes, la nature de l’instrument de mesure (questionnaire) sur lequel nous nous sommes appuyés ne permet pas à nos sujets, surtout ceux qui avaient déjà suivi un cours sur les tests statistiques, de reconnaitre facilement qu’ils sont face à des situations impliquant le vocabulaire et le langage utilisés en procédures de tests statistiques. Ceci est un garant plus ou moins fort de l’obtention de réponses qui ne soient pas influencées par d’autres facteurs, surtout de type psychanalytique (§ 2.5.). Ainsi, les résultats d’analyse factorielle multi-dimensionnelle des réponses des étudiants interrogés ont donné lieu à un plan et des axes factoriels avec des interprétations en termes de maîtrise du vocabulaire et du langage utilisés en tests statistiques. Plan et axes se déclinent selon l’importance de leur part d’inertie absolue (i.e., importance de leur part d’information contenue dans l’ensemble des réponses) suivant les interprétations respectives qui suivent.

• Une ambiguïté linguistique et une réussite-échec en vocabulaire utilisé (Plan (1,2)), se traduisant par :

• Une distinction non assimilée entre les trois probabilités P(𝔇|H), P(H|𝔇) et P(𝔇’|𝔇), associée à une réussite-échec au fait que l’expression « résultat significatif » désigne un résultat à caractère relatif et non absolu, et au fait que le qualificatif nulle indiqué dans l’expression « hypothèse nulle » est différent du qualificatif « sans valeur » (Cadran I vs Cadran II) ;

• Une réussite-échec au fait que les notions de véracité d’une hypothèse et de raisonnement adopté pour montrer une telle véracité sont toutes les deux à caractère relatif et non absolu, accompagnée d’une réussite-échec à la définition correcte (donnée par Fisher) du concept d’hypothèse nulle (Cadran III vs Cadran IV).

• Une confirmation de l’ambiguïté linguistique et de la réussite-échec en vocabulaire utilisé, déjà trouvées dans le plan (1,2), se traduisant par une présence-absence de relativité du vocabulaire utilisé, associé à réussite-échec à la définition correcte (donnée par Fisher) du concept d’hypothèse nulle, accompagnée d’une ambiguïté linguistique impliquant la confusion entre les probabilités conditionnelles P(𝔇|H), P(H|𝔇) et P(𝔇 ∩ H) (Axe 2).

• Une réussite-échec en termes de vocabulaire et de langage utilisés, se traduisant par présence-absence du caractère relatif du vocabulaire utilisé, une réussite-échec en termes de langage utilisé, associée à une réussite-échec quant à la définition correcte (donnée par Fisher), différente de celle donnée à l’hypothèse testée dans la théorie de Neyman-Pearson (Axe 3).

110Finalement, notons au passage que ces facteurs de vocabulaire et d’ambiguïté linguistique pourraient a priori être pris en considération par l’enseignement, contrairement à ce qui se fait habituellement et plus généralement dans toute approche didactique des tests statistiques. Cela permettra certainement d’explorer des perspectives de recherches d’ingénieries didactiques sur les tests statistiques.

111Nous avons placé en individus supplémentaires sur les trois premiers plans factoriels les centres de gravité respectifs du groupe d’étudiants ayant déjà suivi un cours sur les tests statistiques, le centre de gravité (T), et celui des étudiants qui n’en ont pas suivi, le centre de gravité (NT). Il est apparu qu’aucun de ces deux centres de gravité (T) et (NT) ne s’est situé du côté d’une bonne maitrise du vocabulaire et du langage habituellement utilisés en tests statistiques. Est-ce l’effet d’un enseignement qui présente les matières (surtout scientifiques) comme une batterie de connaissances statiques et non dynamiques ? Cela mérite en tout cas une étude didactique approfondie en termes d’approches d’enseignement des sciences dans notre système éducatif. Celle-ci pourrait permettre, lorsque des anomalies sont repérées, d’élaborer de nouveaux curricula prenant en considération le caractère relatif de la science et l’ambiguïté linguistique que pourraient causer les expressions et concepts véhiculés. Dans de tels curricula, on devrait aussi insister sur le fait d’introduire en cours les concepts scientifiques en les présentant aux étudiants dans les différents registres sémiotiques possibles (verbal, graphique, tabulaire, …), en insistant surtout sur le registre verbal qui est assez constructif mais souvent négligé, et en apprenant aux étudiants à passer d’un registre sémiotique à un autre de manière fluide en toute facilité (Duval, 1993).