Hervé GUYON et Camille NOÛS, Stat Wars. Le côté obscur de la force des statistiques
Hervé GUYON et Camille NOUS, 2024, Stat Wars. Le côté obscur de la force des statistiques, Rennes, Presses universitaires de Rennes, 328 p.
Texte intégral
1Le titre de l’ouvrage indique d’emblée l’objectif : faire la guerre à la mauvaise utilisation des statistiques. Selon les auteurs, Hervé Guyon (chercheur en psychologie statistique) et Camille Noûs (nom d’un groupe de chercheurs), la guerre est à mener contre le pouvoir abusif des statistiques toujours plus nombreuses et contre leur prétendue objectivité. « On peut débattre de tout, sauf des chiffres » entendait-on à l’envi sur les ondes au plus fort de l’épidémie de Covid. Cet ouvrage est une plaidoirie contre ce point de vue : il est non seulement possible mais essentiel de débattre, d’une part en amont des statistiques de la façon dont les modèles sont construits, d’autre part en aval des résultats produits, en sciences sociales et en politique notamment. Les auteurs invitent à ne pas considérer ces modèles comme une boîte noire mais à les décortiquer afin de gagner en pertinence dans les analyses et les décisions.
2Les statistiques, omniprésentes dans le débat public, sont issues des quantités de données accumulées à toutes occasions ; mais celles-ci permettent-elles réellement d’objectiver et de légitimer les analyses des phénomènes sociaux ? Pas sans prendre beaucoup de précaution : elles peuvent et doivent servir de base à des discussions. Car nombre des analyses qui en découlent sont fallacieuses. Les auteurs en expliquent les raisons, avec de nombreux exemples à l’appui.
3La critique s’applique aux sondages qu’ils soient élaborés par des instituts de sondage ou des équipes scientifiques (chapitre 1), mais aussi aux raisonnements appliqués aux données collectées : celui de l’inférence statistique qui permet la généralisation à une population entière d’un résultat obtenu sur un échantillon (chapitre 2) et celui de l’élaboration d’une explication (chapitre 3).
4L’ouvrage met en garde contre l’inadéquation et la fragilité de certaines variables introduites dans les modèles (chapitre 4) : des cas illustrant cette fragilité sont donnés à titre d’exemple dans le champ de la psychologie. L’ouvrage se penche ensuite sur le mauvais usage des statistiques dans la société (chapitre 5).
5Il se clôt par l’analyse de deux exemples caractéristiques des mésusages des modèles statistiques, illustrant ainsi l’ensemble de l’argumentation (chapitre 6).
6Les statistiques dont il est question sont élaborées à partir de données recueillies lors de sondages ou d’enquêtes. Mais avec quels questionnaires et auprès de quels échantillons ? Les uns comme les autres sont problématiques.
7Les questionnaires souffrent de fréquents biais (chapitre 1) :
-
biais de contexte, quand les avis dépendent par exemple de l’actualité ;
-
biais d’acquiescement, car on préfère généralement répondre par un « oui » que par un « non », qui nécessiterait une justification ;
-
biais de désirabilité sociale, pour se conformer à ce que l’on considère comme « bien » ;
-
biais de culture et de personnalité, chaque réponse possible n’ayant pas la même valeur ou le même sens selon chacun ;
-
et enfin biais de « réduction de l’énergie cognitive », consistant à ne répondre qu’à un des éléments d’une question complexe.
8Les responsables des études d’opinion usent et abusent de ces biais, lesquels seraient consciemment introduits par les instituts de sondage pour produire les résultats attendus, en cherchant à orienter les réponses des enquêtés. Bref en les manipulant.
9À ceci s’ajoute une critique liée à la construction d’un échantillon supposé représentatif : la méthode des quotas remplace généralement celle des échantillons aléatoires, le plus souvent impossibles à réaliser. Pourtant, les résultats sont publiés comme si les échantillons utilisés étaient aléatoires. La méthode des quotas elle-même est aussi sujette à critique : les variables sociodémographiques sélectionnées pour définir les quotas ne sont pas toujours adaptées à l’objet étudié. Des biais de sélection viennent en outre perturber la qualité des échantillons des personnes interrogées, qu’elles soient ou non regroupées dans des panels : la personne qui accepte de répondre ou de faire partie d’un panel a des caractéristiques différentes de celle qui refuse, qu’il s’agisse de disponibilité, de compétence ressentie, de motivation, d’intérêt...
10Les sondages d’opinion sont des outils de nature politique qui construisent une opinion majoritaire et rendent non crédibles les idées minoritaires, en utilisant divers moyens dans la formulation des questions, l’agglomération ou la globalisation abusives des réponses... Plusieurs exemples illustrent ces écueils.
11Les instituts de sondage sont accusés d’avoir pour principal objectif de vendre les sondages aux médias, aux partis politiques bien plus que de rechercher et d’exprimer la vérité. La critique à leur encontre est vive et bien argumentée, plus encore dans leur activité de sondages d’opinion que pour les sondages pré-électoraux. A contrario, les enquêtes scientifiques bénéficient d’un peu d’indulgence : les erreurs y sont considérées comme « souvent involontaires ».
12Les problèmes de l’inférence en statistique (chapitre 2) sont mis en évidence à l’aide d’un grand nombre d’exemples, dont certains sont fictifs et caricaturaux, avant de donner lieu à quelques pages théoriques sur les tests statistiques. Des conclusions erronées sont souvent tirées de résultats statistiques, et cela pour différentes raisons ; une erreur fréquente consiste à déclarer que deux phénomènes sont fortement corrélés alors que le test statistique indique uniquement qu’il n’est pas possible de conclure qu’il n’y ait aucun lien entre eux. Des paradoxes apparaissent par le fait d’effets de structures, liés à des effectifs très différents selon les modalités d’une variable. La corrélation statistique entre deux facteurs ne dit jamais rien sur une relation de cause à effet : le vrai facteur explicatif n’est pas toujours intégré dans le modèle. Une autre erreur consiste à confondre le sens et la portée des deux propositions : « être vrai en moyenne » et « vrai pour toutes les personnes ».
13Pour mettre ces erreurs en défaut, les auteurs insistent sur la nécessité d’une réflexion experte, dite « qualitative » par opposition à l’analyse purement quantitative sur la discipline étudiée : alors que c’est la théorie de la discipline étudiée qui devrait être primordiale, éventuellement illustrée par des résultats statistiques, c’est souvent l’inverse qui est présenté.
14Dès le XIXe siècle on cherche à traiter les objets de sciences sociales comme s’ils étaient des objets de sciences physiques, pensant ainsi rendre « dures » les sciences « molles ». On fait de plus en plus appel à des analyses quantitatives pour crédibiliser et objectiver l’explication d’un phénomène social mais les choix théoriques et idéologiques sous-jacents aux modèles statistiques utilisés, que ce soit dans la sélection des variables introduites ou dans la façon de les coder, sont souvent ignorés, ce qui conduit à des interprétations inexactes (chapitre 3).
15Les essais randomisés, bien connus en médecine, ne sont généralement guère possibles dans les domaines de sciences sociales : il est en effet difficile d’effectuer une même mesure sur deux populations semblables car elles diffèrent forcément du point de vue de leurs motivations, de leur emplacement géographique, de leur environnement culturel ainsi que d’autres variables sociodémographiques.
16Pour étudier les questions de mesure des attributs des objets étudiés par la statistique, les auteurs se sont focalisés sur le domaine de la psychologie (chapitre 4). Mais l’ensemble de leur propos peut s’appliquer aux autres sciences sociales.
17Les variables décrivant la psychologie des individus, par exemple le type de personnalité ou la vulnérabilité à la dépression, ne sont pas directement observables mais peuvent être appréhendées par certaines de leurs manifestations. Celles-ci sont recueillies par une batterie de questions, construite selon un protocole qui doit être validé par la communauté académique. L’« impératif quantitatif » provoque la transformation des réponses en variables numériques dont la validité et l’opérationnalité ne sont pas toujours vérifiées : la combinaison numérique de plusieurs valeurs de réponses peut n’avoir aucun sens. Pour qu’une caractéristique soit mesurable quantitativement il faut qu’elle réponde à certains critères mathématiques. Par exemple, si la douleur peut être quantifiée, la dépression est, elle, mieux représentée par une variable ordinale. Certains facteurs, comme la personnalité, ne peuvent être représentés que par une variable nominale.
18La neuro-imagerie qui prétend permettre de détecter et d’analyser des traits psychologiques dans le cerveau doit être utilisée avec la plus grande prudence, la localisation dans le cerveau de processus cognitifs étant encore très incertaine. L’état mental d’une personne est dépendant de son environnement et de ses interactions sociales.
19L’obligation faite aux chercheurs en sciences humaines de publier pour exister fait partie des raisons qui les conduisent à une mauvaise utilisation des méthodes statistiques (chapitre 5) et en particulier à ne publier que des résultats significatifs sans mentionner ceux non significatifs, pourtant porteurs de conclusions intéressantes ; mais aussi à ne pas divulguer leurs données, ce qui entraîne un manque de transparence. À cela s’ajoute le rôle de revues « prédatrices », s’affirmant scientifiques alors qu’elles publieraient à peu près n’importe quoi pourvu que les auteurs payent.
20Dans toutes les sphères de la vie sociale sont utilisées des normes, des scores de performance, des évaluations professionnelles, des tests de personnalité, issus de statistiques fragiles et non objectives mais qui sont à la base de processus de prescription, de hiérarchisation, de contrôle et de régulation dans lesquels l’individu se perd.
21Le chapitre 6 se penche attentivement sur deux exemples illustrant l’ensemble du plaidoyer. La réputation de deux économistes et celle de la revue dans laquelle ils ont publié ont donné un impact considérable à l’un de leurs articles indiquant que le seuil de 90 % d’endettement par rapport au PIB entraînait un ralentissement de la croissance économique. Cet effet a été amplifié par le fait que cet article donnait des arguments favorables aux politiques d’austérité préconisées par des dirigeants politiques. Pourtant cette publication comportait des erreurs importantes et des choix très discutables qui ont été découverts par un étudiant. Finalement ce seuil de 90 % a été remis en cause et la relation causale doit peut-être même être inversée selon certains articles.
22L’autre exemple concerne la Covid : les hypothèses justifiant les mesures autoritaires imposées par le gouvernement, en l’occurrence le confinement puis l’obligation du pass sanitaire le 12 juillet 2021, ont été choisies de façon contestable par un conseil scientifique ad hoc. Aucune étude scientifique rigoureuse ne prouvait l’efficacité de ces mesures par rapport à d’autres moins contraignantes et moins générales. Les auteurs mettent notamment en cause l’utilisation de données sanitaires fragiles car manquant de discrimination, concernant les personnes hospitalisées, les personnes vaccinées et les décès.
23En insistant principalement sur le mésusage des statistiques, les auteurs abondent dans la mauvaise presse qu'elles ont déjà couramment. Même s’il est utile d’avertir de leur fréquente médiocrité, il serait dommage, voire dommageable, que le lecteur la pense systématique, alors qu’en réalité de nombreuses études statistiques sont conduites dans les règles de l’art.
Pour citer cet article
Référence électronique
Marion Selz, « Hervé GUYON et Camille NOÛS, Stat Wars. Le côté obscur de la force des statistiques », Revue européenne des sciences sociales [En ligne], mis en ligne le 09 janvier 2025, consulté le 12 février 2025. URL : http://journals.openedition.org/ress/11693
Haut de pageDroits d’auteur
Le texte seul est utilisable sous licence CC BY-NC-ND 4.0. Les autres éléments (illustrations, fichiers annexes importés) sont « Tous droits réservés », sauf mention contraire.
Haut de page