Navigation – Plan du site

AccueilNuméros132-133Quand la gouvernance d'Internet f...Le principe de justice dans la go...

Quand la gouvernance d'Internet fait controverse

Le principe de justice dans la gouvernance de l'Intelligence artificielle au prisme du genre, de classe et de race

 Instruments, définitions et limites
Julie Marques

Résumé

Dans cet article, nous menons une réflexion sur l’Intelligence Artificielle au prisme d’une approche intersectionnelle qui questionne l’apparente neutralité de cette Technique et met en visibilité les différents impacts de cette dernière sur les rapports sociaux. Nous proposons d’analyser le principe de justice dans la gouvernance de l’IA au travers de l’exploration et de l’étude de trois chartes développées entre 2020 et 2021, en France. Il s’agira de présenter les points de convergence, de divergence et les limites de ces instruments, ainsi que leur inscription dans un contexte plus large de production de recommandations traitant de l’éthique et de la justice de l’IA.

The principle of justice in the governance of Artificial Intelligence through the lens of an intersectional approach : instruments, definitions and limits. In this article, we reflect on Artificial Intelligence through the prism of an intersectional approach that questions the apparent neutrality of this Technique and makes visible its different impacts on social relations. We propose to analyze the principle of justice in the governance of AI through the exploration and study of three charters developed between 2020 and 2021, in France. We will present the points of convergence, divergence and limits of these instruments, as well as their inclusion in a broader context of production of recommendations dealing with the ethics and justice of AI.

Haut de page

Texte intégral

  • 1 Nous empruntons la graphie à J. Ellul (1954). Elle se réfère au phénomène de production de la Techn (...)

1LIntelligence Artificielle (IA) et les algorithmes ont été fortement développés au cours des dernières années. La grande capacité que cette Technique1 a de normer, d’ordonner, voire de gouverner les pratiques, mais aussi de transformer ou d’automatiser des rapports sociaux, en fait un dispositif qui se saisit des êtres, de par sa « capacité de capturer, d’orienter, de déterminer, d’intercepter, de modeler, de contrôler et d’assurer les gestes, les conduites, les opinions et les discours des êtres vivants. » (Agamben, 2014). Depuis quelque temps, différents scandales sur l’IA et la manière dont celle-ci peut automatiser les inégalités et discriminations ont poussé une multitude d’instances à proposer une gouvernance éthique, voire juste, de cette Technique. Ces recommandations constituent un corpus de soft law et des formes de (auto)régulation avec de forts enjeux d’établissements de normes nationales et internationales en matière d’IA.

Terrain et méthodologie

Depuis octobre 2019, notre posture de recherche au sein d’une équipe traitant des enjeux d’égalité professionnelle, de diversité et d’inclusion dans un département de Responsabilité Sociale de l’Entreprise (RSE) d’un grand groupe de télécommunication français a rendu possible l’observation de la construction de trois instruments de gouvernance de lIA et des enjeux d’égalité liés au genre, ainsi que la manière dont ceux-ci ont été accepté, transformé ou rejeté. Nous effectuons une observation directe participante, notamment au sein des groupes de réflexion qui élaborent et rédigent ces recommandations et avons eu une visibilité sur le niveau d’acceptabilité et les stratégies d’appropriation des instruments pour une « IA juste » par l’entreprise. En outre, notre corpus comprend les chartes et donc la littérature grise, qui constituent les recommandations pour une IA juste, en France, que nous avons complété par des entretiens compréhensifs (Kaufmann, 1996) auprès de personnes qui produisent ces instruments, afin de comprendre leurs représentations et intentions vis-à-vis de ceux-ci. Ces dispositifs s’inscrivent dans un contexte plus large et international de production de recommandations sur une gouvernance éthique de l’IA, qui inclut une réflexion sur l’IA et la justice (Jobin et al, 2019). Cependant, les trois instruments que nous présentons dans cet article témoignent des processus organisationnels inhérents à notre terrain de recherche. La méthodologie s’appuie sur une interprétation des données via le logiciel de textométrie IRAMUTEQ, qui permet une représentation statistique et visuelle de notre corpus. Nous croisons ces résultats avec une analyse de contenu thématique (AC), qui rend compte des définitions, assimilations et imaginaires qui englobent le principe de justice dans lIA. Ces analyses sont faites à l’aune des études de genre et de l’intersectionnalité, elles s’appuient sur un cadre théorique qui mêle sciences de l’information et de la communication et sciences du langage.

2 Dans cet article, nous explorons divers instruments de (auto)régulation pour une « IA juste » au prisme d’une approche intersectionnelle. Nous en avons observé l’élaboration dans le cadre d’une démarche ethnographique au sein de la Responsabilité Sociale d’Entreprise (RSE) d’un groupe français de télécommunication. Nous cherchons à comprendre et analyser les convergences, disparités, limites et tensions de ces dispositifs. Il s’agit d’analyser des dispositifs de gouvernance de lIA pour éviter la reproduction des inégalités et discriminations, produits par diverses instances aux intérêts hétérogènes.

3 Dans un premier temps, une définition de l’IA et de ses enjeux dans une perspective intersectionnelle est proposée. Nous montrons ensuite que, face aux enjeux posés par l’IA, diverses formes d’autorégulation sont déployées pour favoriser le développement d’une IA dite inclusive, non sexiste ou égalitaire. Ces instruments ouvrent un espace de négociation entre des instances et induisent un travail de définitions, de régulations ou de formes de gouvernance qui tendent s être acceptées, transformées ou rejetées constituant un corpus de soft law sur lIA, tout en diffusant des représentations, définitions de ce qu’est une IA juste.

L’Intelligence Artificielle, « miroir » de la société: élément de définition et approche intersectionnelle de la Technique

  • 2 Cette notion est une grille de lecture des représentations qui circulent sur l’IA. Toutefois, suite (...)

4 L’expression « Intelligence Artificielle » cristallise les inquiétudes et imaginaires ancrés dans cette Technique. Si la terminologie est souvent remise en cause par des experts, qui trouvent qu’il s’agit d’une grossière exagération des capacités du computationnel, cela n’empêche pas les comparaisons avec la pensée et les modes de réflexion humains. Cette comparaison paraît s’accentuer avec le développement des nouvelles méthodes de modélisation de l’IA telles que le machine learning, qui suppose que la machine apprend, ou encore le deep learning, souvent comparé au réseau neuronal du cerveau humain. Toutefois, l’IA peut être défini comme « un corpus de   concepts et de techniques permettant à une machine de réaliser des tâches au moyen de programmes informatiques, simulant parfois ainsi, dans une certaine mesure, l’intelligence humaine. » (Bertail et al, 2019). D’un point de vue technique, une IA est fondée sur la construction et le développement d’algorithmes. Ceux-ci sont soit des modélisations du réel, soit des solutions mathématiques qui prennent la forme « [d’] une série d’instructions permettant d’obtenir un résultat » (Cardon, 2015). Cette Technique s’appuie sur le big data et dépend des données produites par tous les outils et plateformes du numérique et de l’Internet. Les modèles actuels supposent une certaine opacité des fonctionnements de l’IA, ce qui les rend parfois difficiles à expliquer (O’Neil et al, 2018). Ces modèles renforcent une représentation mystérieuse et complexe de l’IA, créant un « drame algorithmique » (Jaton, 2019) : les algorithmes sont insondables, ce qui leur confère une puissance, et réciproquement, leur puissance justifie leur complexité2.

5 LIA est aussi porteuse de fictions et imaginaires qui ont accompagné sa formulation/formalisation et qui sont ceux de l’auto-engendrement, dun humain devenu créateur (Collet, 2019). Concept qui se retrouve dans les travaux de N. Wiener, J. Von Neumann ou encore A. Turing (Doueihi, 2013). L’IA est souvent affiliée à lidée que lhumain devenu aussi puissant que Dieu créerait un être à son image, techno-imaginaire qui persiste encore (Musso, 2020). Cependant, si lon prend en compte les recherches et matérialisations de lIA, on voit que cette « machine intelligente » a des limites, lIA étant considérée aujourd’hui comme une manière daccompagner lhumain dans ses décisions, plus que comme un être autonome (Cardon, 2019).

6 Cette définition de l’IA est non exhaustive et nous n’explicitons pas tous les mécanismes de cette dernière, car tout comme D. Cardon, « nous préférons ignorer les conditions de fonctionnement de la société des calculs, en laissant les clés aux statisticiens, aux informaticiens et aux économètres. [Car notre propos] n’est pas mathématique, il est pleinement politique. » (Cardon, 2015). Si le propos ne s’attarde pas sur la condition matérielle d’existence de l’IA au sens informatique et mathématique, nous lui reconnaissons tout de même une matérialité, au sens où elle a des impacts visibles et tangibles sur la société et les personnes qui la composent. En cela, nous nous intéressons au matérialisme qu’elle incarne au niveau des institutions et des idéologies, dont les conséquences s’observent, se mesurent dans la société, les parcours et les vécues (Ananny, 2016 ; Lecercle, 2004). C’est d’ailleurs, en ce sens que nous considérons l’IA comme un dispositif c’est-à-dire comme un « réseau »    constitué « du dit aussi bien que du non-dit » (Foucault, 2001). Elle renvoie à un « ensemble de pratiques et de mécanismes » (Agamben, 2014) qui participent de l’ordonnance du monde, par sa capacité de « gérer […] orienter […] les comportements, les gestes et les pensées des hommes » (Agamben, 2014).

7 Pour penser le matérialisme Technique, il faut souligner que sous couvert d’objectivité mathématique, l’IA, est une Technique imbriquée – embedded – dans le monde social. En cela, l’IA n’est pas neutre et nous l’analysons dans sa dimension sociomatérielle, au prisme d’une approche intersectionnelle.

8 Tout d’abord, la notion de genre est un des préalables théoriques, au prisme duquel nous appréhendons la Technique. Il fait référence à la construction sociale du sexe et du genre, des rôles et valeurs qu’on leur attribue socialement et qui ne relèvent pas de linné (Delphy, 1998 ; Dorlin, 2008). Il est un processus de différenciation et de hiérarchisation, qui peut être assimilé à un rapport social non cumulatif et coproduit par d’autres rapports de pouvoir (Kergoat, 2012). Le genre est un rapport de pouvoir à l’intersection de diverses formes de marginalisation et systèmes d’oppressions qui varient selon les contextes sociaux, géographiques et historiques (Lépinard et Mazouz, 2021). Le genre est avec les rapports sociaux « multiples et déterminées simultanément et de façon interactive par plusieurs axes dorganisation sociale significatifs » (Bilge, 2009).

  • 3 Le terme « race » est utilisé dans un discours critique, il n’est absolument pas évoqué dans un sen (...)

9 Cette appréhension du genre articulé aux rapports de pouvoir peut être pensée au prisme de l’intersectionnalité, afin de saisir les logiques de domination, en montrant que larticulation, limbrication de plusieurs catégories telles que le genre, la race3, la classe, lorientation sexuelle, l’âge, le handicap, etc., renvoie à différentes expériences d’oppression et de marginalisation des personnes. L’intersectionnalité permet de sortir de l’appréhension cumulative ou additionnelle des oppressions, qui perpétue l’invisibilisation de certains vécus. Elle a été développée par les féministes noires états-uniennes et formalisée par K. Crenshaw en 1989, afin de montrer que la prise en compte des discriminations au niveau du droit états-unien, de manière cumulative ou séquentielle, invisibilisait les vécus et expériences des personnes minorisées. Cette approche a été ensuite appliquée à des contextes plus larges afin de quitter « un système qui pense la discrimination sexuelle à partir de lexpérience normative des femmes blanches et la discrimination raciale à partir de lexpérience normative des hommes noirs. » (Bilge et Roy, 2010), en analysant la complexité des expériences micro et macro sociales. Avec l’intersectionnalité, on prend « en considération des interactions entre ces catégories multiples qu’elle considère comme mutuellement constitutives. » (Bilge et Roy, 2010).

  • 4 Au sens marxien de matériel, afin d’analyser les conséquences de l’IA sur les groupes et personnes, (...)

10 Nous analysons l’IA et ses dispositifs de (auto)régulation en prenant en compte la coconstruction et l’imbrication des rapports de pouvoir, qui à travers l’IA se produisent – sont produits – aussi, au prisme d’une approche intersectionnelle. Dans cette perspective, l’IA n’est pas neutre et s’appréhende dans une dimension matérielle4, idéologique, institutionnelle et historique, ce qui favorise une compréhension des conditions de production et d’apparition des rapports de pouvoir dans la Technique (Cockburn, 1981). En effet, la Technique est éminemment politique et sociale : elle peut être « […] instrumentalisée à des fins de pouvoir. » (Chabaud-Rychter et Gardey, 2002), est porteuse d’idéologies et « embody specific forms of power and authority » (Winner, 1980). Elle est une manière de réguler et d’ordonner le social et ses pratiques. Par là, il s’agit de sortir de la dichotomie Technique/société (Akrich, 1994) et d’un certain déterminisme technique, pour penser la socio-matérialité de l’IA, c’est-à-dire la coconstruction entre monde social et Technique. Cette conceptualisation de l’IA rend possible une critique féministe de la neutralité de la Technique et signale à quel point celle-ci est imbriquée dans des rapports sociaux.

  • 5 Le secteur numérique et technique souffre d’un important manque de mixité et de diversité. Par exem (...)
  • 6 Réactualisant encore une fois une domination du Nord sur les Sud dans une perspective post-colonial (...)

11 L’IA est, de fait, un pouvoir à l’intersection des rapports de sexe, de classe et de race. Or, elle est pensée et produite par des groupes dominants5, ce qui constitue un fort enjeu de pouvoir à une époque où l’IA est susceptible d’imposer des hiérarchies, structures et normes. Sans compter qu’une capitalisation des savoirs et des dires sur la Technique est exercée par les pays du Nord, ce qui pourrait imposer une idéologie sur ceux des Sud6 (Mohamed et al, 2020). L’approche intersectionnelle réfute le fait que l’IA est anhistorique et neutre, pour sortir d’un « maths washing » invisibilisant des rapports de pouvoir sous couvert d’une objectivité mathématique qui finalement n’existe pas (Haraway, 2007). Une approche intersectionnelle de l’IA suppose de penser les contextes locaux et les rapports de domination, la spécificité des expériences et parcours afin de ne pas imposer une analyse globale et normative, au risque que l’IA participe à l’intégration, la production, voire la justification de formes de marginalisation et d’oppression (Mohamed et al, 2020 ; Wong, 2020). Il s’agit de considérer qui détient les savoirs, les faire et les dires sur l’IA, pour analyser comment et dans quelles mesures celle-ci intervient dans le renouvellement des rapports sociaux : « Whereas in a previous era, the intention to deepen racial inequities was more explicit, today coded inequity is perpetuated precisely because those who design and adopt such tools are not thinking carefully about systemic racism. » (Benjamin, 2019).

  • 7 Traduction de l’anglais : « Algorithmic Oppression ». Nous empruntons l’expression à S. U. Noble (2 (...)
  • 8 En réaction, des travaux ont développé des outils statistiques d’évaluations des discriminations d’ (...)
  • 9 « Gender Shades ». Consulté le 11 juin 2020. http://gendershades.org/overview.html.

12 Cette reproduction des oppressions par la Technique a été dénoncée dans divers cas d’usages de l’IA et s’apparente à ce que S. U. Noble (2018) qualifie « d’oppression algorithmique »7 et qui, tout comme L. M. Hampton (2021) le signale, s’étend à toutes formes d’oppressions produites par des algorithmiques, qu’elles soient de race, de sexe, de classe, de handicap, etc. D’une part, elles sont observables dans la manière dont les IA sont pensées, notamment parce que, lors de la conception, les discriminations et inégalités ne sont pas pensées – expérimentées – par ceux qui produisent les systèmes techniques. D’autre part, dans la récurrence de l’invisibilisation des personnes opprimées et de leur parcours, ce dont les données témoignent. Enfin, parce que la Technique s’inscrit dans des enjeux économiques, au nom d’un certain progrès et participe à des formes éventuelles dexploitation des personnes minorisées (Hampton, 2020). Ces dernières années, on l’observe au travers de divers scandales sur l’IA, la réactualisation de formes d’oppressions8 : qu’elle soit raciste avec des algorithmes qui calculent le risque de récidive des détenus (Larson et al, 2016), qu’elle soit sexiste avec des outils d’aide au recrutement (Hamilton, 2018) ou encore à l’intersection de ces discriminations en invisibilisant des femmes racisées via la reconnaissance faciale9. Suite à ces scandales, plusieurs organisations soulignent le risque de « biais » de l’IA et en appellent à une gouvernance éthique, voire juste de cette dernière. Toutefois, il ne s’agit pas que d’une reproduction malencontreuse de certains « biais », l’IA participe aux idéologies et fait système, ses phénomènes peuvent être violents et réaffirme des hégémonies (patriarcale, raciste, hétéronormative et validistes).

13 Nous continuons notre propos, en présentant et analysant trois instruments dont l’objectif affiché est d’éviter que l’IA reproduise des discriminations liées au genre.

Le principe de justice dans la gouvernance de l’IA : enjeux et limites

  • 10 L’interdiscours renvoie à l’idée que tout discours est pris dans un ensemble plus vaste. « Certains (...)

14 Voyant que les innovations en matière dIA ont soulevé de nouvelles inquiétudes et pour éviter un rejet de cette Technique de la part des usagers, une multitude d’instances en appelle à une gouvernance éthique de l’IA. Le thème se diffuse depuis 2017 et plusieurs organisations œuvrent à la définition de normes (Jobin et al, 2019). Ces recommandations pour une gouvernance de l’IA éthique forment un interdiscours10 entre des instances dont les intérêts sont hétérogènes. Elles semblent vouloir venir au renfort d’un certain « vide juridique » (Deibert et Crete-Nishihata, 2012), bien que l’IA ne présente aucune particularité qui la dispense de répondre aux lois en vigueur en matière de respect des droits et libertés fondamentaux, de traitement des données ou des lois contre les discriminations. À noter que la gouvernance de la Technique nest pas un sujet nouveau, et est particulièrement prégnante lorsque lon parle du numérique ; la gouvernance de lIA s’inscrit dans cette continuité. Les questionnements sont multiples et témoignent dune puissance de la Technique, ils rejoignent ceux déjà posés par la régulation d’Internet (Berleur et Poullet, 2002). Cette prolifération de discours provenant des organisations à travers des recommandations et lignes directrices laisse entrevoir des formes de négociations pour la gouvernance de lIA. Ces discours viennent définir ce qu’est une IA éthique ou juste, mais leurs définitions peuvent présenter certaines limites.

15 Les instruments que nous proposons d’analyser, bien qu’ayant des objectifs similaires, ne procèdent pas de la même manière, nont pas les mêmes outils et nutilisent pas les mêmes termes pour traiter de lIA et du genre. Nous explorons leur contenu, leur cadre et leur cible afin de mieux comprendre leurs objectifs.

16 Le premier instrument est constitué de la charte internationale pour une Intelligence Artificielle Inclusive dArborus et Orange et du label GEEIS-AI11. Les instruments proposés par le fonds de dotation Arborus12 ont été produits en deux temps. En premier lieu, il y a eu le lancement, en partenariat avec Orange, en avril 2020, de la charte internationale pour une Intelligence Artificielle Inclusive. L’initiative est placée sous le haut patronage du Secrétaire d’État chargé du Numérique de la République française. La charte peut être signée volontairement et en ligne par des entreprises, associations ou autres type d’organismes. Différentes organisations ont signé, bien que la charte soit clairement dédiée aux entreprises. La charte emploie une sémantique méliorative vis-à-vis de l’IA et la dépeint comme un outil favorisant le progrès, notamment en matière d’égalité femmes-hommes, sous la condition qu’elle soit développée « de manière responsable et inclusive […] au service de toutes et de tous. »13. Elle définit sept engagements pour les entreprises signataires, qui énumèrent des processus assurant le développement et le déploiement des systèmes d’IA dits inclusifs. Les engagements ne définissent pas une manière dappliquer un principe de justice, d’égalité ou d’équité dans les IA.

  • 14 Bureau Veritas France. « Gender Equality & Diversity for European & International Standard ». Consu (...)

17La charte stipule n’être qu’une première étape en vue d’un engagement de la structure signataire à se faire labéliser GEEIS AI. Le label existe depuis septembre 2020 et a vocation d’attester de l’engagement et des actions menées par l’entreprise en faveur d’une « IA éthique et inclusive ». Il vise des « politiques de ressources humaines en faveur de l’égalité des chances envisagées sous langle de lIA [et] représente une étape de plus dans la construction dune stratégie  inclusive et éthique. »14. Il s’agit d’évaluer des politiques, notamment d’égalités professionnelles et d’égalité des chances développées par les Ressources Humaines de l’entreprise (RH), et la manière dont celles-ci prennent en compte lIA. Lobtention du label GEEIS AI fait suite à un audit effectué par le Bureau Veritas Certification, lors duquel lentreprise démontre son engagement en faveur dune « IA inclusive ».

18 Le deuxième instrument date de mai 2020 et s’intitule Le Pacte pour une Intelligence Artificielle égalitaire entre les femmes et les hommes. Il a été produit par l’association Le Laboratoire de l’égalité15 et est le résultat de deux années de travaux. La démarche est soutenue par le gouvernement français ainsi que par plusieurs acteurs du privé, des secteurs académiques et associatifs. Le document a pour objectif d’interpeller les différentes instances publiques et privées des risques que présente l’IA en matière d’égalité femmes-hommes. Il propose des actions et des solutions afin d’éviter que l’IA ne reproduise les inégalités, et de faire de cette Technique « un moteur de l’égalité entre les femmes et les hommes » (Laboratoire de l’égalité, 2020). Il aborde la nécessité dengager les acteurs de lIA pour en faire une Technique non sexiste et éthique, et souligne l’importance de la mixité dans les métiers de l’IA. Le document prend la forme d’un ensemble de recommandations, dont certaines qu’on ne retrouve pas forcément dans d’autres publications du même ordre, à savoir l’utilisation de l’IA pour corriger les inégalités ou encore l’objectif de 50 % de femmes dans les instances de l’IA dans les trois prochaines années, propositions propres au Laboratoire de l’égalité.

19 Le dernier instrument a été produit par le groupe de travail « femmes et IA » du Cercle InterElles16, association et réseau d’entreprises des sciences et techniques. Les travaux sur l’IA et les femmes ont débuté au sein du réseau en 2019, sous la forme d’un groupe de réflexion inter-entreprise. À l’issue de ces travaux, le groupe a créé un instrument qui a vocation de servir les entreprises qui souhaitent « se mobiliser et agir […] de façon volontariste dans le sens du progrès et de l’éthique. »17 Le Pacte « femme« «   s et IA » pour une Intelligence Artificielle responsable et non-sexiste a été présenté pour la première fois lors du colloque InterElles en mars 2021. Il constitue « un ensemble doutils pragmatiques pour agir dans le sens dune IA responsable et non sexiste »18 dédié aux entreprises utilisatrices et/ou productrices d’IA. Il comprend quatre piliers, chacun associé à un outil disponible dans le Pacte. Ces outils visent à « favoriser une conception et une utilisation responsable et non discriminante des solutions à base dIA dans nos entreprises. »19 Les entreprises s’engagent en signant la charte, constituée de sept points d’action. Un vocabulaire issu de l’IA éthique et responsable y est repris, notamment par l’utilisation de concepts similaires et que l’on trouve dans diverses recommandations sur l’éthique de l’IA (Jobin et al, 2019), à savoir : (1) « Comité IA et gouvernance » ; (2) « Conformité dès la conception » ; (3) « Choix et traitement des données » ; (4) « Responsabilité et éthique algorithmique » ; (5) « Évaluation et  points de contrôle ». Ils sont entendus au prisme du genre et n’intègrent pas tous les pans de l’éthique de l’IA, bien que leur formalisation relève d’un glissement sémantique du champ de l’éthique de l’IA vers celui de l’IA au prisme du genre et donc d’un dialogisme entre les deux. La charte inclut deux autres concepts, celui de : (6) « Diversité des  équipes IA » et un autre de (7) « Sensibilisation et responsabilisation ». Chacun de ces principes comprend une description des enjeux et actions à mettre en œuvre, tout en relevant les risques identifiés. Le Pacte met à disposition une grille d’auto-évaluation, ainsi qu’une boîte à outils qui recense les pratiques existantes. Enfin, le groupe réfléchit à la production d’un label, dont l’objectif est de témoigner de l’exemplarité de l’entreprise.

  • 20 La textométrie « permet une observation à la fois fine et globale des textes, tout en restant proch (...)
  • 21 Iramuteq est un logiciel de statistiques textuelles fondé sur l’interface R permettant une analyse (...)
  • 22 L’AFC est une méthode de statistiques descriptives permettant l’analyse de données textuelles. Elle (...)

20 L’analyse textométrique20 via IRAMUTEQ21 du corpus de chartes/pactes et plus spécifiquement l’Analyse Factorielle des Correspondances (AFC)22 témoignent d’une disparité dans les discours des structures respectives. Elles ont des mondes de référence distincts pour parler d’IA et de genre, malgré la similarité de leurs objectifs.

21 Ces instruments pour une gouvernance de l’IA au prisme du genre s’inscrivent dans un ensemble de productions plus vaste sur la gouvernance éthique de lIA provenant de diverses organisations. Travaux qui intègrent les sujets de non-discrimination dans l’IA via le principe de justice (fairness). Ils constituent des instruments de négociation, de définitions et des normes en élaboration de cette Technique. Les principes énoncés dans ces recommandations peuvent être regroupés au nombre de onze (Jobin et al, 2019). Notre analyse se concentre sur le principe de « Fairness, Justice and equity », dans lequel notre terrain de recherche s’inscrit.

22 En outre, le grand nombre de recommandations et la multiplicité des termes et définitions de ce principe produit un flou sur ce qu’est une « IA juste », ainsi que les contextes d’applications des différentes définitions. S. Verma et J. Rubin (2018) soulignent d’ailleurs que plus de vingt définitions du principe de justice dans l’IA ont été publiées ces dernières années. Les recommandations des chartes/pactes de notre recherche s’inscrivent dans cette mouvance en proposant de nouvelles terminologies et les entretiens effectués auprès des personnes productrices de ceux-ci, révèlent des attentes différentes vis-à-vis de l’IA.

  • 23 Extrait d’entretien avec la chargée de projet IA du Laboratoire de l’égalité.
  • 24 Extrait d’entretien avec une membre du groupe de réflexion « femmes et IA » du Cercle InterElles.
  • 25 Extrait d’entretien avec une responsable des labels GEEIS.
  • 26 Idem.

23 Le Laboratoire de l’égalité préfère l’expression d’IA égalitaire, voire d’IA à l’éthique égalitaire, définie comme « une IA qui va intégrer les femmes dans tous les types de processus […] au même titre que les hommes et sans aucune discrimination liée au genre. […] une IA qui va être aussi tournée vers le durable et donc qui va être éthique »23. Le Cercle Interelles parle dIA non sexiste, qui « ne renforce pas les biais déjà existants dans la société et qui n’en crée pas de nouveaux et non seulement des biais, mais aussi des discriminations. […] c’est une IA dont la production et l’utilisation ont été étudiées, dans lequel il y a une action pro-active pour éviter qu’elle le soit. »24 Enfin, Arborus utilise le terme d’IA inclusive, considérée comme une IA qui « ne laisse personne sur le bord du chemin. […] qui va prendre en considération le fait qu’à compétences égales on ne va pas discriminer daucune façon.  En même temps, une IA inclusive doit prendre en considération, si besoin est, des politiques stratégiques de ressources humaines. »25 De plus, l’expression « IA inclusive » ne suppose pas qu’une appréhension du genre, puisque « l’inclusion est beaucoup plus globale »26. Cette différence entre les termes utilisés ne révèle pas en soi une grande divergence dans l’objectif, ainsi on comprend que les trois instances sont dans une démarche de non reproduction des discriminations et inégalités par l’IA.

24 Les trois instances annoncent inscrire leurs actions dans le cadre de l’égalité professionnelle femmes-hommes et conçoivent donc les risques et potentiels de lIA pour l’égalité dans le domaine du travail. Elles s’inscrivent, plutôt dans des processus organisationnels pour favoriser une production juste de cette Technique, dans une certaine forme de justice procédurale, qui tend à cadrer des pratiques et processus de développement de l’IA, plutôt que dans une analyse de cette Technique. Ainsi, on ne retrouve pas de définitions de ce qu’est la justice dans/de par l’IA et les contextes d’application ne sont pas précisés. Les recommandations concernent des processus et des points de vigilance, comme : vérifier la représentativité ou qualité des données, assurer que l’IA traite de manière juste les femmes et les hommes, penser la formation aux biais des équipes qui conçoivent la Technique. Toutefois, Le Laboratoire de l’égalité conçoit l’IA égalitaire, dans une démarche corrective plus que préventive, notamment en suggérant de l’utiliser pour réajuster des inégalités ou en lui fixant des objectifs d’égalité à atteindre.

  • 27 Chacun des instruments que nous avons présentés est soutenu ou pensé par au moins une entreprise du (...)

25 Bien que les terminologies distinctes laissent penser qu’il y aurait des divergences dans les cadres d’application et définitions de ce qu’est l’IA juste, ces distinctions ne se constatent pas au niveau du contenu. Pourtant, les termes renvoient à divers concepts de la justice sociale et auc manières de l’atteindre. Ces chartes s’inscrivent dans des pratiques de RSE et témoignent d’une appropriation du discours du droit par la rhétorique managériale (Bereni, 2009). Il semblerait que le développement de chartes et labels pour une IA juste, s’inscrive dans les mêmes pratiques que celles du diversity management lorsqu’il s’agit de traiter de la non-discrimination en entreprise. Cette managérialisation de la loi (Edelman et al, 2001 ; Amintas et Junter, 2009) peut produire des incohérences dans les significations des termes entre les cadres juridiques de lutte contre les discriminations et les définitions du principe de justice dans l’IA, ce qui parfois produit une incompatibilité entre les deux (Xiang et Raji, 2019). Sans compter, que la forte implication du secteur privé dans le développement de ces instruments27 présentent certains risques, par exemple celui d’un « ethics shopping » (Wagner, 2018), puisqu’en l’absence de normes ou de cadre de hard law sur le sujet, une grande autonomie est laissée aux instances sur la définition des politiques en matière d’IA éthique et juste. Le manque de terminologies affiliées à des définitions claires et consensuelles des différentes applications des normes de justice dans l’IA conduisent à un flou, dans lequel les instances décident de la forme de justice sociale applicable et de ce qu’elle signifie. La multiplication des signifiants et des signifiés produit des variations dans les normes d’application même (Sire, 2017). Hors, la définition de justice porte des formalisations techniques et revient à une qualification de ce qui est considéré comme juste ou non, ce qui est visible dans l’application des différentes définitions de « Fairness » dans l’IA (Verma et Rubin, 2018).

26 Ainsi, il est vrai qu’il est juste que les équipes qui pensent et font les IA soient mixtes et diversifiées ; il est juste que les données soient de qualités et représentatives ; il est juste de mettre en place des processus de vérification ; il est juste que l’IA traite de manière égalitaire toute personne indépendamment de son sexe, sa race, sa classe, son orientation sexuelle, son handicap, etc. Toutefois, des questions restent en suspens : comment l’équipe ou l’entreprise qui développe l’IA s’assure que sa Technique est juste ? Quelle définition est appliquée ? Pour quel domaine ? Dans quel contexte et sur quelle population ? Pour assurer, la production d’une IA juste, il va être nécessaire de qualifier ce qu’est la justice et les contextes d’application.

27 De plus, la gouvernance de lrIA juste telle que proposée présente une certaine limite. Bien qu’il s’agisse de premiers instruments témoignant d’une démarche volontariste en faveur d’une IA qui prend en compte l’égalité femmes-hommes, voire la « diversité », l’observation montre que pour ces instances, l’élimination des inégalités liées au genre produira une élimination des autres formes d’oppressions. La formalisation des inégalités est cumulative ou additionnelle. Or il a bien été démontré que lorsqu’il s’agit de dépasser les inégalités ou les oppressions, on ne peut cloisonner les inégalités ou les hiérarchiser ; seule l’abolition de toutes les oppressions assure l’anéantissement des inégalités et cette analyse est valable pour les oppressions algorithmiques (Hampton, 2021). Dans les instruments présentés, le traitement, dans un premier temps, du genre est perçu comme une « gestion des priorités » et le fait de traiter le genre dans la « diversité » est analysé par ces organisations comme un risque de « dissoudre » l’égalité femmes-hommes dans la diversité. Par ailleurs, le terme d’inclusion ne permet pas forcément de dépasser cette approche cumulative, puisqu’il suppose une invisibilisation de la multitude des parcours dans une globalité, elle s’inscrit dans une approche universaliste de la société.

28 Une approche intersectionnelle des formes d’oppressions produites par l’IA est nécessaire et assure la considération de divers contextes et parcours de vie, tout en mettant en lumière le fait que les inégalités sont systémiques et expérimentées au niveau micro comme macrosociologique. Dans la production d’instruments en faveur d’une justice sociale, une approche prenant en compte le genre comme « base » de production de l’oppression est insuffisante pour construire une « IA juste », l’approche intersectionnelle permet de comprendre « que la domina  tion est par nature “intersectionnelle” : il n’y a pas d’approche additionnelle viable (la classe + le sexe + la race). » (Dorlin et Bidet-Mordrel, 2009). Considérer ainsi la formalisation de l’IA permet d’assurer une production juste de cette dernière, tout en garantissant qu’elle prend en compte les groupes marginalisés, la réalité de leur vécu, sans imposer une approche globale et globalisante qui ne ferait que perpétuer des formes d’oppression (Haraway, 2007). La perspective intersectionnelle dans ces instruments de gouvernance devrait être pensée dès à présent et non a posteriori, auquel cas la justice algorithmique ne pourra être garantie.

29 Avec la multiplication des inquiétudes et alertes sur les risques que présente l’IA pour l’humanité et plus particulièrement pour les personnes historiquement marginalisées et opprimées, on semble avoir dépassé l’idée que cette Technique serait objective. Au contraire, celle-ci est un reflet de la société et donc de ces rapports sociaux. L’IA participe à la production de système d’oppression sans une attention particulière à la manière dont elle est développée et déployée. En réaction, des recommandations sur l’éthique de l’IA ont été publiées, ainsi que des instruments dédiés à la gouvernance d’une IA juste. Les instruments proposés par trois organisations en faveur d’une gouvernance de l’IA égalitaire, non sexiste ou inclusive présentent des enjeux importants en matière de définition et de norme. Ils présentent également une certaine limite parce qu’ils analysent l’oppression des personnes et groupes comme cumulative, or seule une approche intersectionnelle permettrait d’abolir l’oppression algorithmique.

Haut de page

Bibliographie

Agamben, G. (2014). Quest-ce quun dispositif   ? Editions Payot et Rivages.

Akrich, M. (1994). Comment sortir de la dichotomie technique/société. La Découverte. https://www.cairn.info/de-la-prehistoire-aux-missiles-balistiques--9782707123879-page-103.htm

Amintas, A., Junter, A. (2009). L’égalité prise au piège de la rhétorique managériale, Equality in the trap of management jargon, Resumen. Cahiers du Genre, 47, 103–122. https://doi.org/10.3917/cdge.047.0103

Ananny, M. (2016). Toward an Ethics of Algorithms: Convening, Observation, Probability, and Timeliness. Science, Technology, & Human Values, 41(1), 93–117. https://doi.org/10.1177/0162243915606523

Arborus Orange. (n.d.). Retrieved September 24, 2021, from https://charteia.arborus.org/

Benjamin, R. (2019). Race after technology: Abolitionist tools for the new Jim code. Polity.

Bereni, L. (2009). «  Faire de la diversité une richesse pour lentreprise  ». Raisons politiques, 35, 87–105. https://doi.org/10.3917/rai.035.0087

Berleur, J., Poullet, Y. (2002). Réguler Internet. Etudes, Tome 397(11), 463–475.

Bertail, P., Bounie, D., Clémençon, S., Waelbroeck, P. (2019). Algorithmes :   Biais, discrimination et équité. Fondation ABEONA.

Bilge, S. (2009). Théorisations féministes de lintersectionnalité. Diogène, 225(1), 70. https://doi.org/10.3917/dio.225.0070

Bilge, S., Roy, O. (2010). La discrimination intersectionnelle : La naissance et le développement dun concept et les paradoxes de sa mise en application en droit antidiscriminatoire. Canadian Journal of Law and Society / La Revue Canadienne Droit et Société, 25(1), 51–74. https://doi.org/10.1017/S0829320100010218

Cardon, D. (2015). A quoi rêvent   les algorithmes : Nos vies à lheure des big data. La République des idées  : Seuil.

Cardon, D. (2019). Culture numérique.

Chabaud-Rychter, D., Gardey, D. (Eds.). (2002). Lengendrement   des choses : Des hommes, des femmes et des techniques. EAC.

Chang, E. (2018). Brotopia: Breaking up the boysclub of Silicon Valley. Portfolio/Penguin.

Cockburn, C. (1981). The Material of Male Power. Feminist Review, 9, 41. https://doi.org/10.2307/1394914

Collet, I. (2019). Les oubliées   du numérique : [Labsence des femmes dans le monde digital nest pas une fatalité.

Deibert, R. J., Crete-Nishihata, M. (2012). Global Governance and the Spread of Cyberspace Controls. Global Governance, 18(3), 339–361.

Delphy, C. (2013). Lennemi principal.

Dorlin, E. (2008). Sexe, genre e  t sexualités : Introduction à la théorie féministe (1. éd). Presses Univ. de France.

Dorlin, E., Bidet-Mordrel, A. (Eds.). (2009). Sexe, race, c  lasse : Pour une épistémologie de la domination. Presses Universitaires de France.

Doueihi, M. (2013). Quest-ce que le   numérique  ? Presses Universitaires de France. https://doi.org/10.3917/puf.doue.2013.01

Edelman, L. B., Fuller, S. R., MaraDrita, I. (2001). Diversity Rhetoric and the Managerialization of Law. American Journal of Sociology, 106(6), 1589–1641. JSTOR. https://doi.org/10.1086/321303

Foucault, M. (2001). Dits et écrit  vol.   vol. s, 1976-1988 : vol. II.

Foulds, J., Islam, R., Keya, K. N., Pan, S. (2019). An Intersectional Definition of Fairness. ArXiv:1807.08362 [Cs, Stat]. http://arxiv.org/abs/1807.08362

Gender Shades. (n.d.). Retrieved June 9, 2020, from http://gendershades.org/overview.html

Grison, T., Julliard, V. (2021). Les enjeux de la modération automatisée sur les réseaux sociaux numériques : Les mobilisations LGBT contre la loi Avia. Communication, technologies et développement, 10, Article 10. https://doi.org/10.4000/ctd.6049

Hamilton, I. A. (2018, October 10). Amazon built an AI tool to hire people but had to shut it down because it was discriminating against women. Business Insider France. https://www.businessinsider.fr/us/amazon-built-ai-to-hire-people-discriminated-against-women-2018-10

Hampton, L. M. (2021). Black Feminist Musings on Algorithmic Oppression. Proceedings of the 2021 ACM Conference on Fairness, Accountability, and Transparency, 1–1. https://doi.org/10.1145/3442188.3445929

Haraway, D. J., Allard, L., Gardey, D. (2007). Manifeste cyb  org et autres essais : Sciences, fictions, féminismes. Exils.

Haraway, D. J., García, V. (2020). Vivre avec le trouble.

Jaton, F. (2019). «  Pardonnez cette platitude  » : De lintérêt des ethnographies de laboratoire pour l’étude des processus algorithmiques. Zilsel, N° 5N° N° (1), 315–339.

Jobin, A., Ienca, M., Vayena, E. (2019). The global landscape of AI ethics guidelines. Nature Machine Intelligence, 1(9), 389–399. https://doi.org/10.1038/s42256-019-0088-2

Kearns, M., Neel, S., Roth, A., Wu, Z. S. (2018). Preventing Fairness Gerrymandering: Auditing and Learning for Subgroup Fairness. ArXiv :1711.05  144 [Cs]. http://arxiv.org/abs/1711.05144

Kergoat, D. (2012). Se battre, disent-elles... La Dispute.

Larson, J., Mattu, S., Kirchner, L., Angwin, J. (n.d.). How We Analyzed the COMPAS Recidivism Algorithm. ProPublica. Retrieved June 9, 2020, from https://www.propublica.org/article/how-we-analyzed-the-compas-recidivism-algorithm

Lecercle, J.-J. (2004). Une philosophie marxiste du langage (1. éd). Presses Univ. de France.

Lépinard, É., Mazouz, S. (2021). Pour lintersectionnalité. Anamosa.

Lundberg, S., & Lee, S.-I. (2017). A Unified Approach to Interpreting Model Predictions. ArXiv :1705.07  874 [Cs, Stat]. http://arxiv.org/abs/1705.07874

Maingueneau, D. (2014). Discours et a  nalyse du discours : Une introduction. Armand Colin.

Mohamed, S., Png, M.-T., & Isaac, W. (2020). Decolonial AI: Decolonial Theory as Sociotechnical Foresight in Artificial Intelligence. Philosophy & Technology. https://doi.org/10.1007/s13347-020-00405-8

Musso, P. (2020). Le désir technologique de Dieu. Quaderni, n° 99-100n° n° (1), 113–124.

Née, É. (Ed.). (2017). Méthodes et outils informatiques pour lanalyse des discours. Presses universitaires de Rennes.

Noble, S. U. (2018). Algorithms of oppression: How search engines reinforce racism. New York University Press.

O’Neil, C., Villani, C., Marty, S. (2018). Algorithmes :   La bombe à retardement.

Saigh, D., Borzic, B., Alkhouli, A., Longhi, J. (2017). Contribution linguistique à une classification automatique des communaut/s de sens et à leur analyse. Questions de communication, n° 31n° n° (1), 161–182.

Simoiu, C., Corbett-Davies, S., Goel, S. (2017). The Problem of Infra-marginality in Outcome Tests for Discrimination. ArXiv :1607.05  376 [Stat]. http://arxiv.org/abs/1607.05376

Sire, G. (2017). Gouverner le HTML. Reseaux, n° 206n° n° (6), 37–60.

Verma, S., Rubin, J. (2018). Fairness definitions explained. Proceedings of the International Workshop on Software Fairness, 1–7. https://doi.org/10.1145/3194770.3194776

Wagner, B. (2018). Ethics As An Escape From Regulation. From Ethics-Washing” To Ethics-Shopping? In BEING PROFILED:COGITAS ERGO SUM (pp. 84–89). Amsterdam University Press. https://www.degruyter.com/document/doi/10.1515/9789048550180-016/html

Winner, L. (1980). Do Artifacts Have Politics  ? The MIT Press, 109(1, Modern Technology: Problem or Opportunity?), 121–136.

Xiang, A., Raji, I. D. (2019). On the Legal Compatibility of Fairness Definitions. ArXiv:1912.00761 [Cs, Stat]. http://arxiv.org/abs/1912.00761

Haut de page

Notes

1 Nous empruntons la graphie à J. Ellul (1954). Elle se réfère au phénomène de production de la Technique dans son ensemble, tout en considérant celle-ci comme l’un des risques majeurs pour les libertés humaines. Nous intégrons l’IA dans cette terminologie.

2 Cette notion est une grille de lecture des représentations qui circulent sur l’IA. Toutefois, suite à l’abondante littérature qui a souligné cette problématique, des travaux sur l’importance des principes de transparence, d’explicabilité et d’interprétabilité des algorithmes et des IA ont émergé. Ils œuvrent au développement de méthodes d’interprétabilité et d’explicabilité de l’IA dont les modèles sont complexes (Scott et Su-In, 2017). Pour aller plus loin cf : https://project.inria.fr/hyaiai/related-links/.

3 Le terme « race » est utilisé dans un discours critique, il n’est absolument pas évoqué dans un sens naturaliste ou biologiste qui supposerait la hiérarchie entre des groupes humains, notamment dans la manifestation de différences physiques, cette hiérarchie n’existe pas. Il est utilisé pour venir nommer « un rapport de pouvoir qui structure, selon des modalités diverses en fonction des contextes et des époques, la place sociale assignée à telle ou telle groupe au nom de ce qui est censé être la radicale altérité de son origine. » (Mazouz, 2020, 26).

4 Au sens marxien de matériel, afin d’analyser les conséquences de l’IA sur les groupes et personnes, sur le monde social et la manière dont la Technique incarne des idéologies et formes de pouvoir (Cockburn, 1981 ; Winner, 1980).

5 Le secteur numérique et technique souffre d’un important manque de mixité et de diversité. Par exemple, on estime que les femmes sont présentes à 12 % dans les recherches en lien avec l’IA. Aux États-Unis, chez Google seuls 20 % de femmes sont à des postes techniques tandis que pour Facebook il s’agit de 19 %. La représentativité des femmes racisées est inférieure : les femmes noires représentent 3 % des métiers techniques et les femmes hispaniques 1 % (Chang, 2018).

6 Réactualisant encore une fois une domination du Nord sur les Sud dans une perspective post-coloniale.

7 Traduction de l’anglais : « Algorithmic Oppression ». Nous empruntons l’expression à S. U. Noble (2018) et préférons parler d’oppressions algorithmiques plutôt que de biais algorithmiques : « Algorithmic oppression as a theoretical concept acknowledges that there are systems of oppression that cannot simply be reformed, and it does not only seek technical solutions to societal problems. Even more so, algorithmic oppression analyzes the ways that technology has violent impacts on marginalized people’s lives […] And finally, algorithmic oppression cuts through the bullshit by unapologetically affirming marginalized people’s experiences with oppressive technologies and prioritizing their perspectives in addressing them. » (Hampton, 2021, 2).

8 En réaction, des travaux ont développé des outils statistiques d’évaluations des discriminations d’IA (Simiou et al, 2017 ; Verma et al, 2018). Toutefois, certains soulèvent les limites de ces tests pour l’évaluation des discriminations sur certaines minorités et élaborent des définitions informatiques et statistiques de la justice sociale au prisme d’une approche intersectionnelle (Foulds et al, 2019 ; Kearns et al, 2018).

9 « Gender Shades ». Consulté le 11 juin 2020. http://gendershades.org/overview.html.

10 L’interdiscours renvoie à l’idée que tout discours est pris dans un ensemble plus vaste. « Certains courants affirment même la primauté de l’interdiscours sur le discours. C’est en particulier le fait des chercheurs inspirés par M. Bakhtine, qui inscrivent tout énoncé dans un « dialogisme généralisé ; ce principe récuse la clôture du texte, ouvert aux énoncés extérieurs et antérieurs, chaque énoncé participant ainsi d’une chaîne verbale interminable. » (Maingueneau, 2014).

11 L’appellation GEEIS est un acronyme pour Gender Equality European & International Standard.

12 « Arborus ». https://arborus.org/.

13 « Arborus Orange ». https://charteia.arborus.org/.

14 Bureau Veritas France. « Gender Equality & Diversity for European & International Standard ». Consulté le 17 mars 2021. https://www.bureauveritas.fr/besoin/gender-equality-diversity-european-international-standard.

15 « Le Laboratoire de l’égalité ? | Le laboratoire de l’égalité ». https://www.laboratoiredelegalite.org/qui-sommes-nous/.

16 « Réussir au féminin… c’est pour aujourd’hui ou pour demain? ». http://www.interelles.com/cercle-interelles/reussir-au-feminin-ensemble.

17 « Femmes & IA : Le Pacte | ». Consulté le 22 mars 2021. http://www.interelles.com/femmes-et-ia/femmes-ia-les-chartes-ia-et-ethique-femmes-et-ia.

18 Idem.

19 Idem.

20 La textométrie « permet une observation à la fois fine et globale des textes, tout en restant proche de la matérialité de ces derniers par le recours à des instruments d’accès aux données, et en mettant en valeur la réalité langagière qui est un terrain d’observation important pour les SHS. » (Saigh et al, 2017).

21 Iramuteq est un logiciel de statistiques textuelles fondé sur l’interface R permettant une analyse multidimensionnelle de corpus. http://www.iramuteq.org/.

22 L’AFC est une méthode de statistiques descriptives permettant l’analyse de données textuelles. Elle sert à « identifier les faits saillants d’un corpus en termes de distribution du stock lexical. » (Née, 2017).

23 Extrait d’entretien avec la chargée de projet IA du Laboratoire de l’égalité.

24 Extrait d’entretien avec une membre du groupe de réflexion « femmes et IA » du Cercle InterElles.

25 Extrait d’entretien avec une responsable des labels GEEIS.

26 Idem.

27 Chacun des instruments que nous avons présentés est soutenu ou pensé par au moins une entreprise du secteur privé.

Haut de page

Pour citer cet article

Référence électronique

Julie Marques, « Le principe de justice dans la gouvernance de l'Intelligence artificielle au prisme du genre, de classe et de race »Terminal [En ligne], 132-133 | 2022, mis en ligne le 28 février 2022, consulté le 28 mai 2023. URL : http://journals.openedition.org/terminal/8288 ; DOI : https://doi.org/10.4000/terminal.8288

Haut de page

Auteur

Julie Marques

Laboratoire Prefics - Université Rennes 2

 

Haut de page

Droits d’auteur

Tous droits réservés

Haut de page
  • Logo Institut Mines-Télécom Business School
  • Logo CREIS-Terminal
  • OpenEdition Journals
Rechercher dans OpenEdition Search

Vous allez être redirigé vers OpenEdition Search