L’étude présentée est réalisée avec le soutien du Sorbonne Center for Artificial Intelligence de Sorbonne Université et de l’ANR (programme Contrats Doctoraux en Intelligence Artificielle – Edition 2020)".
1« C’est pas la loi Avia qui me rendra moins pédé1 ». Courant mai 2020, des comptes militants LGBT sont suspendus sur plusieurs réseaux sociaux numériques (RSN) tels que Twitter ou Facebook. Pour ces militant·e·s, ces suppressions résultent de l’intensification du recours aux algorithmes pour la modération, dans le contexte de la préparation de la loi visant à lutter contre les « contenus haineux » sur Internet (dite loi « Avia », du nom de la rapporteure de la proposition de loi). La proposition de loi prévoyait en effet que les entreprises du Web seraient tenues de supprimer les contenus signalés comme pornographiques ou haineux dans un délai de 24 heures, faute de quoi elles subiraient des sanctions financières. De nombreuses voix s’expriment pour dénoncer le risque que cette loi ferait peser sur la liberté d’expression. La Quadrature du net, par exemple, argue que le délai pour supprimer ne correspond pas à la réalité technique de la modération – encourageant par là même un recours accru à la modération automatique en amont de tout signalement2 –, que les décisions de retrait seraient prises en dehors de l’intervention d’un juge, et que l’atteinte à la liberté d’expression est par ailleurs disproportionnée eu égard au but poursuivi3. Dans sa décision rendue le 18 juin 2020, le Conseil constitutionnel invalide les dispositions relatives au délai de suppression des contenus à caractère pornographique ou « haineux ». La loi est finalement promulguée le 24 juin 2020.
2Dans cette communication, nous étudierons la façon dont le recours aux algorithmes peut avoir pour incidence de censurer certaines publications, notamment celles émanant de comptes de militant·e·s LGBT. Pour répondre à cette question, nous nous appuierons sur l’analyse des mobilisations LGBT contre la loi Avia, qui sont notamment l’occasion d’une publicisation de cas de censure par la modération automatique des RSN, d’une part, et d’une publicisation des savoirs des personnes discriminées sur les conditions de leur discrimination, d’autre part. Cette analyse sera conduite sur un corpus de 324 tweets publiés par des comptes de militant·e·s entre le 11 mai 2019 et le 19 octobre 2020.
3Dans une première partie, nous reviendrons sur la notion de « discrimination algorithmique » et la façon dont elle permet d’interroger la modération des contenus publiés sur Internet. Dans une deuxième partie, nous exposerons notre méthodologie et notre corpus. Dans une troisième partie, nous présenterons les premiers résultats de l’étude.
4De nombreuses études relatives aux discriminations algorithmiques existent outre-Atlantique mais il en existe encore peu en France et elles sont souvent réalisées à partir de données américaines (Amabile et al., 2020). De plus, aucune ne prend pour objet la modération des RSN précisément.
5Dans le contexte anglo-saxon, les recherches partent majoritairement du postulat de l’opacité des algorithmes et du fait que leur présence accrue dans nos vies présente un risque (O’Neil, 2016). Certaines étudient les pratiques discriminatoires à l’encontre de diverses populations dans le domaine de l’emploi, de la médecine, de la finance (Lambrecht and Tucker, 2017) ou encore dans le domaine de la justice, soulignant par exemple que les Afro-américain·e·s sont particulièrement discriminé·e·s par les décisions de justice qui s’appuient sur le recours aux algorithmes (Angwin et al., 2016).
- 4 C’est-à-dire des femmes faisant l’expérience de la racisation.
6Par ailleurs, on observe le développement d’un champ de recherche sur la responsabilité des RSN et des algorithmes dans la cristallisation des rapports sociaux de race, de genre ou de classe. Les travaux, souvent conduits par des femmes racisées4, sont notamment hébergés dans des départements de media et cultural studies. C’est le cas, par exemple, de ceux de Safiya Umoja Noble, Ruha Benjamin et Lisa Nakamura et plus largement ceux du Center for Critical Internet Inquiry (C2i2) de l’UCLA. Inscrits dans la filiation des approches de Donna Haraway et des savoirs situés (situated knowledge), ils plaident pour la reconnaissance du savoir que confère la position « subalterne » dans les rapports de pouvoir (Noble, 2018). L’expérience de formes de racisme, de sexisme, d’homophobie permettent d’en comprendre les rouages.
7Si les travaux sont foisonnants dans le contexte anglo-saxon, la recherche sur la discrimination algorithmique en langue française est plus rare. Elle se développe depuis cinq ans environ à partir de deux principales thématiques de recherche : la « neutralité » et l’objectivité des algorithmes (Cardon, 2015 ; Jean, 2019), d’une part, et le digital labor (Smyrnaios & Marty, 2019 ; Tubaro, Casilli, Coville, 2020), d’autre part. Les travaux relevant de la seconde thématique sont inspirés de ceux de Sarah T. Roberts (2019) et se sont notamment déployés sous l’impulsion des sciences humaines et sociales (SHS). Qu’ils traitent de la première ou de la deuxième thématique, ces travaux ont en commun de manquer de « données françaises », ce qui rend difficile l’étude du phénomène algorithmique à l’échelle nationale (et européenne). Toutefois, depuis deux ans, l’intérêt politico-médiatique croissant pour des sujets relatifs au monopole des entreprises du Web, à leur régulation ou à la modération des RSN ont permis le développement et le financement d’études et de rapports sur ces thématiques (notamment par des acteurs et institutions publiques comme le Conseil de l’Europe). Ces travaux permettent notamment de réaliser une typologie des origines de la discrimination algorithmique, à travers la notion de « biais ». Ces biais ont des causes diverses. Premièrement, ils peuvent résulter des représentations cognitives ou « de stéréotype » des concepteurs d’algorithmes (Bertail et al., 2019) au moment de l’écriture du code. Le caractère ou les effets discriminatoires des variables définies n’est pas perçu, notamment en raison d’une méconnaissance des apports des travaux en SHS. Deuxièmement, les biais peuvent résulter de la collecte, du tri ou de la qualité des données à partir desquelles les algorithmes sont entraînés (Zuiderveen Borgesius, 2018) : les données historiques peuvent déjà faire l’objet de biais ou se faire l’écho de discriminations antérieures que les algorithmes reproduiront. Troisièmement, les biais peuvent résulter de la définition d’objectifs économiques et de rentabilité. Les algorithmes peuvent, dans certains cas, faire l’objet de manipulations volontaires pour des raisons économiques et l’usage de certaines données sensibles peut être un moyen dissimulé d’opérer des discriminations contre certaines parties de la population (Lambrecht et Tucker, 2017).
8En recherche, la modération est classiquement appréhendée selon un double enjeu (Gatewood et al. 2020) : celui de la pacification des échanges en ligne et celui de la liberté d’expression. Toutefois, la question des discriminations algorithmiques complexifie les choses en ce qu’elle invite à considérer la tension qui peut résulter d’un croisement de ces enjeux dans le contexte de la modération automatique et pour certaines catégories de personnes « protégées ».
- 5 Ce choix se justifie par le rôle structurant qu’a pu jouer le site Web pour la militance féministe (...)
- 6 À l’heure actuelle, la modération automatique n’est pas à même de déterminer l’usage de ces termes (...)
- 7 Pour cette communication, nous laisserons de côté ce qui relève de la défense des discriminations p (...)
- 8 Si ce type de collecte ne permet pas de garantir l’exhaustivité du corpus (le moteur de recherche n (...)
- 9 Ce type de collecte permet de conserver les tweets après leur suppression. Dans un contexte où les (...)
9Nous avons choisi d’étudier la mobilisation LGBT contre la loi Avia et l’intensification du recours à la modération automatique telle qu’elle se déploie sur Twitter5. Pour ce faire, nous avons opéré, dans un premier temps, une recherche par mots-clés dans le moteur de recherche de Twitter. Les mots-clés ont été choisis après lecture des tribunes manifestant une opposition à la loi Avia, signées par des militant·e·s LGBT dans la presse. Cette lecture a notamment permis le repérage des propos faisant l’objet d’une modération considérée comme LGBTphobe par les militant·e·s, mais reconnus comme « haineux » par les outils de modération, à l’instar des termes « pédé » ou « gouine »6. Enfin, nous nous sommes donné·e·s pour consigne de choisir exclusivement les tweets renvoyant aux débats sur la loi Avia. Les mots-clés retenus étaient donc : « Loi Avia » + [« LGBT » or « PD » or « pédé » or « gouine »]7. Réalisée entre mars 2019 et octobre 2020, (le 20 mars 2019 correspondant à la date du dépôt de la proposition de loi à l’Assemblée nationale), cette recherche a permis d’identifier 324 tweets8 qui ont ensuite été collectés via la Search API de Twitter9. Ceci a notamment permis d’enregistrer les médias joints, et de restituer un écosystème de propos militant·e·s de différentes natures. Le corpus comporte en effet 324 tweets ainsi que 12 articles de presse et 3 communiqués de presse d’associations LGBT auxquels les tweets renvoient. L’ensemble du corpus a été étudié selon une démarche sémio-discursive attentive aux conditions de possibilité d’un discours, aux stratégies rhétoriques et aux formes sémiotiques par lesquelles elles se déploient.
10Un certain nombre de tweets et de communiqués de presse de notre corpus permettent de mettre en avant la confusion faite par les algorithmes de modération entre des propos relevant d’un « discours de haine » et ceux relevant de la réappropriation des discours « haineux », à des fins militantes.
« Alors que la réappropriation des insultes LGBTIphobes et le retournement du stigmate est une construction majeure de nos identités depuis plus de 50 ans, permettant aux personnes de s’affirmer, les algorithmes bêtes et méchants des réseaux les considèrent comme le « contenu haineux », contre lequel la loi Avia entend lutter.10 »
11Cette confusion a pour conséquence la suspension de comptes LGBT et la suppression de multiples tweets témoignant pourtant d’un engagement contre la haine LGBT en ligne. Ces phénomènes de modération abusive sont qualifiés de « censure homophobe » par les militant·e·s. L’origine de celle-ci peut être retracée dès le moment de la conception des algorithmes. Aurélie Jean identifie ainsi une forme de « chaînage » dans la discrimination pouvant, en partie, expliquer cette censure. Le point de départ de ce chaînage réside dans l’absence de diversité au sein des équipes de conception d’algorithmes (Jean, 2019), cette absence engendrant ce que Safiya Umoja Noble appelle le « white male gaze », à savoir le paradigme selon lequel Internet serait construit à partir d’un point de vue essentiellement masculin, blanc, cisgenre, hétérosexuel et bourgeois mais qui s’ignorerait comme tel (Noble, 2018). C’est ce paradigme qui serait en cause dans les cas de censure que nous étudions. L’incapacité des concepteurs à intégrer les usages diversifiés du langage et la méconnaissance des ressorts discursifs du militantisme produit alors des biais « de variable omise » (Bertail et al., 2019) dont les utilisateur·rice·s LGBT expérimentent les conséquences dans leur usage militant des RSN. Cet usage n’a donc, a priori, pas été pris en compte – ou bien la variable du langage militant a été volontairement mise de côté pour favoriser d’autres objectifs. La réponse à la question peut varier selon les entreprises incriminées.
12La mobilisation que nous étudions met au jour le fonctionnement des discriminations algorithmiques à l’encontre des personnes LGBT. Trois types de mobilisations militantes sont représentées au sein de notre corpus. Un premier type de mobilisation s’appuie sur des cas de censure abusive ayant eu lieu en amont des débats parlementaires – mais dont les militant·e·s craignent voir le nombre augmenter avec la mise en œuvre de la loi Avia – et d’autres cas survenus au moment des débats. Le recensement et la dénonciation de ces cas par les militant·e·s apparaissent comme un moyen de témoigner du caractère contre-productif du recours à l’IA dans la modération des contenus réputés « haineux » en ligne, que la loi va nécessairement renforcer. En effet, un certain nombre d’activistes LGBT comme Gwen Fauchois se sont inquiété·e·s, dans le courant de mai 2020 d’une vague de blocages de comptes et de suppressions de contenus sur Facebook et Twitter. Au total, une trentaine de militant·e·s sensibilisant à la prévention du VIH-Sida témoignent avoir vu leur compte, leur photo de profil et leurs publications être supprimés au motif qu’ils iraient « à l’encontre des standards de la communauté » ou « d’infraction aux règles relatives aux conduites haineuses »11. Les militant·e·s ciblé·e·s font alors l’hypothèse que l’usage des termes « gouine » et « pédé » serait en cause et condamnent la méconnaissance des ressorts discursifs militants dans la lutte contre les LGBT-phobies. Ils reprochent, par glissement, au gouvernement, à la majorité parlementaire et aux détenteurs d’entreprises du Web de renforcer les inégalités de genre en ligne.
« L’Inter-LGBT, consciente du caractère insupportable des discours de haine sur internet et dans l’espace public, considère qu’avec ce texte, les mauvaises réponses sont données à de bonnes questions, et que ce les victimes doivent avoir le droit à un accès facilité et rapide au juge, et non pas à une censure mise en œuvre par des algorithmes devenus tout puissants, ignorant toute la difficulté du contentieux propre au langage, qui nécessite l’intervention d’un juge spécialisé pour en apprécier les subtilités12 ».
- 13 Certains groupes d’internautes d’extrême droite adoptent la même démarche dans le but de voir jusqu (...)
13Un second type de publications vise à « tester » l’efficacité algorithmique en recourant à des termes dont les militant·e·s supposent qu’ils sont reconnus comme « injurieux ». Quelques tweets se présentent comme suit : « On va tester la loi Avia en 2 secondes là, ça veut dire quoi ton bordel, PD va » (30/05/20). L’idée est donc de tester la réactivité des algorithmes dans la modération des « contenus haineux » ; et de vérifier, par là même, quel mot-clé fait potentiellement l’objet d'une censure automatisée. Au-delà du résultat, ce qui nous intéresse ici est la démarche13 que l’on pourrait qualifier de « rétro-ingénierie » (Bowker, Star, 1999) en ce qu’elle cherche à « comprendre comment fonctionne un [dispositif technique] dont on ne dispose pas des plans de conception ou de montage » (Pailler, 2019 : 55). Plus largement, cette démarche s’inscrit dans une forme d’implication active dans les RSN, justifiée de prime abord par l’expérience du harcèlement et de la violence en ligne. En effet, plusieurs travaux relatifs au digital labour pointent l’implication des minorités de genre, de classe et ethno-raciales dans le travail de modération des RSN. Lisa Nakamura montre ainsi la façon dont le travail de modération des RSN est majoritairement réalisé par des femmes de couleur, sous-payées par des entreprises sous-traitantes, et souligne qu’il est complété par un « travail à risque » en dehors de toute rémunération et réalisé bénévolement par des groupes minorisés présents sur les RSN.
- 14 « Les femmes de couleur et minorités sexuelles – qui publient, tweetent, re-publient et commentent (...)
« Women of colour and sexual minorities who post, tweet, re-post, and comment in public and semi-public social media spaces in order to respond to and remediate racism and misogyny online are, like venture labourers in the software business, knowledge workers. […] Their labour mirrors some of the internet’s earliest volunteer community managers and content moderators.14 » (Lisa Nakamura, 2015 : 107-109)
14Selon cette conception, la mobilisation militante est partie prenante du travail de modération sur les RSN : tant par les savoirs qui sont produits et diffusés par les minorités activistes, que par les méthodes qu’elles mettent en place pour réaliser leur propre travail de modération.
15Un dernier type de mobilisation consiste en un relai de contenus à visée pédagogique. Il s’agit majoritairement de retweets de communiqués de presse d’associations LGBT ou d’articles de presse traitant du contenu de la loi Avia et du risque qu’elle ferait peser sur les usager·e·s LGBT spécifiquement. Nous avons d’ailleurs plusieurs tweets visant à alerter des conséquences néfastes que la loi contre les « contenus haineux » ferait peser sur le risque d’outing des personnes LGBT mineures. Une disposition de la loi prévoit en effet que lorsqu’un·e mineur·e sera l’objet d’un « contenu haineux » qui aura été signalé, les parents devront obligatoirement en être informés par les associations concernées, dans le but de responsabiliser la famille dans la lutte contre la « haine en ligne ». Seulement, beaucoup d’associations alertent sur le fait que la famille peut, dans certains cas, représenter un environnement hostile pour les jeunes victimes de discriminations LGBT. Beaucoup de mineur·e·s préfèrent déjà cacher leur orientation sexuelle à leurs parents, par peur de leur réaction. Cette disposition irait donc à l’encontre de la volonté de plusieurs concerné·e·s, et certaines associations craignent que cela n’engendre un effet d’auto-censure chez les jeunes victimes. Par peur d’être outés auprès de leurs proches, certaines personnes LGBT pourraient refuser de signaler des « contenus haineux »15.
16La collecte de ce corpus a également permis de mettre en avant la façon dont la mobilisation contre la modération automatisée est aussi nourrie de tout un ensemble de discours d’escorte relatifs à l’imaginaire d’une IA froide, rationalisée et robotique (Cardon, 2015). Le principe même des algorithmes de modération est fondé sur un paradigme universaliste de la société : le langage et les modes d’expression en ligne sont traités par les outils de modération comme des objets homogènes et universels. Cependant, cet universalisme n’est autre qu’une « opinion dans un programme » (O’Neil, 2016). Ce paradigme agit alors comme un dispositif de pouvoir sur l’organisation et le contrôle du discours (Grison, 2020) dans la mesure où il opère une modération inégale de l’ordre du discours et des contenus publiés en ligne. L’omission de variables (comme les ressorts discursifs militants) et la non prise en compte de données dites « sensibles » (comme la religion, les pratiques sexuelles ou l’appartenance ethno-raciale, par exemple) peuvent produire des discriminations dès lors que cette non prise en compte invisibilise des rapports sociaux, tout en ignorant le faire (Défenseur des droits, 2020). Le rapport Montaigne postule en ce sens que l’étude des biais et des discriminations algorithmiques montre les limites de la théorie universaliste dans la lutte contre les discriminations. Prétendre être neutre et vouloir nier les données sensibles ne fait que renforcer ces inégalités. L’équité par ignorance ne fonctionne donc pas dans le cas de la modération algorithmique (Amabile et al., 2020) : d’où la nécessité, d’ailleurs, de prendre en compte les réflexions sociologiques qui déconstruisent le caractère a priori naturel et neutre de certaines données ou variables qui ne le sont en fait pas (Défenseur des droits, 2020). L’égalité algorithmique est permise lorsque l’on intègre un certain nombre de contraintes – qui peuvent être choisies en fonction des attributs protégés par la loi – dans le programme (Bertail et al., 2019).
17La mobilisation LGBT contre le recours accru à l’IA engendré par la promulgation de la loi Avia nourrit une réflexion sur la modération automatisée des RSN de plusieurs manières.
18D’abord, la mobilisation militante fait partie de l’objet de la modération : certains contenus militants sont plus sensibles d’être censurés que d’autres en raison, entre autres, de l’usage de termes reconnus comme injurieux par l’algorithme. Cette modération est considérée comme discriminante et abusive par les militant·e·s.
19De plus, le militantisme constitue également une partie du travail de modération : la mobilisation LGBT incarne, en effet, une forme de modération non-rémunérée qui participe également au « nettoyage du web » (Smyrnaios & Marty, 2019). Le signalement des contenus illégaux constitue à la fois un type de modération de la « haine en ligne », mais incarne aussi un moyen et une stratégie de mobilisation menés par les minorités LGBT sur les RSN. Cela signifie que la mobilisation parle « en connaissance de cause » : les militant·e·s réalisent ce travail de modération depuis leur propre expérience et en réaction à la modération qu’ils et elles jugent inefficace et discriminante. La modération militante a ainsi pour vocation de pallier les biais de la modération des entreprises du Web, sans l’appareillage technique mais, grâce aux savoirs subalternes et expériences minoritaires.
20Enfin, partir de la mobilisation contre les discriminations algorithmiques constitue un moyen original d’étudier la modération automatisée et ses effets sur les groupes minorisés. En effet, prendre le militantisme sur les RSN comme objet de recherche permet d’étudier les effets et le fonctionnement de la modération en dépit de son caractère opaque (Roberts, 2019).
21
Lorsque les algorithmes se fondent sur une homogénéisation erronée des usages des RSN et du langage, stéréotypes et effets discriminants se confortent, se reproduisent et finissent par naturaliser des situations d’inégalités (Jean, 2019). La discrimination se présente alors comme un « allant de soi », inévitable et neutre et bascule dans une forme de « sens commun » (Grison, 2020) : l’IA n’est plus seulement une opinion dans un programme (O’Neil, 2016), mais un outil qui contribue à rationaliser la discrimination. Prendre en compte le risque de la discrimination dans la programmation de ces outils, permettrait d’améliorer les algorithmes de modération selon des situations que les concepteurs n’auraient pas imaginées en raison de leur biais cognitifs (Amabile et al., 2020 ; Bertail et al., 2019) et de leur méconnaissance des usages diversifiés des RSN. La mobilisation des militant·e·s contre ces processus automatisés de modération permet donc non seulement de rendre visible le risque du recours accru aux algorithmes dans la modération des RSN, mais participe aussi à leur amélioration. Et, si dans nos cas à l’étude, Facebook et Twitter sont revenus sur les cas de modération abusive, cette correction ne devrait pas se faire « en réponse à », mais plutôt se faire « en continu » (Gatewood, C. et al., 2020).