« Sixième étage de l’aile S du Palais de la Justice, sur l’Île de la Cité à Paris. Une magistrate m’accompagne le long des couloirs feutrés de la Cour de cassation, jusqu’à une enfilade de bureaux : “Voilà, c’est ici. La première porte à gauche, c’est les data scientists. Juste après, les dev qui bossent sur l’interface. Là, à droite, c’est Louise, notre greffière, et tous les bureaux suivants, c’est les annotatrices”. Entre tableaux blancs couverts de notes de réunions et écrans sur lesquels s’affichent chiffres, graphiques et décisions de justice, je découvre, bureau après bureau, le service chargé de l’intelligence artificielle (IA) de la juridiction suprême » (Journal de terrain, janvier 2021).
- 1 Les data scientists sont chargés au sein de l’équipe de la sélection et de l’entraînement des algor (...)
- 2 Note sur l’écriture inclusive : par défaut, des formulations épicènes ou mixtes sont utilisées dans (...)
1En janvier 2021, je me rends à la Cour de cassation pour la première fois pour y débuter une enquête sur la fabrique de l’intelligence artificielle (IA) juridique. L’institution s’est engagée depuis peu dans ce domaine et porte depuis 2018, avec le soutien de programmes d’appui à la modernisation de l’action publique, plusieurs projets expérimentaux d’apprentissage automatique. Cette première visite me permet de rencontrer une équipe spécialisée aux ancrages professionnels pluriels, qui occupe une place singulière au sein de la juridiction suprême. Placé sous la direction d’une magistrate cheffe de projet, ce service réunit deux data scientists1, deux développeurs, un designer d’interfaces, deux juristes, une greffière, ainsi qu’une quinzaine d’annotatrices2, dont je découvre alors les espaces de travail.
2Au moment où la Cour de cassation s’engage dans la fabrique de l’IA, les outils algorithmiques suscitent à la fois enthousiasmes et craintes. Si les discours solutionnistes vantent les progrès associés à l’IA (Morozov, 2013), le déploiement de l’apprentissage automatique, en particulier dans des domaines sensibles tels que la justice, s’accompagne de préoccupations croissantes quant à l’opacité de ces dispositifs de traitement massif de l’information. La recherche en informatique et en sciences sociales participe à ce mouvement : les algorithmes d’IA font l’objet de séries de travaux visant à expliquer le fonctionnement de la « boîte noire algorithmique » (Pasquale, 2016) et à en critiquer les mécanismes. C’est le cas, d’une part, des sciences computationnelles et des audits algorithmiques, qui ont cherché à documenter le fonctionnement de l’IA par le biais de méthodes inspirées du reverse engineering industriel (Raja et Fernandes, 2007 ; Burrell, 2015). D’autre part, les études critiques des algorithmes se sont engagées dans une dénonciation des effets de renforcement des inégalités économiques, sociales, raciales et de genre dont ces outils sont porteurs à grande échelle (voir notamment O’Neil, 2016 ; Eubanks, 2018). Si ces premières recherches ont contribué à la mise en problème d’un objet jusqu’alors confiné aux arènes techniques, elles s’intéressent toutefois peu aux processus de production de l’IA, qui est présentée comme un objet autonome et difficilement intelligible, sauf à développer un outillage méthodologique et analytique idoine. La sociologie des sciences et des techniques fournit en ce sens des outils précieux pour éclairer empiriquement le fonctionnement des algorithmes d’apprentissage automatique (Beaudouin et Velkovska, 2023). C’est en particulier le cas de la sociologie de l’activité de programmation, proposée notamment par Angèle Christin (2020) et Florian Jaton (2022), qui appellent à transposer les méthodes des ethnographies de laboratoire (Latour et Woolgar, 2006) au contexte informatique, afin de suivre et d’analyser les choix opérés par les ingénieur·es et data scientists. C’est également le cas des digital labour studies, dont les travaux ont mis en lumière l’importance du travail de l’information, souvent réalisé dans des conditions précaires, nécessaire au façonnage des bases de données d’entraînement de l’IA (Miceli et Posada, 2022 ; Le Ludec et al., 2023).
3En effet, dans le sillage de ces recherches, je constate rapidement en rejoignant la Cour de cassation que l’IA s’incarne dans la multitude de travailleureuses qui, au-delà des seul·es professionnel·les techniques, la développent et la font fonctionner. En formatant les données d’entraînement, en les annotant, en calibrant les modèles algorithmiques ou encore en surveillant leur fonctionnement, iels prennent part, à différents niveaux, au façonnage des algorithmes et des résultats que ceux-ci produisent.
4À partir de cette enquête de terrain, je fais l’hypothèse que la fabrique de l’IA peut être comprise comme un processus d’automation, susceptible d’être étudié à l’aide d’outils classiques de la sociologie du travail et de l’activité. Cet article analyse ainsi la production de l’IA de façon processuelle, comme un « arc de travail » (Strauss, 1985), c’est-à-dire comme une séquence d’activités le long de laquelle s’articulent des groupes professionnels pluriels. Il s’agit ainsi de décrire l’évolution de la trajectoire de l’IA alors qu’elle traverse les différents segments de cet arc, chacun étant caractérisé par des ensembles d’acteurs, d’activités et d’objectifs spécifiques. La notion d’arc de travail permet d’appréhender le travail algorithmique en suivant les activités menées en parallèle ou en différé, de façon planifiée ou imprévue, le long d’une trajectoire centrale, sans préjuger d’une organisation du travail prédéfinie et univoque. Contrairement à des cadres d’analyse plus linéaires de la production de l’IA (Jaton, 2017 ; Muldoon et al., 2024), une telle perspective conduit à identifier, en mobilisant les ressources de la sociologie de l’activité (Bidet et al., 2006), la multiplicité des points de bascule, des tensions, des articulations et des allers-retours par lesquels le dispositif d’IA se trouve progressivement adapté et reconfiguré. Elle permet également d’élargir la focale à l’ensemble des acteurs de la fabrique de l’IA, alors que les premières recherches sur la conception algorithmique se sont jusqu’à présent principalement concentrées sur certaines catégories d’acteurs — qu’il s’agisse des data scientists et ingénieur·es ou des « petites mains » chargées du travail invisible d’annotation des données.
5Appréhender l’IA au prisme de la sociologie du travail conduit à resituer cet objet dans une généalogie plus large des processus d’automation, auxquels d’importants travaux ont été consacrés depuis les années 1950. Les premières études sociologiques traitant du travail industriel offrent ainsi des prises pour analyser les prémisses du développement de l’IA ; c’est le cas notamment des enquêtes pionnières menées par Pierre Naville (1963) sur des terrains aussi divers que la métallurgie, l’industrie alimentaire et l’imprimerie nationale, ou par Alain Touraine (1955) au sein des usines Renault. Cette sociologie s’intéresse aux réorganisations du travail qui accompagnent l’automation industrielle, en posant la question de la (dé)qualification du travail et en analysant les formes spécifiques d’articulation entre machines et travailleureuses qui émergent sur les chaînes de production industrielles. Le développement de l’IA renouvelle ces problématiques. Il soulève la question de la place que les travailleureuses de l’IA occupent face aux modèles algorithmiques, celle de la redéfinition des tâches, qualifications et compétences charriées par l’automation, ou encore celle des rapports entre les groupes professionnels pluriels engagés dans la fabrique algorithmique.
6L’IA constitue toutefois une modalité nouvelle de l’automation. Dans la continuité des systèmes-experts déployés à grande échelle dans les années 1980 (Woolgar, 1985 ; Terssac et al., 1988), elle se distingue en effet des processus de production industriels classiques en ce qu’elle ne transforme pas de la matière, mais de l’information. Les algorithmes contemporains se présentent sous la forme, inédite, de dispositifs de classification automatique de données fournies en entrée, autour desquelles gravitent les travailleureuses de l’IA. De la constitution des bases d’apprentissage, en amont, à la vérification de la qualité des résultats produits, en aval, les acteurs suivis à la Cour de cassation sont engagés dans un effort constant d’articulation, visant à adapter les éléments hétérogènes et imprévus contenus dans les décisions de justice au fonctionnement d’un système algorithmique rigide et standardisé. Le travail de l’IA peut être ainsi envisagé comme un travail des données (Gardey, 2008 ; Denis, 2018) tendu vers un aplatissement progressif de l’information, qui représente à la fois une condition et un déterminant de l’automatisation de son traitement. Pourtant, l’enquête montre que le réel échappe toujours à cette encapsulation, c’est-à-dire à sa catégorisation univoque (Bowker et Star, 1999, p. 105) : les éléments inédits ou imprévus que contiennent les décisions sont la source de doutes, d’enquêtes, d’erreurs et d’allers-retours constants le long de l’arc de travail. À la manière des défauts de production sur les chaînes industrielles, ils représentent des « grains de sable sous le capot » (Rot, 2006, p. 157 ; voir aussi Durand, 2006), dont la gestion contribue à donner corps, progressivement, au dispositif algorithmique.
7En termes méthodologiques, cet article repose sur une enquête menée entre janvier et juin 2021 au sein du service en charge des projets d’IA de la Cour de cassation. Il mobilise, en particulier, le cas d’un algorithme développé pour anonymiser automatiquement les quatre millions de décisions de justice produites chaque année par les tribunaux français. Celui-ci doit servir à protéger la vie privée des personnes citées dans les décisions, tout en permettant la diffusion publique, à grande échelle, de ces documents. J’ai réalisé un suivi ethnographique de la conception et de l’usage de cet outil, en accompagnant individuellement les data scientists, développeurs et annotatrices de l’équipe dans leurs tâches quotidiennes, via une trentaine de sessions d’observation se déroulant sur une journée ou demi-journée. Pendant la durée de l’enquête, j’ai également participé systématiquement aux réunions collectives de travail : points hebdomadaires réunissant l’ensemble du service (à l’exception des annotatrices), points quotidiens de l’équipe technique, sessions de formation des nouvelles recrues, ainsi qu’environ deux réunions supplémentaires par semaine organisées autour de problématiques spécifiques. En complément, une vingtaine d’entretiens ont été réalisés avec l’ensemble des membres de l’équipe. Finalement, l’enquête mobilise également des corpus de documents de travail, de supports de communication et de littérature grise.
8Le contexte judiciaire dans lequel se déroule cette enquête — réalisée dans le cadre d’une recherche doctorale consacrée au développement des outils d’IA dans la justice — irrigue les orientations du projet et les choix opérés tout au long de la chaîne de conception de l’outil. Toutefois, les enjeux spécifiques relatifs à l’introduction d’outils d’IA dans les mondes du droit, qui ont fait l’objet de publications distinctes (Girard-Chanudet, 2025a et 2025b), ne seront pas traités frontalement dans cet article, au profit d’une analyse plus transversale du travail de production algorithmique.
9À partir de cette enquête, j’identifie trois segments principaux de l’arc de travail de l’IA, qui donnent leur structure à cet article : la mise en classe, la mise en calcul et la surveillance. La première section de l’arc de travail est occupée par la conception du système de classification qui structure l’apprentissage automatique. Celle-ci se divise en deux phases : une phase conceptuelle de définition des catégories d’éléments à anonymiser, prise en charge par des groupes de magistrat·es sélectionné·es pour leur expertise juridique, et une phase opérationnelle de constitution des bases de données d’entraînement de l’IA, au cœur de laquelle se trouve le travail d’annotation des décisions de justice. La seconde portion de l’arc de travail, marquée par l’intervention des data scientists, est consacrée à la conversion de ces bases de données textuelles en objets chiffrés, condition de leur traitement automatisé. Ce passage au registre mathématique rend commensurables et calculables les éléments hétérogènes contenus dans les décisions, au prix de l’aplatissement de leur signification sémantique, et conduit à l’anonymisation automatique de décisions de justice inédites. L’ultime segment de l’arc de travail se positionne au terme du processus de conception de l’IA. Conséquence et manifestation de la résistance du réel aux efforts de catégorisation menés tout au long du processus, les résultats produits par la machine contiennent systématiquement de nombreuses erreurs, qu’il s’agit de corriger. L’équipe d’annotation intervient donc à nouveau à cette étape, pour prendre en charge une surveillance constante de la production automatisée de l’IA, susceptible de provoquer le recadrage rétrospectif des activités menées dans les portions antérieures de l’arc de travail.
« Ce matin, à mon arrivée à la Cour de cassation, la cheffe de projet m’oriente directement vers les bureaux de l’équipe d’annotation. Elle m’explique que celle-ci travaille actuellement à l’annotation d’un nouveau jeu de données, destiné à l’entraînement, prévu dans quelques semaines, d’un nouvel algorithme d’anonymisation des décisions de justice, et que “ça devrait m’intéresser ». Dans ces bureaux, l’ambiance est silencieuse, concentrée. Assises derrière leurs écrans, les annotatrices font défiler le texte de décisions de cour d’appel. De temps en temps, l’une d’entre elles surligne un mot, qu’elle associe à un label à partir d’un menu déroulant : “nom”, “adresse”, “entreprise”, “date de naissance”… Le calme n’est perturbé que ponctuellement, par une question lancée à la cantonade : “Là, ‘Camping de Jarnac’, vous le mettriez dans quoi ?” » (Journal de terrain, janvier 2021).
10En rejoignant le service chargé de l’IA à la Cour de cassation, je découvre avec surprise la place centrale qu’y occupe un travail des données éloigné des serveurs, des tours de calcul et des lignes de code que je m’étais d’abord imaginés : le travail d’annotation.
11Maillon central de la fabrique algorithmique, le travail d’annotation peut être réalisé dans des configurations organisationnelles variées (Muldoon et al., 2024). Fréquemment sous-traité, voire délocalisé (Webb et Tangney, 2022 ; Le Ludec et al., 2023), il peut également, dans de petites organisations, être pris en charge directement par les data scientists (Jaton, 2021). La quinzaine d’annotatrices de la Cour de cassation manifeste l’existence d’une troisième voie, plus rare et choisie en raison du caractère sensible des données traitées : celle de l’internalisation spécialisée. Fonctionnaires de catégorie C, majoritairement en fin d’une carrière réalisée au sein de l’administration judiciaire, les annotatrices de la juridiction suprême ont été recrutées à ce poste sans prérequis de compétences dans le domaine informatique.
12Lors de « campagnes d’annotation » régulièrement organisées pour optimiser les résultats algorithmiques, ces annotatrices labellisent en continu plusieurs dizaines de décisions de justice par jour. Un par un, elles associent les éléments identifiants qu’elles trouvent dans les textes à l’une des catégories disponibles sur leur interface, afin de constituer des bases d’exemples que l’IA aura ensuite vocation à reproduire. Loin d’aller de soi, ces activités de catégorisation sont traversées par de nombreux questionnements, doutes et blocages, dont la résolution participe à la construction progressive d’une définition empirique de ce que constitue la « vie privée » : comment définir la liste de catégories de termes à anonymiser ? Selon quelles règles associer les éléments présents dans les décisions à ces catégories ? Comment garantir l’homogénéité des choix opérés par l’équipe d’annotation ? Que faire lorsqu’une expression, comme « camping de Jarnac », semble résister à la classification ?
13L’interface informatique sur laquelle travaillent les annotatrices, construite pour les besoins du projet, propose un nombre restreint et fixe de catégories auxquelles associer les termes identifiants figurant dans les décisions. Dans le menu déroulant de l’application ne figurent qu’une quinzaine de labels possibles, limitant considérablement la marge de manœuvre dont disposent les annotatrices dans l’exécution de leur mission. Mes premières interrogations au sujet du choix de ces catégories, adressées aux développeurs de l’application, suscitent incompréhension et perplexité : « Ben, c’est assez logique, c’est plutôt du bon sens ! » Pourtant, les catégories utilisées à la Cour de cassation diffèrent de taxinomies de la vie privée en usage dans d’autres contextes, où ne sont parfois occultés que les noms et les adresses. Le « bon sens » présidant à la construction de cet ensemble de catégories ne semble donc pas absolu : « il aurait pu en être autrement » (Woolgar, 1991).
14Ce n’est que plus tard, en échangeant avec la cheffe de projet, que je découvre l’origine de cet ensemble de catégories : il résulte du travail mené quelques mois auparavant au sein d’un groupe d’une trentaine de magistrat·es, sélectionné·es pour leur expertise reconnue dans leurs contentieux de spécialité. Celleux-ci se sont réuni·es à plusieurs reprises pour déterminer la liste des éléments devant être occultés de façon systématique des décisions de justice préalablement à leur diffusion publique. Cette tâche, loin d’être évidente, s’apparente à un exercice d’équilibriste par lequel les magistrat·es impliqué·es cherchent à concilier les différents impératifs légaux auxquels le chantier de l’anonymisation doit répondre : celui de protection de la vie privée des personnes citées dans les décisions d’une part, garanti par le règlement général de protection des données (RGPD) européen, et celui de l’intelligibilité des documents diffusés d’autre part, posé en France par la loi n° 2016-1321 du 7 octobre 2016 pour une République numérique :
« Notre fil conducteur, notre ligne directrice, c’était vraiment de faire en sorte qu’on ne puisse pas identifier les personnes concernées par cette décision. C’est toujours un objectif difficile à atteindre, hein, parce que dans le même temps, il faut se dire, est-ce que la décision reste compréhensible ? […]. Donc on s’est demandé, est-ce qu’on peut se mettre d’accord sur certaines choses qu’il faudrait toujours occulter ? Si on pense à certains contentieux sensibles, en matière de divorce par exemple, est-ce qu’on estime qu’il faut aller au-delà de choses très simples, comme les noms et les adresses ? Ajouter par exemple les dates de mariage ? Et si on fait ça, est-ce qu’on ne perd pas l’intérêt juridique de la décision ? L’idée, c’était d’avancer vers cet équilibre » (Halène, magistrate membre du groupe de travail, entretien, juin 2021).
15Les discussions menées au sein des groupes de travail sont traversées d’interrogations dont les solutions ne sont jamais données d’avance : jusqu’à quel point faut-il protéger les individus, au détriment de la lisibilité des décisions ? La diffusion d’une date de mariage, par exemple, risque-t-elle de permettre d’identifier les personnes concernées ? Dans quelle mesure cette information est-elle nécessaire à la compréhension de la décision ? La réponse à ces questions passe par une activité de « mise en classe » (Desrosières, 1995) : les magistrat·es cherchent à construire une définition de la vie privée incarnée dans un ensemble fini d’éléments concrets à occulter (noms, adresses, dates, etc.). Pour cela, les membres des groupes de travail s’engagent dans des enquêtes qui les conduisent à préciser et affiner l’ensemble de catégories en construction, en le soumettant à différentes épreuves :
« Moi, j’ai travaillé à partir d’une sélection de décisions, pour aller voir dedans ce qui pourrait poser souci. J’ai aussi sollicité des collègues en juridiction, qui ont pu me faire des suggestions, en fonction de leur expérience. Chacun est arrivé aux réunions avec ces réflexions. Ensuite on a eu des débats, on n’était pas toujours d’accord, ce qui est bien je crois ! C’est vraiment un aller-retour permanent, en fait, entre les décisions et les principes qu’on cherche à appliquer […]. Finalement notre réflexion était… Comment dire, il faut être honnête, hein, pas très scientifique. C’est vraiment les considérations les plus terre-à-terre qui ont présidé à la réflexion et aux choix » (Jean, magistrat membre du groupe de travail, entretien, juin 2021).
16Au sein de ce segment de l’arc de travail, la taxinomie de la vie privée prend ainsi forme progressivement, au fil des échanges entre magistrat·es, par la confrontation d’un système de catégories encore instable aux contraintes que représentent les éléments figurant dans le texte des décisions et les principes juridiques applicables. Ce processus est caractérisé par des va-et-vient constants entre abstraction et empirie, entre réflexion individuelle et discussions collégiales. Ces allers-retours ancrés dans l’expérience, que ce magistrat qualifie de réflexion « pas très scientifique », correspondent à un mode de catégorisation « prototypique », dans lequel Susan Leigh Star et Geoffrey Bowker voient reflet des « motivations conflictuelles et contradictoires des situations sociotechniques » qui donnent naissance aux systèmes de classification (Bowker et Star, 2023, p. 107). C’est au gré des enquêtes, des débats et des arbitrages successifs traversant ce groupe de magistrat·es qu’émerge progressivement la liste définitive des termes ayant vocation à être occultés des décisions. Les magistrat·es tranchent ainsi finalement la question des dates de mariage à partir d’un cas concret : dans une petite ville, celles-ci peuvent être facilement identifiantes, et devront donc être occultées du texte des décisions.
17L’ensemble d’une quinzaine de catégories d’éléments à occulter établi par les groupes de travail constitue ainsi une option, parmi de multiples possibles alternatifs. La dimension prototypique de ce travail, guidé par des « considérations terre-à-terre », disparaît pourtant à mesure de l’avancée des travaux menés par les magistrat·es. Une fois discutée et débattue au sein du groupe de travail, la taxinomie de la vie privée fait l’objet d’un processus de stabilisation institutionnelle, manifesté par la rédaction d’un rapport officiel remis solennellement à la Première Présidente de la Cour de cassation.
18Cet acte scriptural matérialise un « durcissement » (Desrosières, 1993, p. 128) du système de classification. L’inscription de la liste de catégories dans un tel document efface les possibles alternatifs envisagés par les magistrat·es au cours de leurs réunions : une fois lissée par l’acte d’écriture du rapport et marquée du sceau présidentiel, la liste de catégories est cristallisée dans une forme dont le respect est supposé s’imposer à tous les segments ultérieurs de l’arc de travail. Ce processus scriptural constitue ainsi la première brique du processus de simplification du réel opéré au sein de la fabrique de l’IA.
19Il n’est pas étonnant que les développeurs vers qui j’avais initialement dirigé mes interrogations sur ces catégories n’aient pas été en mesure de me renseigner : ces groupes de travail ont été construits comme des espaces réservés à la magistrature, auxquels aucun acteur tiers n’a été convié. Ce choix, appuyé par la Présidence de la Cour de cassation, manifeste sur le plan organisationnel le caractère éminemment politique de l’activité taxinomique. Parce qu’ils fixent une représentation particulière du monde (ici, de la « vie privée ») dans des inscriptions rigides et performatives, les systèmes de classification constituent d’importants leviers de pouvoir (Desrosières, 1993 ; Bowker et Star, 1998). Ils deviennent, dans la mesure de leurs usages, des amplificateurs des conceptions du monde qu’ils incarnent — une propriété particulièrement importante lorsque leur application a vocation, comme dans le cas d’une fabrique d’IA, à être automatisée à grande échelle. Du reste, s’il se produit rarement dans une configuration aussi rigide qu’à la Cour de cassation, un processus équivalent de mise en classe se trouve au fondement de tout projet d’apprentissage automatique : un outil de reconnaissance faciale suppose par exemple la définition préalable des éléments constitutifs d’un visage (Scheuerman et al., 2020), comme un outil d’aide à la décision médicale implique de déterminer la liste des symptômes d’une maladie (Henriksen et Bechmann, 2020). Cette activité fondatrice, dont le résultat porte la marque des objectifs des acteurs qui la réalisent, pose un cadre conceptuel structurant pour les activités menées dans les segments suivants de l’arc de travail.
20C’est donc en présence des catégories établies par le groupe de travail de magistrat·es, directement intégrées dans le menu déroulant de leur interface de travail, que se trouvent les annotatrices dans l’extrait de journal de terrain qui ouvre cette section. Au moment où je les rencontre, celles-ci sont engagées dans une opération cruciale pour la conception d’un outil d’apprentissage automatique : l’annotation manuelle des éléments identifiants figurant sur une sélection de décisions. Il s’agit de constituer une base de plusieurs milliers d’exemples, que le modèle reproduira ensuite au moyen de calculs probabilistes — un processus qui fait l’objet de la section suivante de cet article.
21Affectées exclusivement au travail d’annotation, les annotatrices lisent en continu plusieurs dizaines de décisions par jour, avec pour objectif de repérer et de labelliser l’ensemble des éléments identifiants qu’elles y rencontrent. L’activité, fastidieuse et invisibilisée (Star et Strauss, 1999), s’apparente au « sale boulot » (Hughes, 1962 ; Avril et Ramos Vacca, 2020) de l’IA. Elle m’est ainsi présentée par la cheffe d’équipe comme un travail répétitif mais aisé : « Elles ont juste à appliquer les consignes ! » L’observation ethnographique met pourtant en lumière les difficultés auxquelles se confrontent les annotatrices dans l’exécution d’une tâche bien plus complexe qu’elle ne le paraît. En parcourant les décisions, les annotatrices rencontrent en effet systématiquement des éléments qu’elles considèrent comme identifiants, mais qui coïncident mal avec le système de classification établi par les magistrat·es — soit qu’aucune catégorie ne leur corresponde, soit qu’il soit impossible de trancher entre plusieurs catégories qui sembleraient appropriées (Girard-Chanudet, 2023). C’est le cas du « camping de Jarnac », cité plus haut, qui désigne un établissement décrit par le nom d’une ville, et pourrait donc correspondre aussi bien à la catégorie « localité » qu’à la catégorie « personne morale ». Les exemples similaires sont nombreux, comme celui, rapporté par une annotatrice, du nom d’un cheval de course cité dans une décision : « Bon, il n’y a pas de catégorie pour ça, tu vois, mais c’est super identifiant, en deux clics sur Google tu retrouves le propriétaire. Moi, je pense qu’on ne peut pas le laisser ». Elle suggère ainsi l’association du nom de cheval à la catégorie « Prénom » : « Elle n’est pas faite pour ça, cette catégorie. Mais bon, c’est sûrement le plus approchant, et au moins ça permettrait d’anonymiser ».
22Les annotatrices réalisent ainsi un travail d’articulation (Strauss, 1985 ; Suchman, 1996), permettant de concilier, par le biais d’enquêtes, d’ajustements et d’adaptations, les contraintes catégorielles posées par les groupes de travail de magistrat·es, et les éléments imprévisibles contenus dans les décisions. Par l’accumulation de leurs choix, les annotatrices donnent chair au système de classification. Elles façonnent les catégories et en délimitent empiriquement les contours, en décidant d’y associer certains éléments ou, au contraire, d’en exclure d’autres de leur périmètre — provoquant alors des rapprochements imprévus, entre chevaux et humains, par exemple.
23Loin du mécanicisme décrit par leur cheffe d’équipe, les annotatrices font preuve dans leur travail d’une forte implication émotionnelle et morale. Ayant effectué la majorité de leur carrière dans l’administration judiciaire, au sein de services de greffe ou de secrétariat, les annotatrices connaissent bien le fonctionnement de la justice. Elles ont souvent assisté à des procès et ont régulièrement été en contact avec des justiciables, ce qui renforce chez elles une volonté largement partagée de « se mettre à la place » des personnes citées dans les décisions, afin de leur éviter d’avoir à subir le préjudice d’une diffusion d’informations personnelles les concernant. La représentation des enjeux associés à l’anonymisation des décisions de justice, ancrée dans ces expériences professionnelles antérieures, influence leurs choix d’annotation. Une annotatrice me confie ainsi anonymiser des éléments non prévus par le cadre catégoriel, en labellisant par exemple les adresses de lieux de détention comme s’il s’agissait de domiciles, pour « ne vraiment pas prendre de risque ». Le travail d’annotation apparaît donc ici comme un travail de soin, apporté à la fois aux personnes citées dans les décisions et aux données destinées à l’entraînement des modèles algorithmiques. À l’instar des ouvrier·es suivi·es par Nicolas Dodier (1995), ou des guichetier·es de la Poste étudié·es par Fabienne Hanique (2004), les annotatrices chargent leur mission d’un sens fort, qui provoque un infléchissement du système de classification. Dans les jeux de données annotés apparaissent ainsi, en filigrane, les conceptions particulières de la vie privée et de l’importance de sa protection sur lesquelles s’appuient les annotatrices.
24Les enquêtes menées par les annotatrices pour associer les termes figurant dans les décisions aux catégories de termes identifiants rappellent l’activité taxinomique réalisée par les magistrat·es. Pourtant, parce qu’elles n’ont pas la main sur le système de classification, les allers-retours opérés par les annotatrices sont d’une nature différente. Au lieu de faire évoluer les catégories, comme le faisaient les magistrat·es, leur position en aval dans l’arc de travail de l’IA les contraint au contraire, en cas de doute ou de blocage, à plier (« torque ») les entités pour les faire correspondre à la liste rigide de catégories disponibles (Bowker et Star, 1999). Leur travail consiste à accumuler, si besoin en forçant comme dans le cas du nom de cheval, des indices attestant l’appartenance des mots trouvés dans les décisions aux catégories de termes identifiants figurant sur leur interface.
25Il arrive toutefois que certains éléments résistent trop fortement à leur encapsulation dans le système de catégories en vigueur. Les blocages trop réguliers ou insolubles ont conduit les cheffes de projet à mettre en place un « guide d’annotation », document charnière opérant la jonction entre le cadre posé par le rapport et les éléments imprévus trouvés par les annotatrices dans les décisions. Le guide, auquel se réfère régulièrement l’équipe d’annotation, décrit à l’aide d’exemples et de consignes précises l’usage attendu des catégories. Il fait également, dans certains cas, office de soupape catégorielle, en créant des catégories intermédiaires qui se superposent à la liste établie par les magistrat·es, afin de faciliter le travail des annotatrices. Par exemple, à la suite de la remontée d’erreurs et de doutes récurrents, une nouvelle catégorie « personne géo-morale » a été intégrée au guide, dans l’objectif de remédier à l’hétérogénéité des choix opérés jusqu’alors par les annotatrices au sujet d’entités doubles comme « boulangerie des Champs-Élysées », désignant à la fois un lieu et une entreprise. La catégorie, jugée « trop compliquée » par les annotatrices, sera finalement à nouveau supprimée quelques semaines plus tard. Ce système de classification intermédiaire permet d’éviter le conflit avec la liste officielle de catégories, tout en offrant une certaine souplesse dans l’adaptation aux données avec lesquelles travaillent les annotatrices ; il atteste ainsi de la difficulté à faire entrer un réel pluriel et mouvant dans un ensemble restreint de catégories.
26À cette étape de l’arc de travail, les activités menées au sein de la fabrique d’IA s’apparentent au travail de codage documenté dans des contextes éloignés du domaine algorithmique. Elles résonnent ainsi fortement avec l’enquête menée par Alain Desrosières et Laurent Thévenot (2002) sur la construction d’une nomenclature de catégories socio-professionnelles, ou encore avec les travaux consacrés à la mise en œuvre de la classification internationale des maladies (Bowker et Star, 1999 ; Bovet, 2022). Les activités réalisées par les annotatrices durant les « campagnes d’annotation » aboutissent à la constitution de bases de données annotées, qui poursuivent leur parcours le long de l’arc de travail de l’IA et sont récupérées, dans le segment suivant, par les data scientists qui opèrent une mise en nombre des décisions, en vue de leur traitement algorithmique.
27Une fois labellisées, les décisions de justice sont transmises directement et en continu par l’application aux data scientists, chargé·es de l’entraînement des modèles. En me joignant à elleux, quelques jours et quelques bureaux plus loin, j’observe Ambroise et Aniela, les deux data scientists de la Cour de cassation, parcourir de longs tableurs, modifier la façon dont les données y sont structurées, naviguer sur des forums… Ces activités me semblent tout aussi éloignées que les tâches d’annotation du travail de codage algorithmique que j’avais imaginé en débutant cette enquête. Lorsque je lui en fais la remarque, Ambroise sourit et m’explique :
« En fait dans un projet de ce genre, en général, l’algorithmie c’est max 5 % du projet. Le plus compliqué, c’est toute l’ingénierie, c’est nettoyer les données, les récupérer, le formatage, faire tout le pipeline de production, de l’entrée des données au passage de l’algo, etc. En vrai, finalement, je code assez peu au quotidien » (Ambroise, data scientist, entretien, février 2021).
28Telles quelles, les décisions annotées sont loin, en effet, de correspondre aux besoins de l’apprentissage automatique. Il faut encore transformer ces multiples documents textuels en un objet homogène, standardisé et traitable informatiquement : il s’agit de les « instaurer » (Goeta, 2016) en base de données d’entraînement de l’IA. Ce processus suppose de rassembler les annotations réalisées manuellement sur plusieurs milliers de décisions en un ensemble de données unique, qui servira de « vérité de référence » (Jaton, 2017) pour le traitement algorithmique de données inédites. Ainsi, si l’algorithmie s’apparente au « vrai boulot » (Bidet, 2011) des data scientists, auquel iels se plaignent régulièrement de ne pas pouvoir consacrer davantage de temps, c’est avant tout un travail de formatage des données qui se trouve au cœur de cette portion de l’arc de travail de l’IA.
29La composition d’une telle base d’apprentissage repose sur la séparation progressive des mots labellisés par les annotatrices du contexte des décisions de justice dont ils sont issus. Ce processus est illustré ci-dessous, à partir de l’exemple de la phrase « Jean Du Bois né le 31 janvier 2000 a fondé une entreprise d’informatique INFOWORLD ».
Figure 1. Mise en bases de données d’apprentissage
Source : collectage de terrain mis en forme par l’autrice
30Une première transformation convertit les annotations, matérialisées sur l’interface de travail des annotatrices par des surlignages colorés, en une série d’inscriptions textuelles. Dans ce document, les annotations sont représentées par des chiffres décrivant la position des mots dans le document : les caractères 0 à 4 composent par exemple le mot « Jean », auquel est accolé le tag « prénom » entre chevrons. Une seconde transformation rassemble l’ensemble des décisions annotées au sein d’une base unique, où chaque terme est associé à son label éventuel ainsi qu’à l’identifiant de la décision dont il est issu (ici, « arret_0143 »). Au cours de ce processus de mise en base, les termes composant les décisions sont départis de leur puissance sémantique, du sens conceptuel qui leur était associé dans les textes d’origine et auquel magistrat·es et annotatrices prêtaient une grande attention. Ils gagnent, en échange, des propriétés calculatoires. En convertissant les annotations en composantes de cette base de données d’apprentissage, les data scientists apprêtent le monde à la quantification, le transformant en une série d’objets commensurables.
31Le détachement des décisions de leur contexte de production opéré dans ce segment de l’arc de travail est associé à une mise à distance du registre juridique, dont Ambroise et Aniela se tiennent éloigné·es pour favoriser un traitement de l’information qu’iels qualifient d’« efficace » :
« Nous, on fait les choses sans vraiment avoir la compréhension de ces textes. Le fond juridique, c’est vraiment un monde à part. Moi, de mon point de vue, ça me paraît très verbeux comme discipline. Je pense qu’il y a tout un but pour cet art, je ne doute pas que ça ait été développé parce qu’il y avait un besoin, mais là, comme ça, ça me paraît juste plein d’aléas, incroyablement compliqué. Si ce système était juste bien construit, il n’y aurait pas besoin de nous. S’il y avait un logiciel pour rédiger les arrêts, il suffirait de mettre un champ prénom, de mettre le prénom dans le champ prénom, après tout est facile en fait […]. Ça, je ne peux pas vraiment comprendre, mais c’est comme ça, il faut accepter […]. J’essaye de passer outre les détails et d’aller à ce que j’ai besoin de comprendre pour faire mon travail de façon efficace » (Aniela, data scientist, entretien, février 2021).
32Les data scientists revendiquent ainsi leur agnosticisme par rapport aux contextes de production des décisions de justice, dont la rédaction résulte de pratiques d’écriture hétérogènes (Weller, 2011). Les « aléas » induits par la matière juridique, le caractère « verbeux » du droit et de ses procédures « incroyablement compliqué[es] » sont considérés comme des contraintes à minimiser afin de répondre de façon optimale au problème de l’anonymisation. Aniela défend au contraire une conception universelle de la connaissance, appréhendée plus largement dans le domaine de la science des données (data science) comme une « boîte à outil » mobilisable indépendamment de la discipline, du sujet ou de l’objet traité (Prietel et Raible, 2024).
33L’éloignement de leur contexte d’exercice manifesté par les data scientists, qui rappelle les cas de la statistique (Desrosières, 2014) ou de la conception des systèmes experts (Forsythe, 2001), transparaît dans les parcours professionnels d’Ambroise et Aniela. Initialement formé·es dans les domaines de la science appliquée, en ingénierie chimique et biologie, iels ont suivi des compléments courts de formation en data science avant de débuter leur carrière dans des secteurs professionnels éloignés de la justice : dans un cabinet de conseil spécialisé en réduction des coûts annexes et un service de gestion de brevets pharmaceutique pour l’un, dans une entreprise de gestion et d’optimisation de données géolocalisées pour l’autre. Toustes deux rejoignent ensuite la Cour de cassation « un peu par hasard », sans connaissances juridiques ni attirance particulière pour ce domaine. La formation et le parcours des data scientists contribue ainsi à façonner leur position distante par rapport aux données traitées. Celle-ci facilite le détachement des décisions de justice de leurs contextes de production et ouvre ainsi la voie à leur transformation en chiffres, opérée au cours de leur traitement algorithmique.
« Quelques semaines après une “campagne d’annotation” au cours de laquelle de nouveaux jeux de données annotés ont été constitués, j’accompagne Aniela, l’une des data scientists de la Cour de cassation, pour un après-midi de travail. Elle scrute attentivement l’écran de son ordinateur, sur lequel s’affichent les scores de performance de l’algorithme, catégorie par catégorie. Elle est perplexe : “Là, je ne comprends pas pourquoi ça ne marche pas. On a les données propres, on a le nouveau modèle, mais la catégorie ‘établissement’, elle ne bouge pas”. En effet, malgré la nouvelle phase d’entraînement, le score affiché pour cette catégorie plafonne à 67 %, un résultat jugé trop faible. Après avoir testé plusieurs combinaisons de paramètres sur son tableau de bord, Aniela conclut : “bon, il va falloir aller voir dans les données ce qu’il se passe” » (Journal de terrain, mars 2021).
34Que s’est-il passé entre la structuration de la base de données d’entraînement et la production des chiffres s’affichant sur le tableau de bord d’Aniela ? Les indicateurs qu’elle consulte marquent l’entrée en jeu des modèles algorithmiques : une fois les données structurées, celles-ci sont soumises à une série de calculs visant à positionner les mots du corpus d’entraînement dans un espace vectoriel en fonction de leur proximité relative. Cette représentation mathématique, aussi qualifiée de « monde artificiel » (Girard-Chanudet, 2023), sert de référence pour calculer la probabilité d’appartenance des termes contenus dans de nouvelles décisions aux catégories recherchées (nom, prénom, adresse…). Par ces opérations, les modèles algorithmiques provoquent un dernier glissement des décisions vers un registre mathématique.
35Je découvre rapidement qu’Ambroise et Aniela — comme leurs homologues dans la plupart des fabriques d’IA — ne conçoivent pas elleux-mêmes les modèles algorithmiques qui réalisent ces calculs. Iels utilisent plutôt des algorithmes préexistants, diffusés en accès libre par de grands acteurs du web : au moment de l’enquête, l’anonymisation automatique des décisions de justice repose ainsi sur des algorithmes issus des laboratoires de Facebook et du géant allemand du e-commerce Zalando. Pour les data scientists, ces modèles représentent des outils de travail au comportement incertain, des « boîtes noires » dont il s’agit de contrôler et d’optimiser le fonctionnement en mettant en œuvre différentes stratégies.
36En consultant son tableau de bord, Aniela cherche à évaluer les résultats de l’expérimentation de plusieurs modèles, qu’elle a entraînés au cours des jours précédents. Sélectionnés en raison de leur efficacité reconnue dans la littérature scientifique, ces algorithmes ont été « laissés tourner » pendant 48 heures afin d’opérer la conversion des textes en vecteurs mathématiques. Les chiffres qui s’affichent sur l’écran d’Aniela offrent des « prises » (Bessy et Chateauraynaud, 1995) pour juger des résultats d’un processus qui demeure opaque pour elle. Le tableau de bord affiche les scores de performance des expérimentations réalisées, par modèle, par paramètre sélectionné et par catégorie d’éléments à identifier. Ces métriques, calculées en comparant les résultats produits par l’algorithme à l’issue de son entraînement avec un jeu-test de données pré-annotées manuellement, fournissent aux data scientists des indications de différentes natures. Certaines, comme le F1-score, renseignent sur la performance globale du modèle ; d’autres, telles que le recall ou l’accuracy score, ciblent les types d’erreurs commis par celui-ci. En effet, au regard des objectifs globaux du projet, toutes les erreurs ne se valent pas : un faux-négatif (l’oubli d’un nom de famille, par exemple) représente potentiellement une erreur beaucoup plus grave qu’une erreur de catégorie (une adresse erronément annotée en nom d’entreprise). Ainsi, aucun indicateur ne suffit à rendre compte à lui seul des performances du modèle, et les data scientists combinent en permanence ces différentes métriques pour parvenir à un résultat considéré temporairement comme optimal.
37Afin d’améliorer les performances de l’algorithme, Aniela parcourt ces résultats et reporte certaines informations sur un carnet, qu’il s’agisse de l’amélioration significative de la reconnaissance de certains éléments ou, au contraire, de résultats insatisfaisants qu’il faudra corriger — comme, plus haut, dans le cas de la catégorie « établissement ». Lorsque je l’interroge sur les raisons de ces performances inégales, et sur ses motivations à opérer certains choix de calibrage plutôt que d’autres, elle me décrit une démarche résolument ancrée dans l’expérimentation empirique :
« Les paramètres, c’est un peu comme de la magie. Le learning rate [paramètre déterminant la rapidité avec laquelle le modèle s’adapte à de nouvelles données], je le descends toujours au maximum au début. Je commence avec les paramètres par défaut, puis je teste les extrêmes, le milieu, et je reste dans la zone la meilleure. Je fonctionne par tests et erreurs, je change les paramètres et je vois ce qui se passe. On pourrait sûrement réfléchir aux implications mathématiques, il doit y avoir des explications conceptuelles, mais ce serait beaucoup trop lourd de réfléchir à tout ça, beaucoup trop complexe. Moi, j’ai pas un background mathématique pur, du coup je fonctionne plutôt par tests et erreurs » (Aniela, data scientist, entretien février 2021).
38La conversion des annotations en vecteurs mathématique est opérée suivant un enchevêtrement de calculs qu’Aniela ne cherche pas à comprendre. L’optimisation des résultats passe plutôt par des bricolages successifs dont les effets sont suivis avec attention — une configuration qui résonne avec la façon dont, régulièrement, « l’activité technique devient expérimentation » dans le cas des opérateurs industriels suivis par Nicolas Dodier, qui disent ne suivre « aucun repère préalable » et expriment leur ouverture à « la part d’incertitude liée à leur activité » (Dodier, 1995, p. 68).
39Par ailleurs, Ambroise et Aniela ne sont pas isolé·es dans ce processus d’expérimentation. Lors des phases de test et d’optimisation des modèles algorithmiques, je remarque qu’iels consultent régulièrement les blogs de start-ups engagées dans des projets similaires aux leurs, lisent et participent à des discussions sur différents forums, trouvent des ressources sur des répertoires de code en ligne… Je comprends ainsi que la recherche des « bons » paramètres et des « meilleurs modèles » repose en grande partie sur l’inscription des data scientists dans des réseaux professionnels dépassant les murs de la Cour de cassation. Leur travail est traversé d’allers-retours entre les modèles en expérimentation et les ressources disponibles en ligne — résultant de la collaboration entre entreprises conceptrices et communautés contributrices, typique de l’économie des logiciels libres (Alcaras, 2020). Aniela m’explique l’importance centrale de ces espaces en ligne :
« Dans l’apprentissage automatique, la communauté, c’est super important. C’est un champ naissant, en ébullition, on a plein de questions et rarement des certitudes. Moi, par exemple, parfois j’aimerais bien avoir quelqu’un au-dessus de moi qui me dise comment faire, quoi faire. Mais dans le machine learning je suis déjà très senior, j’aurais un poste de gestion d’équipe, donc la solution c’est la communauté. Quand on a un problème, un doute, on peut poser nos questions » (Aniela, data scientist, entretien, février 2021).
40Sur les forums s’échangent ainsi quotidiennement avis, retours d’expérience et recommandations au sujet des modalités de sélection, d’entraînement et d’optimisation des modèles. Ambroise et Aniela participent activement à ces communautés professionnelles en ligne, sur lesquelles iels partagent les résultats de leurs travaux et cherchent des réponses à leurs questions. Les activités menées dans cette section de l’arc de travail sont ainsi étroitement liées à ces réseaux communautaires, qui participent à la mise en œuvre localisée des modèles algorithmiques. Ceux-ci dessinent des réseaux institutionnels souterrains : par l’intermédiaire de ses data scientists, la Cour de cassation se trouve ainsi liée aux multinationales qui produisent les modèles algorithmiques, ainsi qu’à certaines start-ups de la legal tech avec lesquelles Ambroise et Aniela sont en contact régulier.
41Quelques semaines après cette phase d’entraînement algorithmique, je rejoins Ambroise à la Cour de cassation et le trouve absorbé dans une tâche inhabituelle. Je le vois rédiger sur un traitement de texte des listes d’expressions : « En sa qualité de directrice de l’école de la ville de XX » ; « alors qu’il était étudiant de l’école supérieure de XX » ; « il indique être titulaire d’un diplôme de l’école de XX »… Il me dit chercher à affiner les résultats produits par le modèle pour certaines catégories, en créant artificiellement de nouvelles phrases à intégrer à son apprentissage ; je m’étonne que le jeu d’entraînement n’ait finalement pas été assez fourni :
« Ben c’est pas tant le nombre de décisions en tout, c’est plutôt les entités qu’il y a dans ces décisions-là. Tu vois, par exemple, les noms et prénoms, avec un millier de décisions tu as déjà 10 000 phrases dans lesquelles ils apparaissent. Donc ça va. Par contre, il y a des choses plus rares, comme là les établissements. L’idée c’est de faire ce qu’on appelle de l’augmentation de données. C’est-à-dire que je prends des cas déjà existants, et je les modifie légèrement pour créer de nouveaux cas, pour bien appuyer sur l’apprentissage. Parce que ces cas, ils se mélangent à des centaines de milliers d’autres entités qui concernent d’autres catégories, donc il faut quand même qu’il y ait un certain poids, une certaine présence pour que ça prenne bien » (Ambroise, data scientist, entretien, mai 2021).
42Face aux résultats insatisfaisants du modèle pour la catégorie « établissement », identifiés quelques jours plus tôt par Aniela (en particulier, ici, sur les phrases traitant d’« écoles »), Ambroise entreprend donc de créer de toutes pièces un ensemble de « nouveaux cas » qui ne figurent pas dans les décisions d’origine. Cette activité de création de « données synthétiques », visant à permettre une meilleure reconnaissance par le modèle de certains types d’éléments, a été documentée dans de nombreuses fabriques d’IA (Jacobsen, 2023 ; Offenhuber, 2024). Elle participe d’une démarche que l’anthropologue Lucy Suchman (2023) qualifie de « fake it till you make it » : c’est par cette déviation volontaire de la base d’exemples initiale, caractérisée par une altération des jeux de données d’entraînement, qu’Ambroise espère obtenir de meilleures performances pour l’anonymisation de nouvelles décisions de justice. Cette activité résulte du décalage entre le fonctionnement standardisé des modèles et la structure du monde réel, telle que reflétée dans les données annotées. Les décisions de justice, aux contenus variés et dont les styles de rédaction hétérogènes contiennent souvent des expressions rares, résistent à l’encapsulation dans le registre mathématique des algorithmes. Si les campagnes de ré-annotation de données, sollicitées régulièrement par les data scientists, visent à combler ce différentiel, les data scientists réalisent également à leur niveau, par les ajustements qu’iels opèrent en complément, un travail d’articulation nécessaire pour tenir ensemble modèles et données. L’évolution constante du contenu des décisions, liée à la fois aux transformations de la société et aux modifications du cadre légal, fait de ces ajustements une partie intégrante et durable du travail de l’intelligence artificielle.
43Les data scientists sont ainsi engagé·es dans un effort constant pour maîtriser l’incertitude du fonctionnement des modèles, au moyen d’enquêtes et d’ajustements, faisant intervenir de multiples acteurs extérieurs à la Cour de cassation. Au terme de cette portion de l’arc de travail, les décisions, qui ont été converties en chiffres et soumises à des calculs probabilistes, parcourent le chemin inverse et regagnent leur consistance verbale. L’estimation de concordance d’un mot et d’une catégorie est solidifiée par l’attribution automatique d’un label. Les termes reconnus par le modèle sont alors occultés, et remplacés par des lettres. La trajectoire de l’arc de travail de l’IA semble pouvoir s’interrompre en ce point : les activités menées dans ses différents segments ont rempli l’objectif initialement fixé, celui d’anonymiser automatiquement les décisions de justice. Pourtant, au terme de la phase d’entraînement des modèles, la fabrique algorithmique de la Cour de cassation fourmille encore d’activités.
« Je me rends à la Cour de cassation aujourd’hui pour la première fois depuis la mise en service de la nouvelle version de l’algorithme d’anonymisation. J’accompagne comme prévu Anna, une annotatrice, dans sa journée de travail. Sur son écran, les décisions qui s’affichent ne sont plus vierges : certains éléments sont déjà surlignés et associés à des catégories — signe d’un premier passage du modèle algorithmique sur le texte. Anna scrute une par une ces annotations algorithmiques, supprime les erreurs, ajoute des mots qui n’ont pas été repérés par la machine, redimensionne des annotations inexactes. Après avoir corrigé plusieurs décisions, elle prend la mesure des évolutions provoquées par la dernière phase d’entraînement : “Là, j’avoue que sur les adresses, c’est vrai qu’il s’est vachement amélioré. Avant il fallait toujours rajouter le numéro à la main” » (Journal de terrain, février 2021).
44Cette entrée de journal de terrain est représentative de l’activité de l’équipe d’annotation telle que je l’ai majoritairement observée au cours des six mois passés à la Cour de cassation. Si les annotatrices participent épisodiquement à la structuration de nouveaux jeux de données d’entraînement, le gros de leur travail est en réalité orienté vers la surveillance et la correction des résultats produits par l’IA. Les décisions anonymisées automatiquement comportent en effet régulièrement des erreurs, qu’il s’agisse de faux négatifs (éléments identifiants oubliés par le modèle), de faux positifs (éléments au contraire labellisés à tort comme identifiants) ou d’erreurs de catégorie. Malgré les efforts d’ajustement déployés par les magistrat·es, les annotatrices, puis les data scientists dans les portions antérieures de l’arc de travail, le réel continue d’échapper à l’automatisation. En surveillant les algorithmes, les annotatrices opèrent ainsi une ultime articulation pour assurer l’anonymisation effective des décisions.
45Dans leurs activités de surveillance, les annotatrices font office de « bergers des machines » (Rot et Vatin, 2017) contrôlant le fonctionnement des algorithmes et réorientant éventuellement leur comportement. Cette tâche requiert vigilance et concentration. De la même façon que les opérateurices en raffinerie de pétrole apprennent à utiliser leurs sens pour contrôler les machines dont iels ont la charge (Rémy, 2023), les annotatrices développent des stratégies particulières pour identifier rapidement de potentiels points de blocage. Le nombre d’annotations réalisées par l’algorithme, indiqué en haut de chaque décision, est ainsi utilisé comme indice d’un possible dysfonctionnement : « Là, tu vois, celle-là, elle a 12 144 annotations, c’est énorme ! Soit elle est vraiment super longue, soit c’est que le logiciel a fait n’importe quoi », m’explique Anna au sujet d’une décision qui s’avère en effet contenir un grand nombre de faux positifs. Les annotatrices entretiennent un rapport particulier avec le texte des décisions, qu’elles regardent plus qu’elles ne le lisent, en le faisant défiler du haut vers le bas, puis en sens inverse. L’œil, exercé, apprend progressivement à reconnaître la forme d’un nom, d’un numéro de sécurité sociale ou d’une adresse que l’algorithme aurait laissé passer. Au contraire, mon regard de novice peine à suivre la vitesse de défilement du texte à l’écran. Alors que je demande à l’une des annotatrices comment elle fait pour repérer si vite les noms oubliés dans le corps du texte, celle-ci me répond : « Oh tu sais, maintenant j’ai l’habitude ; comme il y a des majuscules, ça me saute aux yeux ». Le travail, fastidieux, est rendu supportable par l’ajustement des postes de travail (« maintenant j’utilise un écran plus petit ; ils nous en avaient donné des grands, mais en fait, plus c’est grand, plus tu fais de chemin avec tes yeux »), par l’organisation de pauses régulières ou encore par la mise en place de séances d’étirements réalisées individuellement ou collectivement.
46La surveillance des algorithmes répond en premier lieu à une volonté d’éviter l’« accident » que représenterait la diffusion publique d’une décision sur laquelle figureraient encore des éléments identifiants, ou qu’une anonymisation défectueuse aurait rendue illisible. Comme pour les machines industrielles, les dysfonctionnements algorithmiques non traités à temps sont porteurs de risques. En ce sens, toutes les IA ne se valent pas, et l’organisation de la surveillance dépend de l’évaluation des dangers associés à leur usage. Comme dans le secteur industriel, où le travail de surveillance se concentre sur les secteurs à « haut risque » tels que l’industrie chimique et nucléaire (Rot et Vatin, 2017) ou l’aéronautique (Moricot, 1999), le contrôle humain de l’IA apparaît lié au degré de sensibilité des opérations concernées. « Personne ne va en mourir, je sais bien, mais quand même, ici c’est une affaire de divorce avec des enfants, ça peut avoir de grandes conséquences pour eux si on oublie quelque chose », m’explique une annotatrice pour justifier le temps important qu’elle vient de passer sur une décision.
47L’organisation du travail de surveillance algorithmique découle ainsi d’un processus de qualification des risques associés à l’automatisation. À la Cour de cassation, « il n’y a pas le droit à l’erreur », affirme la magistrate chargée du pilotage du projet : l’anonymisation des décisions répond à une obligation légale posée par le RGPD, et la façon dont l’institution s’en acquitte fait l’objet d’une vigilance extérieure importante, notamment de la part de la Commission nationale de l’informatique et des libertés (CNIL), autorité de protection des données. Pourtant, face à l’impossibilité de faire relire à une équipe d’une quinzaine d’agents l’intégralité des quatre millions de décisions produites chaque année par les tribunaux français, la Cour de cassation s’est engagée au cours de mon enquête dans un travail de hiérarchisation des risques associés à différents types de contentieux. Il s’agissait d’autoriser la diffusion sans relecture préalable de certaines décisions relevant de contentieux à faible risque pour la protection de la vie privée, en matière de droit commercial par exemple, tout en mettant en place une relecture à deux niveaux pour certains contentieux particulièrement sensibles, comme ceux qui relèvent du droit de la famille. L’évaluation des risques associés à l’automatisation, profondément ancrée dans le contexte légal, institutionnel et organisationnel de la fabrique d’IA, joue ainsi un rôle central dans la façon dont le travail y est organisé.
48Au moment de leur arrivée dans l’équipe, les annotatrices ont une conscience limitée de cet entremêlement de leurs activités avec celles d’un modèle algorithmique. Aucune n’est formée en la matière, et leur fiche de poste ne mentionne que de façon vague l’existence d’un « logiciel » avec lequel elles seront amenées à interagir. « Moi, l’IA, j’y connais rien », m’avertit ainsi l’une des annotatrices, inquiète de ne pas pouvoir répondre à mes questions. Pourtant, en prenant en charge la surveillance et la correction des résultats produits automatiquement, les annotatrices découvrent progressivement l’existence d’une machine dont la production est étroitement liée à leur propre travail. Confrontées aux résultats produits algorithmiquement, elles deviennent familières avec les habitudes de cette entité, identifient ses faiblesses et reconnaissent ses progrès — dont elles se réjouissent souvent, à l’instar d’Anna dans l’extrait de journal de terrain ci-dessus. Les annotatrices développent ainsi un rapport intime avec l’IA, considérée comme un partenaire de travail immatériel dont elles cherchent à expliquer le comportement : « Là, il est fatigué, ça fait plusieurs semaines que les noms, il ne les annote pas en entier… » ; « Tiens, c’est marrant, il a annoté Juan et José comme si c’était le même nom, il ne doit pas parler espagnol ! » ; « Je me demande s’il voit les mots en majuscules, parce que là il les laisse tous passer ». Ces réactions évoquent les travailleureuses des industries nucléaire et chimique décrit·es par Gwenaële Rot et François Vatin, qui entretiennent « un rapport un peu magique aux installations dont ils ont la charge, leur conférant une âme, plus ou moins perverse, un tempérament, plus ou moins nerveux » (Rot et Vatin, 2017, p. 16), et qui considèrent les machines « plus comme une force naturelle qu’il faut canaliser que comme un outil qui serait pleinement “en main” » (Rot et Vatin, 2017, p. 41). Dans les deux cas, la machine apparaît comme une entité propre et incertaine, que l’expérience permet progressivement d’apprivoiser.
49Par ces activités de surveillance, l’équipe d’annotation développe ainsi une forme unique de « solidarité technique » (Dodier, 1995) avec l’IA, dont elle est la seule, collectivement, à connaître l’ensemble de l’activité. Le soin et l’attention (Denis et Pontille, 2022) que les annotatrices apportent à l’algorithme et aux résultats qu’il produit tranche avec la compréhension plus distante du fonctionnement des modèles manifestée par d’autres acteurs dans des segments antérieurs de l’arc de travail de l’IA. C’est en particulier le cas des data scientists, dont le lien étroit avec l’algorithme est médié par des métriques de performance, et qui ne consultent qu’occasionnellement des échantillons de résultats produits par l’algorithme. De ces positions différenciées par rapport à l’IA émergent parfois des tensions, dont la résolution peut conduire à des ajustements des opérations menées dans les segments antérieurs de l’arc de travail :
« Donc ça, moi, je l’ai signalé [une erreur récurrente d’annotation sur les adresses]. Bon, on le savait, tout le monde le savait [dans l’équipe d’annotation], mais je l’ai rappelé quand même. Et les gens étaient surpris. Ambroise était surpris, il ne me croyait pas, parce que normalement il [l’algorithme] aurait dû le faire. Il m’a dit “c’est impossible !”. Ben non, c’est pas impossible, je vous assure. J’ai dit “ben écoutez, on va demander à untel et untel [des annotatrices] ce qu’elles en pensent”, et elles ont dit “oui, oui, oui, c’est récurrent !”. Je lui dis “on continue ?” Il dit “non, non, c’est bon, je vous crois” » (Anna, annotatrice, entretien, avril 2021).
50Bien qu’avec réticence, le data scientist finit ainsi par prendre en compte les retours des annotatrices concernant les erreurs d’annotation d’adresses, en ajustant les paramètres du modèle algorithmique pour en modifier le comportement. Lorsqu’elles contrôlent les résultats produits par l’IA, les annotatrices corrigent ainsi également le travail réalisé en amont de l’arc de travail par les groupes de magistrat·es et de technicien·nes. Ce cas atteste de la non-linéarité du travail de l’IA : l’encapsulation du réel, qui résiste toujours à une catégorisation stricte, est caractérisée par des allers-retours permanents entre les expérimentations, l’évaluation des résultats produits et l’ajustement du dispositif — un mouvement de balancier dans lequel le travail de surveillance joue un rôle essentiel.
51De la définition des objectifs assignés à l’outil algorithmique à la surveillance des résultats que celui-ci produit, l’intelligence artificielle prend forme le long d’un arc de travail orienté vers un effort de modélisation de l’information visant à en automatiser le traitement. Tous les acteurs de la fabrique algorithmique — qu’il s’agisse des magistrat·es définissant les catégories de termes à occulter, des annotatrices donnant corps au système de classification en façonnant les jeux de données d’entraînement, ou des data scientists opérant la conversion des annotations en chiffres et cherchant à optimiser les résultats produits par les modèles — participent, selon les objectifs et modes de travail qui leur sont propres, à un effort de simplification et de standardisation de l’information.
52Pourtant, les éléments qui composent les décisions de justice, souvent imprévus, imprécis ou polysémiques, résistent toujours à une catégorisation stricte : comme le formulent Susan L. Star et Geoffrey Bowker, « le monde est toujours légèrement hors de portée » (Bowker et Star, 2023, p. 152). L’arc de travail de l’IA est ainsi caractérisé par des allers-retours permanents entre théorie et empirie, entre expérimentations et évaluation, conduisant à un ajustement progressif et continu de l’ensemble du dispositif. Ce mouvement de balancier caractérise les activités menées dans chaque section de l’arc de travail, tout en le traversant, également, dans sa globalité. Il est alimenté par la pluralité des pratiques et des points de vue qui s’articulent pour produire et faire fonctionner l’IA, conduisant à de nécessaires ajustements à chaque étape du processus. Cette articulation est renforcée, dans le cas de la Cour de cassation, par la cohabitation de différents segments de l’arc de travail dans un même espace-temps : à quelques bureaux d’écart peuvent se dérouler simultanément des activités d’ajustement du guide d’annotation, de labellisation d’un nouveau jeu d’entraînement et de test d’un nouveau modèle algorithmique, participant à la dimension itérative de la fabrique algorithmique. Les activités menées le long de l’arc aboutissent ainsi à des solutions temporairement considérées comme optimales, tout en faisant l’objet d’améliorations constantes au gré de l’apparition de nouveaux modèles, de l’identification de dysfonctionnements ou de la réorganisation des priorités associées au projet.
53Contrairement aux représentations d’autonomie qui leur sont souvent associées, les outils d’IA reposent donc sur le travail de nombreux acteurs, qui participent au cadrage, à l’orientation et à la surveillance des résultats produits algorithmiquement. Ethnographier le travail algorithmique permet de resituer le développement de l’IA dans le cadre plus large des processus d’automation industriels, et des reconfigurations du travail qui y sont associées. L’étude des fabriques algorithmiques invite ainsi à prolonger l’analyse historique de l’évolution du travail ouvrier proposée par Alain Touraine (1955), qui identifie dans l’automation sa phase ultime, caractérisée par la diminution de la main-d’œuvre de fabrication, l’activité se polarisant à l’amont et à l’aval de la chaîne de production. Ce déplacement s’accompagne d’une réorganisation du travail, qui se concentre de façon croissante autour des opérations de « surveillance-contrôle » — une configuration lourde de conséquences sur la nature des tâches accomplies et sur les conditions de travail des ouvrier·es, que connaissent aujourd’hui les « petites mains » annotatrices de l’IA.
54La sociologie du travail et ses outils offrent ainsi des prises efficaces pour analyser les dynamiques de conception et comprendre le fonctionnement de dispositifs algorithmiques réputés opaques. Une telle perspective permet de déspécifier le développement de l’IA, tout en prêtant attention à ce qui fait le propre de cet objet et du travail qui l’accompagne. Le cadre d’analyse en termes d’arc de travail proposé dans cet article, attentif aux acteurs multiples engagés dans la fabrique d’IA, ainsi qu’aux doutes et reconfigurations qui la traversent, conduit à éclairer les opérations fines et progressives de façonnage des résultats algorithmiques ; il vise à ancrer l’étude de l’IA dans les contextes sociaux de production de ces outils, et pourrait en ce sens être utilement mis à l’épreuve de configurations organisationnelles distinctes de celles de la Cour de cassation — en particulier s’agissant de projets reposant sur la sous-traitance et la délocalisation d’une certaine part du travail de l’IA.