• 1 Les « large language models » (dits « LLM ») sont apparus vers 2018, notamment sur la base des trav (...)
• 2 « The Godfather of A.I.’ Leaves Google and Warns of Danger Ahead », en ligne : https://www.nytimes. (...)

1Depuis le lancement de ChatGPT par l’entreprise OpenAI en novembre 2022, une véritable course à l’innovation s’est amorcée dans le champ des « intelligences artificielles génératives » fondées sur d’énormes modèles de langage (large language models, dits « LLM », en anglais). Si les calculs mathématiques qui sont au fondement du fonctionnement de ces dispositifs n’ont rien de nouveau1, leur déploiement fulgurant, leur diffusion auprès d’un large public à grande échelle et leur intégration au sein des écosystèmes numériques plus traditionnels (moteurs de recherche, suite bureautique, code informatique, etc.) prépare une bifurcation technologique majeure, dont le caractère ambivalent n’a sans doute jamais été aussi patent. Alors que Microsoft et Google s’emploient désormais à intégrer les gros modèles de langage à leur moteurs de recherches et que Meta, la maison-mère de Facebook, se lance dans la course, deux des principaux concepteurs de ces technologies, Yoshua Bengio et Geoffrey Hinton, tous deux récompensés par le prix Turing en 2018 et 2019 pour leurs apports dans le champ des réseaux neuronaux et de l’« apprentissage profond », s’inquiètent désormais publiquement des dangers que leurs inventions pourraient présenter, au point de les décrire comme des « risques pour l’humanité2 ». Si les inquiétudes qu’elles manifestent semblent légitimes, de telles alertes tendent néanmoins à adopter les schémas narratifs typiques de l’idéologie transhumaniste dominant dans la Silicon Valley, selon lesquels une humanité dépassée par ses propres inventions se verrait désormais à la merci d’une « superintelligence » artificielle prenant le contrôle de son destin, point de bifurcation que les transhumanistes ont pour habitude de désigner sous le nom de « singularité technologique », pour l’appeler de leurs vœux, la dénoncer comme un péril imminent ou déclarer son inéluctable avènement. Bref, qu’il s’agisse de promouvoir les performances technoscientifiques ou d’avertir contre les risques anthropologiques, l’opposition entre l’humain et la technique demeure structurante dans les discours contemporains, qui se limitent bien souvent à une alternative binaire entre un technosolutionnisme promotionnel naïf et une condamnation univoque et alarmiste des nouvelles technologies.

• 3 Bernard Stiegler, De la misère symbolique (2004-2005), Paris, Flammarion, 2013, p. 220.

2Cet article a pour objectif de dépasser cette alternative, afin d’interroger les enjeux psychiques, sociaux, épistémiques et politiques desdites « intelligences artificielles génératives » fondées sur les « large language models », dont le développement disruptif, hors de tout cadre juridique et indépendamment de toute concertation collective, pose évidemment question – en particulier quand il s’opère dans le contexte du capitalisme numérique, de l’économie des données et de l’industrie de la désinformation. Pour parvenir à cet objectif, nous adopterons une approche à la fois organologique et pharmacologique, inspirée des travaux de Bernard Stiegler, mais en nous appuyant aussi sur de nombreux autres auteurs. Selon Stiegler, l’approche organologique suppose d’envisager la co-évolution entre les organismes vivants ou les individus psychiques que nous sommes, les organes artificiels et les milieux techniques qui nous entourent, et les organisations sociales ou les institutions collectives au sein desquels nous vivons3. Selon cette perspective, une innovation technologique ou industrielle n’est pas appréhendée uniquement d’un point de vue technique ou scientifique, mais aussi en tenant compte de ses effets pour les corps et les esprits individuels et collectifs : il s’agit alors de s’interroger sur la manière dont tel ou tel dispositif affecte et transforme les organes biologiques (notamment le cerveau), les facultés psychiques ou cognitives ainsi que la vie politique et collective, tout en admettant que dans ces différentes dimensions, les innovations technologiques, souvent présentées comme des remèdes ou des solutions, peuvent toujours aussi devenir des menaces ou des poisons. D’où la notion de pharmacologie mobilisée par Stiegler depuis sa lecture de Platon et inspirée du terme grec « pharmakon », qui désigne à la fois le remède et le poison. En mobilisant la notion de pharmakon pour souligner le caractère ambigu et ambivalent des technologies, Stiegler n’entend pas soutenir que ces dernières pourraient être bien ou mal utilisées, selon les finalités qui leur seraient assignées par des humains maîtres et possesseurs de leurs moyens : bien au contraire, il entend expliquer que si nos prothèses techniques semblent augmenter notre vitesse, notre efficience ou nos performances, elles impliquent aussi, inévitablement, l’extériorisation de certaines capacités ou de certaines fonctions, qui, dès lors qu’elles sont déléguées à des supports, à des mécanismes ou à des automatismes, ne sont plus pratiquées par les individus vivants. Se pose alors la question de savoir à quel prix s’opère ladite « augmentation » technique et comment panser la perte de savoirs qu’elle engendre aussi nécessairement.

• 4 Alberto Romero, « What Would the World Look Like if AI Wasn’t Called AI? », Medium, août 2021, en l (...)

3Ainsi comprise, l’approche organologique et pharmacologique des « intelligences artificielles génératives », que nous proposons de déployer dans cet article, implique en premier lieu de déconstruire la mythologie transhumaniste et le paradigme cognitivo-computationnaliste sur lequel elle se fonde. Nous commencerons par montrer pourquoi les notions d’intelligence artificielle, d’apprentissage automatique ou de réseaux neuronaux sont problématiques, en tant qu’elles impliquent des analogies entre humain et machine, pensée et calcul, cerveau et ordinateur, qui reposent elles-mêmes sur une réduction de l’esprit à des opérations mathématiques. En effet, nul besoin de grandes connaissances techniques pour comprendre que le fonctionnement de telles machines, qui constituent en fait plutôt des systèmes ou des réseaux (reliant des terminaux à des serveurs et des data centers, en passant par des câbles sous-marins et des satellites), n’a rien de commun avec celui d’un cerveau humain. L’expression d’« intelligence artificielle » elle-même a été choisie par John McCarthy dans l’unique but d’éviter un débat avec la cybernétique, lors des conférences de Dartmouth en 1956, et n’a en soi rien de scientifique4. Herbert Simon, l’un des autres pionniers du champ (et l’un des pères de l’économie comportementale contemporaine), parlait de « traitement complexe de l’information », expression sans doute plus fidèle pour désigner le fonctionnement de ce que nous proposerons de considérer comme des « automates computationnels interactifs ».

• 5 Giuseppe Longo, Le cauchemar de Prométhée. Les sciences et leurs limites, Paris, PUF, 2023, p. 97.
• 6 Laurence Devllers, « ChatGPT : « Saluer l’avancée technologique, mais comprendre les limites de ce (...)
• 7 Parmi les données d’entraînement ayant permis d’entraîner le modèle de ChatGPT, on trouve, entre au (...)

5Il convient tout d’abord de remarquer que contrairement à ce que les vocables d’« intelligence artificielle », d’« apprentissage automatique » ou d’« agents conversationnels » pourraient laisser croire, les technologies numériques contemporaines n’apprennent pas et ne conversent pas : elles constituent des dispositifs de calculs, qui, grâce, à l’indexation (humaine) de quantités massives de données et au moyen de certaines opérations mathématiques très spécifiques (ondelettes, renormalisation, méthodes d’optimum, techniques de filtrage et convolution en cascade, algorithmes de rétro-propagation)5, permettent de « générer » des contenus textuels comparables aux contenus dits « humains », sur l’analyse statistique desquels ces systèmes sont fondés. Comme cela a été souligné par divers spécialistes6, un dispositif comme ChatGPT n’a rien d’intelligent : il s’agit d’un ensemble complexe d’algorithmes très performants effectuant des calculs statistiques afin de déterminer des suites de mots probables (sur le modèle des logiciels d’autocomplétion, qui génèrent automatiquement la suite la plus probable d’un sms ou d’un e-mail, sur la base de calculs prédictifs à partir des précédents messages envoyés)7. Si de tels systèmes parviennent aujourd’hui à passer le fameux test de Turing, c’est-à-dire à simuler parfaitement les capacités de langage humaines, cela n’a en soi rien d’étonnant, puisque c’est sur des contenus générés par des « humains » et collectés en grande quantité que ces modèles sont entraînés. En aucun cas la simulation n’autorise à attribuer à ces dispositifs les capacités traditionnellement attribuées aux vivants humains.

• 8 Et en particulier, à l’égard de l’analogie entre machine et organisme vivant, qui constitue l’un de (...)
• 9 Gilbert Simondon, Du mode d’existence des objets techniques (1958), op. cit., p. 59.
• 10 Gilbert Simondon, « Cybernétique et philosophie » (1953), dans Sur la philosophie, PUF, 2016, p. 46
• 11 Gilbert Simondon, « Epistémologie de la cybernétique » (1953), dans Sur la philosophie, PUF, 2016, (...)

6En effet, comme le rappelait Simondon, qui se montrait très critique à l’égard de l’analogie entre le vivant et la machine au fondement de la cybernétique8, quand bien même une machine serait capable de simuler un comportement vivant ou humain, cela n’autoriserait pas pour autant à lui attribuer les capacités du vivant ou de l’humain, puisque sa structure matérielle n’est pas la même et que les opérations qui ont conduit à un résultat apparemment semblable n’ont rien de commun. Simondon soutient d’ailleurs que dans le cadre de l’étude scientifique des automates, il est imprudent de se fier aux « ressemblances extérieures », qui risquent de conduire à des « assimilations abusives »9. L’automate, ajoute-t-il, est « fondé sur le principe d’équivalence des méthodes permettant d’accomplir une même fonction, chaque structure entraînant l’usage d’une méthode adéquate à la structure » : l’automate accomplit une tâche que l’homme pourrait accomplir, non pas en imitant l’homme, mais selon des méthodes parfois extrêmement différentes »10. La machine n’est donc « pas une imitation de l’homme ; elle ne fait pas les mêmes opérations que lui par des voies identiques ou analogues, mais par des voies équivalentes et différentes : la machine n’est pas un être artificiel imitant structuralement l’homme mais bien un dispositif capable de remplacer l’homme en remplissant une fonction déterminée11 ».

• 12 Anne Alombert et Giuseppe Longo, « Il n’y a pas d’intelligence artificielle : parlons d’automates n (...)
• 13 Georges Canguilhem, « Le cerveau et la pensée » (1980), in Georges Canguilhem, philosophe, historie (...)
• 14 Ibid.
• 15 Ibid.

7Dans le cas de ladite « intelligence artificielle », nous avons effectivement affaire à un processus d’automatisation. Qu’il s’agisse de l’intelligence artificielle symbolique, fondée sur une modélisation des activités mentales par des opérations logiques, ou de l’intelligence artificielle connexionniste, fondée sur la constitution d’invariants à partir de très grandes quantités de données, le principe reste le même : dans les deux cas, des processus de calculs automatisés effectuent des fonctions auparavant réalisées par des esprits (qui sont aussi des corps) humains (comme le jeu, la traduction, la reconnaissance de sons ou d’images, le langage, etc.) et simulent des résultats équivalents. Dès lors, il semblerait plus pertinent de parler d’automates computationnels interactifs12 pour désigner ce que nous appelons traditionnellement des « intelligences artificielles génératives ». Ce changement terminologique n’a rien d’anodin : outre que les mots que nous employons façonnent la manière dont nous pensons, dans les années 1980 déjà, Georges Canguilhem soulignait les enjeux politiques de la « machine de propagande idéologique » qui s’était développée « au stade industriel de l’informatique »13. Il soulignait alors l’usage abusif « d’expressions non pertinentes telles que “cerveau conscient”, “machine consciente”, “cerveau artificiel” ou “intelligence artificielle” » : si ces « métaphores » ont eu une fonction heuristique dans le champ de la cybernétique, Canguilhem soutenait que leur diffusion dans le grand public visait à « dissimuler la présence de décideurs derrière l’anonymat de la machine » et à « désarmer l’opposition à l’envahissement d’un moyen de régulation automatisée des rapports sociaux »14. « Que pourrions-nous avoir contre l’ordinateur si notre cerveau est lui-même un ordinateur ? », se demandait ainsi Canguilhem, tout en dévoilant la réduction de la pensée humaine à une « machinerie électronique »15, qui se cache derrière les métaphores anthropomorphiques des discours cognitivo-computationnalistes.

• 16 Georges Canguilhem, « Le cerveau et la pensée » (1980), op. cit., p. 24.
• 17 Ibid., p. 168.
• 18 Ibid., p. 169.
• 19 Ibid., p. 170.
• 20 Ibid.
• 21 Ibid.,p. 190.
• 22 Ibid.

8C’est précisément pour éviter une telle réduction de la pensée vivante au calcul informatique que Canguilhem s’attachait à distinguer, dans le même texte, ce qu’il appelle la « mémoire archive ou inventaire » et la « mémoire pour l’avenir » : la première, « celle qu’on se flatte d’imiter, de démultiplier, de soulager, et à la limite, de remplacer par le traitement automatique des banques de données », ne peut être confondue avec la seconde, la « mémoire du temps perdu et du temps retrouvé », les souvenirs qui « finiront par périr quand le désir d’un corps vivant ne les entretiendra plus »16. Quelques années auparavant, Simondon distinguait lui aussi deux types de « mémoires » qui ne peuvent pas être identifiées : la mémoire machinique, en effet, fonctionne en conservant des données très complexes et précises, en quantité parfois massive, alors que la mémoire humaine, au contraire, sélectionne dans ce qui est retenu, sur la base de son expérience passée. La machine, écrit Simondon, est « capable de conserver pendant un temps très long des documents monomorphiques très complexes, riches en détails, précis17 », mais cette conservation est sans structure ou sans ordre, tout est stocké ou retenu de manière équivalente18. Dans la mémoire humaine au contraire, « c’est la forme qui se conserve ; la conservation même n’est qu’un aspect restreint de la mémoire, qui est pouvoir de sélection des formes, de schématisation de l’expérience19 ». Cela est dû au fait que l’enregistrement, dans une machine, se fait sans mémoire préalable, alors que dans le cas de la mémoire humaine, le présent perçu est immédiatement rattaché à un ensemble de formes ou de schèmes résultant de l’expérience passée : « L’expérience acquise sert de code aux nouvelles acquisitions, pour les interpréter et les fixer20. » Bref, dans le cas de la machine, la mémoire n’est qu’enregistrement, stockage ou conservation de traces et de signaux : « Le fonctionnement d’une machine n’a pas de sens21. » Dans le cas du vivant humain, à l’inverse, la mémoire est sélection, interprétation et transformation du présent en fonction de l’expérience passée, et c’est seulement à travers ce processus de transformation du présent par le passé que de la signification peut émerger22.

• 23 Giuseppe Longo, Le cauchemar de Prométhée. Les sciences et leurs limites, op. cit., p. 92-99.
• 24 Ibid., p. 91.
• 25 Ibid.
• 26 Anne Alombert et Giuseppe Longo, « Il n’y a pas d’intelligence artificielle : parlons d’automates n (...)
• 27 Giuseppe Longo, Le cauchemar de Prométhée. Les sciences et leurs limites, op. cit., p. 101.

9Cette distinction entre deux types de « mémoires » semble se retrouver dans le propos du mathématicien Giuseppe Longo, qui insiste sur le rôle de l’oubli et des affects dans la mémoire animale (et donc humaine)23, et la distingue ainsi de ladite « mémoire » machinique. Selon Longo en effet, les dispositifs computationnels « retiennent » ce qu’il décrit comme des « saillances », c’est-à-dire des invariants constitués à partir de grandes quantités d’images ou de suites de mots présentant des traits similaires24 : le système extrait des motifs ou patterns à partir d’une quantité massive de données et modifie ses réponses en fonction des résultats obtenus, en renforçant les corrélations jugées pertinentes par l’observateur humain qui a fixé à la machine un objectif déterminé (par exemple, reconnaître les traits communs à plusieurs photos de chats, dans le cas des systèmes de reconnaissance d’images, ou inférer les suites de mots les plus probables à partir d’une suite donnée, dans les modèles de langage). Au contraire, la mémoire humaine retient les aspects singuliers qui touchent l’individu, qui le mettent en mouvement émotionnellement, et oublie tous les détails insignifiants (on dit souvent que l’on se souvient d’autant mieux d’un regard qu’on a oublié la couleur des yeux) : la mémoire retient ici des « prégnances », liées à l’histoire singulière de l’individu, à ses affects et au contexte vécu25. C’est la raison pour laquelle un enfant n’a pas besoin de voir un million d’images de sa mère pour reconnaître sa mère, qu’il n’a pas besoin de disposer de toutes les données de Wikipédia pour acquérir le langage, et qu’il ne peut apprendre que lorsque le contenu à retenir fait sens. Longo refuse ainsi de parler d’« apprentissage » pour désigner le fonctionnement des automates computationnels : il s’agit selon lui de « stockage numérique révisable26 » fondé sur la constitution d’invariants et impliquant la possibilité de modifier en retour ce qui est stocké en fonction d’un but déterminé, mais qui n’a rien à voir avec la capacité à « établir des hiérarchie entre ce qui compte et ce qui n’a pas d’importance27 », caractéristique de la mémoire vivante.

• 28 Anne Alombert et Giuseppe Longo, op. cit.
• 29 Sur les « bifurcations improbables » et la nouveauté de l’avenir, voir Bernard Stiegler (dir.), Bif (...)
• 30 Georges Canguilhem, op. cit., p. 22.
• 31 Ibid.
• 32 Ibid.

11Mais, comme l’écrit Longo, « l’imprédictible n’est pas nécessairement créatif : un lancement de dés est imprédictible, mais il n’invente rien28 » : dans le cas des IA génératives de textes ou d’images, il s’agit toujours d’une combinaison aléatoire d’éléments préalablement donnés à partir de calculs probabilistes, là où l’invention et la création impliquent précisément la génération d’improbable et d’incalculable, c’est-à-dire une transformation du passé qui n’aurait jamais pu être déduite à partir du « déjà donné », mais qui permet au contraire de le faire bifurquer dans une direction nouvelle29. C’est ce qu’avait bien remarqué Canguilhem : « Qu’il s’agisse de machines analogiques ou de machines logiques, une chose est le calcul ou le traitement des données selon des instructions, autre chose l’invention d’un théorème30 », écrivait-il dans son article. Il soulignait ainsi l’impossibilité de générer du nouveau sur la base des seules probabilités, et la nécessité, pour le nouveau, de « perturber » l’ancien pour pouvoir s’en distinguer : « Inventer, c’est créer de l’information, perturber des habitudes de pensée, l’état stationnaire d’un savoir31. » La production de nouveauté suppose la mémoire et les attentes d’un être vivant à qui quelque chose manque : « Pas d’invention sans conscience d’un vide logique, sans tension vers un possible, sans risque de se tromper. » C’est pourquoi « il n’est pas possible, en assimilant le cerveau à une machine électronique, de comprendre comment il est capable d’invention »32.

• 33 Yann Le Cun, Quand la machine apprend. La révolution des neurones artificiels et de l’apprentissage (...)
• 34 Ibid., p. 97.

12Bref, qu’il s’agisse de la mémoire ou de l’invention, de la rétention ou de la protention, l’activité cérébrale des vivants techniques et humains n’a rien de commun avec celle des systèmes électroniques, logiques et statistiques que nous appelons, bien maladroitement, « intelligences artificielles » ou « réseaux de neurones formels ». Selon Yann Le Cun lui-même, l’un des principaux concepteurs de ces machines, directeur scientifique de l’IA chez Meta (ex-Facebook) ayant reçu le prix Turing en 2018, lesdits « réseaux neuronaux » n’imitent pas plus le cerveau qu’une aile d’avion ne reproduit celle d’un oiseau33. Cette analogie perd tout son sens à l’époque des « réseaux de neurones multicouches », qui constituent des méthodes mathématiques génériques pouvant servir à la fois pour la reconnaissance des sons, des images, des objets ou du langage, alors que les parties du cortex associées à ces différentes activités ne sont pas les mêmes et ont des structures et des fonctionnements différents34.

• 35 Sur la défonctionnalisation et la refonctionnalisation des organes, voir Bernard Stiegler, De la (...)
• 36 Georges Canguilhem, La connaissance de la vie, Paris, Vrin, p. 151-152.
• 37 Jack Goody, « Les technologies de l’intellect », Pouvoirs et savoirs de l’écrit, Paris, La dispute, (...)
• 38 Maryanne Wolf, Proust et le calamar, Paris, Abeille et Castor, 2015.
• 39 Bernard Stiegler, « Pharmacologie de l’epistemè numérique », dans Organologie des savoirs et techno (...)
• 40 « Il faut au contraire distinguer de la mémoire vivante organique la mémoire vivante organologique (...)
• 41 Goody donne l’exemple de l’intériorisation des tables de multiplication pour montrer que « l’écrit (...)

13La structure biologique de l’organe cérébral n’a donc rien à voir avec un système entrée-sortie permettant le traitement d’un signal : le cerveau humain se caractérise au contraire par sa plasticité, c’est-à-dire, sa capacité à se dé-fonctionnaliser et à se re-fonctionnaliser35 en fonction des activités pratiquées, mais aussi en fonction des supports médiatiques qui sont utilisés. En 1952, Canguilhem soulignait déjà cette capacité du cerveau à se transformer pour compenser des manques potentiels : il citait l’exemple de l’aphasie chez l’enfant, pour lequel une hémiplégie droite « ne s’accompagne presque jamais d’aphasie, parce que d’autres régions du cerveau assurent la fonction du langage36 ». L’idée selon laquelle le milieu techno-symbolique lui-même affecterait les transformations du cerveau est plus récente, mais elle est tout aussi scientifiquement documentée : les travaux anthropologiques de Jack Goody sur les technologies intellectuelles montrent que la pratique du langage a engagé le développement de certaines zones du cerveau et que la technique de l’écriture « affecte les opérations cognitives et intellectuelles » au point de transformer « le modus operandi de l’intellect humain »37. Les travaux neuroscientifiques de Maryanne Wolf montrent quant à eux que la pratique de la lecture joue un rôle dans la synaptogenèse en renforçant certaines connexions neuronales, et que sa réduction progressive avec l’avènement des médias numériques implique des transformations au niveau des processus cérébraux38. Bernard Stiegler parle d’un « recodage organologique » pour désigner ces effets en retour des supports techniques sur les activités cérébrales et psychiques39. Il soutient que la mémoire humaine n’est pas seulement une mémoire organique (fondée sur l’activité de l’organe cérébral et de l’organisme vivant) mais une mémoire organologique, fondée sur les relations entre organe cérébral, organisme vivant et supports ou instruments techniques de toutes sortes40 : les activités cérébrales et psychiques résultent de l’intériorisation de traces extériorisées dans des supports matériels41, qui sont eux-mêmes pratiqués à travers différents apprentissages techniques et qui ne cessent de se transformer.

• 42 Bernard Stiegler, ibid., p. 21.
• 43 Ibid., p. 23.

14Selon Stiegler, si les activités de l’esprit prennent « sans doute racine dans le cerveau », elles ne peuvent donc s’y réduire, dans la mesure où elles passent toujours « par un appareil symbolique qui n’est pas seulement situé dans le cerveau, mais dans la société, c’est-à-dire dans les autres cerveaux avec lesquels ce cerveau est en relation (…) — et “entre ces cerveaux”, cela veut dire ici : dans ou sur les supports de mémoire artificiels42 ». En ce sens, l’intelligence est à la fois toujours déjà artificielle, dans la mesure où elle suppose la pratique de supports techno-symboliques, mais jamais seulement artificielle, dans la mesure où le double processus d’intériorisation et d’extériorisation en quoi elle consiste suppose la mise en relation de plusieurs individus vivants psychiques, par l’intermédiaire de supports médiatiques. Stiegler précise bien que le recodage organologique qui s’opère à travers ce circuit à la fois psychique, technique et collectif « peut être partiel et nuisible : il peut produire une désindividuation de l’individu psychique, en créant des automatismes qui court-circuitent une partie de l’appareil psychique43 ». D’où l’importance de s’interroger non pas sur l’intelligence des machines, mais sur les effets des systèmes techniques sur les activités de l’esprit, toujours à la fois individuelles et collectives.

• 44 Jack Goody, op. cit., p. 195 et 198.
• 45 Ibid., p. 198.

15Quels sont donc les enjeux des « automates computationnels interactifs » pour les capacités psychiques et cognitives et pour l’avenir de la culture collective ? De l’écriture alphabétique aux modèles de langage, en passant par l’imprimerie, la presse, les ordinateurs, le traitement de texte, les logiciels d’autocomplétion ou les moteurs de recherches, les mnémotechniques n’ont cessé d’évoluer, au point de devenir, depuis le xx^e siècle, des mnémotechnologies, avec l’avènement des industries culturelles audiovisuelles puis avec celui des industries computationnelles numériques. Si l’on considère, comme le propose Jack Goody, que la technique de l’écriture, et toutes les « machines d’écriture » qui lui ont succédé, ne constituent pas de « simples outils de notation et de manipulation du langage » mais ont « une influence intérieure » et « forment l’humanité »44, si l’on considère que les technologies de l’information et de la communication « change[nt] non seulement notre manière de communiquer mais la nature de ce que nous communiquons, que ce soit aux autres ou à nous-mêmes45 », alors il est nécessaire de se demander comment les industries symboliques actuelles affectent nos capacités d’écrire, de parler, de nous exprimer et de penser.

• 46 Platon, Phèdre, Paris, Flammarion, 2006 et le commentaire de Derrida dans Jacques Derrida, « La pha (...)

16Bien qu’elle soit rarement assumée comme telle, l’idée selon laquelle les dispositifs techniques ont un effet sur les facultés psychiques, mentales ou intellectuelles n’est pas nouvelle : elle était déjà au cœur des réflexions de Platon, au iv^e siècle avant notre ère. Ce n’est pas l’intelligence artificielle générative qui bouleverse alors la transmission des savoirs et l’organisation des sociétés : la technique disruptive est plutôt celle de l’écriture alphabétique, dont Platon souligne à la fois les apports et les dangers. Dans le Phèdre46, Socrate relate le mythe égyptien de l’invention de l’écriture, qu’il décrit alors comme un pharmakon, mot grec signifiant à la fois le remède et le poison : d’abord présentée comme un remède pour la mémoire, car elle permet de stocker et de conserver les connaissances accumulées en surpassant les défaillances des mémoires vivantes, l’écriture constitue aussi un poison pour la pensée, car en fixant les connaissances et en épargnant aux individus de se les remémorer, elle empêche leur mémoire de s’exercer et les savoirs d’évoluer. Bref, l’écriture, qui semblait innocente et bénéfique, a aussi de quoi inquiéter. Dans le contexte actuel, de telles inquiétudes pourraient s’accentuer : dans le cas des modèles de langages automatisés, ce n’est plus seulement la capacité de se souvenir qui cesse de s’exercer, c’est aussi la capacité d’écrire, c’est-à-dire de synthétiser et d’exprimer ses idées, ce qui suppose l’exercice de la mémoire, mais aussi celui de la réflexion et de l’imagination.

• 47 Jacques Derrida, De la grammatologie, Paris, Minuit, 1967.
• 48 Bernard Stiegler, De la misère symbolique (2004-2005), op. cit.
• 49 Paul Ricoeur, Soi-même comme un autre, Paris, Seuil, 1990.
• 50 Ibid., p. 201.
• 51 Ibid., p. 205.

17Écrire un texte, en effet, suppose de se remémorer les souvenirs de certaines expériences ou lectures, de sélectionner parmi les idées, de réfléchir au sens à produire et d’imaginer le destinataire (toujours absent) auquel le texte est adressé. En déléguant aux performances analytiques des automates algorithmiques le travail qui consiste à synthétiser un texte, nous risquons de cesser d’exercer ces facultés et de désapprendre à penser. En effet, sauf à croire que la pensée est un processus immatériel se déroulant dans une sphère purement idéelle, il faut admettre qu’il n’y a pas de pensée hors de son expression matérialisée dans des images ou des textes (graphiquement écrits, oralement parlés ou mentalement joués). Comme le montre Derrida dans sa déconstruction du logocentrisme47 et comme le rappelle Stiegler dans ses travaux sur la misère symbolique48, c’est en exprimant une signification (à soi-même comme aux autres ou à « soi-même comme un autre49 ») que nous la comprenons : le sens ne précède pas son expression. Au contraire, « la possibilité de sentir […] est aussi et d’emblée une possibilité de faire sentir50 » : la perception d’un sens n’est jamais une simple réception, mais « toujours déjà aussi une production », « je ne sens effectivement […] que ce que je suis capable de rendre sensible »51. Dès lors, en extériorisant l’activité d’expression, c’est la production de la signification elle-même, la capacité à faire sens ou à signifier, que nous déléguons à des systèmes de calculs formalisés, qui, quant à eux, n’expriment aucun sens à partir d’une quelconque expérience, mais qui calculent des moyennes à partir d’un ensemble de données.

• 52 André Leroi-Gourhan, Le geste et la parole, t. 1 et t. 2, Paris, Albin Michel, 1964-1965.
• 53 Bernard Stiegler, De la misère symbolique (2004-2005), op. cit., p. 194.
• 54 Voir la définition du terme sur le site de l’association Ars Indutrialis, en ligne : https://arsind (...)
• 55 Bernard Stiegler, De la misère symbolique (2004-2005), op. cit., p. 115.
• 56 Bernard Stiegler, États de chocs. Bêtise et savoirs au xxi^e siècle, Paris, Fayard, 2012, p. 169. Su (...)

18Cette extériorisation des fonctions expressives dans des machines à calculer s’inscrit dans un processus d’extériorisation technique millénaire, dont André Leroi-Gourhan a décrit certaines des étapes fondamentales52 : extériorisation du squelette dans les silex, extériorisation de la force musculaire dans les moteurs, extériorisation de l’imagination dans les technologies audiovisuelles, jusqu’à l’ « extériorisation machinique du système nerveux […] avec les premiers fichiers et les machines programmables53 ». Ces extériorisations successives ne sont possibles qu’à la condition de ce que Stiegler décrit comme un processus de « grammatisation54 », à travers lequel les fonctions vivantes et les expériences temporelles sont formalisées, discrétisées et spatialisées dans des supports inertes. Or, « la grammatisation modifie en général ce qu’elle formalise55 » : ce qui est grammatisé se voit donc transformé. La grammatisation opère la conversion d’un flux vivant en un dispositif technique : ce processus entraîne une perte de savoir, dans la mesure où le savoir extériorisé qui était précédemment pratiqué et transformé par les vivants est converti en une procédure automatisée implémentée dans une machine ou dans un appareil, que les individus vivants ne peuvent plus intérioriser. À l’époque de la révolution industrielle du machinisme, les savoir-faire sont extériorisés dans des mécanismes moteurs et automatiques, mais dans le contexte de la révolution informatique et numérique, toutes sortes de nouveaux savoirs (savoir conduire, savoir traduire, savoir s’orienter, etc.) peuvent être formalisés dans des suites d’opérations algorithmiques et implémentés dans des dispositifs électroniques. C’est cette « perte de savoir par une extériorisation de celui-ci dans machines et appareils » que Bernard Stiegler décrit comme un processus de « prolétarisation » désormais généralisé56, dans la mesure où elle ne se limite plus aux savoir-faire des ouvriers.

• 57 Ibid., p. 225.
• 58 Karl Marx, Le Manifeste du parti communiste (1848), Paris, Editions sociales, 1986, p. 64-65.
• 59 Karl Marx, Le Capital, Livre 1, section 4, chap. XV, p. 465.
• 60 Bernard Stiegler, De la misère symbolique (2004-2005), op. cit., p. 193.

19La « mise en extériorité du savoir par rapport au sachant57 » sous forme d’automatismes était au cœur des réflexions de Marx dans le contexte du « développement de la machinerie et [de] la division du travail » industrielle. Marx soulignait alors la perte d’autonomie et d’attrait du travail de l’ouvrier : contrairement à l’artisan qui s’investit dans son activité à partir de ses savoirs singuliers, qui se donne tout entier à son travail avec habileté, l’ouvrier « devient un simple accessoire de la machine, dont on n’exige que l’opération la plus simple, la plus monotone, la plus vite apprise58 ». Cette extériorisation des savoir-faire de l’ouvrier dans les machines automatiques des usines industrielles, qui conduit à la réduction de ses capacités pratiques à une « besogne » « purement mécanique » consistant à « surveiller la machine et [à] en corriger les erreurs de sa main »59, semble à bien des égards comparable à ce qui se produit aujourd’hui, à travers l’extériorisation des savoir-écrire du citoyen dans les systèmes algorithmiques des entreprises de la Silicon Valley, qui conduit à la réduction de ses capacités intellectuelles à la « besogne » consistant à corriger les erreurs trouvées dans les textes générés (pour autant qu’il en ait encore les capacités). Le savoir-écrire a été extériorisé dans la machine numérique sous forme d’automatismes algorithmiques, de même que les savoir-faire avaient été extériorisés dans les machines-outils sous forme d’automatismes mécaniques : « il ne s’agit plus de savoir-faire au sens de ce qui constitue les métiers60 », mais de savoir écrire, qui constituent les capacités de signifier et de penser. De même que l’artisan privé de ses savoir-faire s’était vu prolétarisé, en perdant ses savoir-écrire, le citoyen risque de devenir un prolétaire de la pensée.

• 61 Yann Moulier-Boutang, Le capitalisme cognitif : la nouvelle grande transformation, éd. Amsterdam, 2 (...)
• 62 Sur l’« intégration économique fonctionnelle » des individus psychiques au système industriel, qui (...)

20De même qu’à l’époque du capitalisme productif, le temps passé par l’ouvrier à faire fonctionner et à corriger les machines génératives de marchandises était exploité par le capitaliste détenteur des moyens de production et de l’usine, de même, à l’époque du « capitalisme cognitif61 », le temps passé par les citoyens à faire fonctionner et à corriger les « intelligences artificielles » génératives de textes est désormais exploité par les patrons des entreprises numériques, détenteur des modèles de langage algorithmiques. Leur « temps libre » se voit donc fonctionnellement intégré au marché. En effet, le simple fait d’utiliser un outil comme ChatGPT permet d’améliorer les performances de ses algorithmes : l’utilisation du dispositif par des millions d’usagers constitue donc aussi un travail gratuit fourni pour l’entreprise OpenAI. Lorsque lesdits « usagers » « utilisent » ChatGPT, c’est en fait la technologie elle-même qui est en train de les utiliser, ou plutôt, de les intégrer fonctionnellement à un système techno-économique extractiviste62, qui se fonde par ailleurs sur l’exploitation des ressources textuelles disponibles, sans prévenir ni rémunérer les producteurs de ces ressources (qu’il s’agisse des contributeurs de Wikipédia, des auteurs d’œuvres, d’articles ou de sites, ou des simples utilisateurs d’Internet postant des messages sur les réseaux sociaux).

• 63 Martin Heidegger, « La question de la technique » (1949) dans Essais et conférences (1954), Paris, (...)
• 64 Bernard Stiegler, De la misère symbolique (2004-2005), op. cit., p. 95.

21La majeure partie des symboles numériques (textuels ou imagés), qui constitue le fonds rétentionnel ou la mémoire collective contemporaine, devient ainsi un « stock » ou un « fonds » disponible63 exploité par quelques acteurs hégémoniques (tels OpenAI et Microsoft, Google, Meta, etc.), principalement mus par la volonté d’accumuler du capital, d’attirer des investissements et d’augmenter leur valeur boursière, mais relativement peu préoccupés d’assurer le renouvellement des ressources symboliques qu’ils exploitent allègrement. L’ensemble de la culture numériquement sédimentée se voit ainsi soumis aux critères de sélection implémentés dans les algorithmes, eux-mêmes configurés par une poignée d’entreprises privées, selon des règles rarement transparentes ni collectivement discutées. Dès lors, « le contrôle de la critériologie qui commande les dispositifs rétentionnels passe totalement du côté de l’investissement capitalistique64 » : les fonctionnements des modèles de langage reflètent bien plus les représentations du monde de ceux qui les conçoivent et les possèdent, c’est-à-dire des ingénieurs et entrepreneurs de la Silicon Valley, que celles de ceux qui les utilisent, et par-là même, les servent.

• 65 Pierre Steiner, « Des couteaux et des machines – à propos de l’IA », AOC, mars 2023, en ligne : htt (...)
• 66 Emily Bender et al., « On the Dangers of Stochastic Parrots : Can Language Models Be Too Big ? », F (...)
• 67 Bernard Stiegler, Qu’appelle-t-on panser ? t. 1, L’immense régression, Paris, Les liens qui libèren (...)

22Outre que, « les préjugés et biais des concepteurs se retrouvent inscrits dans les architectures, les programmes et les configurations techniques65 », la diversité linguistique elle-même semble menacée, dans la mesure où les gros modèles de langages dominants, qui nécessitent une concentration des capitaux et des quantités massives de données pour être entraînés, le sont bien souvent par des entreprises américaines qui ne prennent pas la peine de financer le « nettoyage » des données : les langues anglo-saxonnes, largement majoritaires sur le web, sont donc sur-représentées66. Par ailleurs, les calculs probabilistes qui sont au fondement de ces dispositifs ont pour effet de renforcer systémiquement les moyennes en éliminant les expressions singulières, originales et improbables qui ne sont pas prises en compte par les statistiques : « le primat structurel du calcul, à l’exclusion de toute incalculabilité » conduit à la « liquidation systémique de toutes singularités »67 idiomatiques.

• 68 Bernard Stiegler, De la misère symbolique (2004-2005), op. cit., p. 95.
• 69 Sur le caractère entropique du système technique actuel, voir Bernard Stiegler, La société automati (...)
• 70 Giuseppe Longo, « Complexité, science et démocratie », MEGAchip, Democrazia nella comunicazione, 20 (...)
• 71 Ibid.

23Cette « prise de contrôle du symbolique par la technologie industrielle68 » se révèle ainsi entropique69, dans la mesure où seules les expressions singulières et minoritaires permettent d’« explorer de nouvelles voies », de « développer une pensée nouvelle », d’« enrichir le débat », et, par ce fait, de renouveler le milieu symbolique70. Qu’il s’agisse de la nouveauté artistique, de la nouveauté linguistique, de la nouveauté théorique ou de la nouveauté scientifique, le nouveau « va à l’encontre du sens commun » et se construit bien souvent contre les opinions majoritaires et les pensées dominantes71 : en éliminant systémiquement la possibilité de la nouveauté, lesdites « intelligences artificielles génératives » constituent en fait des menaces pour la diversité linguistique et culturelle et pour le renouvellement de la culture partagée.

• 72 Sur la question de la génération automatique de fausses informations, voir, entre autres : Fabian S (...)
• 73 Bernard Stiegler, « Démesure, promesses, compromis », Mediapart, septembre 2020, en ligne : https:/ (...)

25Dès lors, contrairement aux articles contributivement élaborés sur Wikipédia, les textes automatiquement générés par ChatGPT ne constituent pas des savoirs collectifs, mais des suites de mots statistiquement glanées sur Internet, puisque les activités de recherche, d’évaluation et de certification par les pairs ont été systémiquement évacués du processus de production. Étant donné qu’ils ne sont ni évalués, ni jugés, ni certifiés par une quelconque communauté, les textes automatiquement générés peuvent véhiculer toutes sortes de fausses informations avec une apparence de sérieux et d’objectivité72 : les fausses informations, diffusées dans un langage standardisé et mélangées aux vraies, deviennent d’autant plus difficiles à discerner. Il en va de même pour la génération automatique d’images, qui permet de synthétiser des images très vraisemblables de faits ne s’étant jamais produits, en s’appuyant sur les images précédemment existantes. Que se passera-t-il quand ces textes et ces images algorithmiques (qui peuvent être générés en quantité massive et à une vitesse inouïe) seront devenus dominants sur les réseaux numériques, tout en étant indiscernables des textes et des images générés de manière non automatique ? Sera-t-il encore possible de faire crédit aux textes et aux images circulant sur la toile ? À force de générer des textes et des images auxquels on ne peut pas croire et qui rendent impossible de croire en aucun texte et en aucune image, n’est-ce pas la possibilité même de lire et de recevoir (des textes comme des images) qui se verra menacée, par l’exploitation industrielle des quantités massives de données ? Si nous ne pouvons plus croire ce que nous voyons ou ce que nous lisons, l’espace de publication numérique ne risque-t-il pas de devenir le lieu d’une défiance généralisée, alors même que « toute société suppose un crédit que s’accorde le groupe social » qui « fournit le gage de confiance mutuelle primordiale sans lequel aucun échange ne pourrait s’instaurer durablement, ni entre ses membres, ni entre ses générations73 » ?

• 74 Bernard Stiegler (dir.), Bifurquer. Il n’y a pas d’alternative, op. cit., p. 112.
• 75 Bernard Stiegler, La société automatique, t. 1, L’avenir du travail, op. cit., §70.
• 76 Bernard Stiegler (dir.), Bifurquer. Il n’y a pas d’alternative, op. cit., p. 253.

26Pour éviter de tels écueils, il semble aujourd’hui nécessaire de dépasser les paradigmes cognitivo-computationnalistes qui sont au fondement des innovations contemporaines : les assimilations entre cerveau et ordinateur ou esprit et calcul, qui n’ont rien de scientifique, se réalisent désormais performativement à travers le déploiement de dispositifs statistiques et probabilistes court-circuitant les activités de mémoire et de pensée, en excluant des architectures et fonctionnalités techniques et de la production symbolique toute activité d’interprétation, de réflexion, de délibération ou de certification. Le vocable d’« intelligence artificielle générative » masque une exploitation industrielle de la mémoire collective numérique par des automates computationnels interactifs qui laissent leurs usagers dans une position passive de consommateurs de contenus insignifiants et standardisés, ne pouvant faire l’objet d’aucune confiance ni d’aucun crédit. À l’inverse, ces automates computationnels peuvent et pourraient être mis au service de l’intelligence collective, à condition d’envisager « des infrastructures […] destinées à faciliter les processus d’interprétation, de délibération et de prise de décision collective74 » : c’est ce que Stiegler appelait de ses vœux sous le nom de « web herméneutique75 », désignant ainsi la nécessité de concevoir, de développer et d’expérimenter « des modèles d’algorithmes qui ne reposent pas sur les seuls calculs statistiques, mais qui prennent en compte les effets d’interprétation et de signification » ainsi que des « dispositifs alternatifs fondés sur les contributions de sujets réflexifs, ménageant dans les structures de données des champs interprétatifs, délibératifs et incalculables »76.