1CJ : Nous vivons depuis quelques années un tournant majeur dans notre rapport aux images. Avec le développement des intelligences artificielles, nous en voyons apparaître qui prennent l’apparence d’images indicielles – de photographies – mais qui représentent des choses inexistantes car elles sont fabriquées à partir de millions d’images, dont elles produisent une sorte de synthèse plus ou moins aléatoire, guidée par des phrases de commande en langage « naturel » (non informatique) qu’on appelle des prompts. Ces images ne renvoient pas à une chose, à un événement, mais sont le résultat d’un calcul et empruntent leurs formes aux images-sources récoltées par millions. Ce sont des images d’images. Ainsi se trouve remis en question le « pacte indiciaire » de la photographie qui nous faisait croire à l’existence d’un référent de la représentation. Certes, cette remise en question de la relation mimétique n’est pas nouvelle. Dès le XIX^e siècle, Oscar Rejlander produisait des compositions allégoriques à partir d’assemblages de négatifs photographiques, ce que son collègue Henry Peach Robinson appela plus tard combination printing. Mais elle prend une dimension nouvelle, par sa massification et par un phénomène qui est lié à la méthode de production de ces images : la disparition de la référence indiciaire même la plus élémentaire. Dans le photomontage historique, on reconnaît tel personnage, tel objet, bref un référent, aussi fragmentaire soit-il. Or avec la production d’images par des algorithmes, la machine intervient au niveau du pixel, de sorte qu’elle ne compose pas à partir de fragments, mais à partir d’un calcul de probabilité. Rien dans l’image ne fait référence à quoi que ce soit de réel.

2AS : Je suis tout à fait d’accord sur le fait que nous vivons depuis quelques années un tournant majeur dans notre rapport aux images. Ce tournant est causé en grande partie par le développement de plus en plus rapide des technologies de deep learning (ou d’« apprentissage profond ») ayant recours à des réseaux de neurones artificiels et profitant de la possibilité d’accéder à de vastes bases de données d’images composées à partir des milliards d’images numériques accessibles en ligne. Ce tournant majeur dans la culture visuelle contemporaine – dont la complexité et les enjeux sont comparables à ce qui s’est passé au début des années 1990, avec la diffusion des technologies numériques appliquées aux images – se manifeste aujourd’hui, il me semble, à travers trois phénomènes étroitement liés les uns aux autres.

3Tout d’abord, l’utilisation de processus de deep learning pour activer des systèmes de machine vision (« vision artificielle » ou « vision par ordinateur »). Ceux-ci peuvent être appliqués à n’importe quelle image numérique accessible en ligne : des images qui sont machine-readable (c’est-à-dire susceptibles d’être analysées de manière automatique afin d’en extraire des informations et des données) et qui le sont même quand elles ne sont pas visibles par des yeux humains.

4Ensuite, l’utilisation de processus de deep learning pour transformer des images existantes, à travers plusieurs types d’opérations, ou pour générer des images entièrement nouvelles, ayant tantôt un aspect parfaitement mimétique et photoréaliste, tantôt un aspect hybride où elles restent reconnaissables dans une certaine mesure, tantôt encore un aspect entièrement abstrait.

5Finalement, l’utilisation de processus de deep learning pour établir de nouvelles relations entre mots et images : d’un côté, en produisant de manière automatique des images à partir de mots, phrases ou textes (comme cela se passe avec des logiciels et applications comme DALL‑E ou Craiyon) ; de l’autre, en générant, toujours de manière automatique, des mots, phrases ou textes qui « décrivent » ce qui est représenté dans une image, avec une forme de légendage automatisé ou neural caption qui peut être presque considérée comme une nouvelle forme d’ekphrasis. On peut voir ces deux opérations à l’œuvre, avec une forme d’enchaînement, dans un projet comme Contrefaits (2022) de Grégory Chatonsky, dans lequel on part d’une image provenant de l’histoire de l’art, comme par exemple Les Demoiselles d’Avignon (1906-1907) de Picasso ; on demande à un logiciel de la décrire, avec une neural caption, et on utilise ensuite le texte généré automatiquement comme prompt pour produire une nouvelle image.

6Les images hautement photoréalistes mais dépourvues de référents profilmiques réels – comme par exemple les portraits de la série This Person Does Not Exist (réalisée en 2019 avec StyleGAN2, un Generative Adversarial Network introduit par des chercheurs de Nvidia en 2018) – font donc partie d’un vaste spectre de phénomènes dans lesquels se manifeste aujourd’hui l’impact de l’intelligence artificielle (plus spécifiquement : des techniques de deep learning) sur la culture visuelle contemporaine.

7CJ : La perte du référent, c’est ce que tu as appelé « disréalisme », Grégory, n’est‑ce pas ?

8GC : L’idée d’un référent perdu n’est pas nouvelle. Elle semble n’avoir jamais existé qu’à travers une négativité, à savoir la biffure de la chose supposée représentée ou son retrait. Aussi, on a tendance à penser que ce que j’ai nommé ailleurs les « images d’images » nous font perdre ce que les photographies nous auraient offert depuis la révolution industrielle : l’indice d’une chose en soi. Or, il me semble préférable de suspendre nos croyances photo-ontologiques afin d’y voir l’émergence d’une nouvelle forme de réalisme ou de mimétisme, et d’engager un travail de reconstruction historique qui met cette évolution en perspective : la traduction de toutes choses en énergie (energeia), c’est-à-dire en kilojoule, fournissant un travail thermodynamique et produisant de la valeur monétaire pour être converti en code binaire où le courant passe (1) ou ne passe pas (0). Chaque chose étant codée selon la même norme, permettant la totalisation du calcul.

9Il s’agirait ainsi de reconstituer ce qu’on pourrait nommer la logistique des images qui les fait circuler de plus en plus autour de la Terre. Il faudrait pour cela tenir compte de leur reproductibilité technique – à savoir leur support matériel (extraction) –, de la massification de leur usage de capture et penser cette logistique jusqu’à l’hypermnésie du Web. Tous ces aspects ont transformé jusqu’à l’historicité même des images. Ce n’est pas une histoire parmi d’autres, car cette nouvelle modalité d’existence des images a modifié les conditions de possibilité mêmes de l’histoire. Comment les historiens futurs, à supposer qu’il y en ait, pourront-ils narrer notre époque où la discrimination entre le mémorable et l’oubliable, l’œuvre et le commun s’est effondrée ? Que feront-ils de tous ces documents dont la quantité remet en cause la notion même d’archive ? Quelle odeur historique pourront-ils bien humer ? Il y a dans les données massives du réseau quelque chose qui n’est pas accessible à un système nerveux humain, une quantité qui nous exproprie de notre propre mémoire. Nous avons déposé sur le Web des traces existentielles en un si grand nombre que le temps exigé pour les consulter engorgerait le présent. À qui ou à quoi sont-elles destinées ?

10Il faut peut-être ouvrir la possibilité d’un changement radical du « pacte indiciaire », car ces images générées par le traitement statistique de millions d’images sont bien reconnaissables, même si elles n’ont jamais existé. Voilà le paradoxe, la reconnaissance mimétique, la représentation n’est pas dépendante d’un lien univoque avec ce qui est. Elle est aussi fonction de ce qui est possible, c’est-à-dire de ce qui pourrait exister pour le destinataire. L’induction statistique n’est pas un collage, qui est d’une certaine façon la forme visuelle de la citation textuelle, ce n’est pas un fragment sélectionné puis retravaillé pour constituer un objet de culture, c’est une synthèse inductive : partant par exemple de milliers d’images d’oiseaux et calculant la fréquence des pixels, le logiciel peut produire des assemblages de pixels (un bruit plus ou moins organisé, plus ou moins abstrait) que nous interprétons comme des oiseaux sans qu’il y ait dans le logiciel la moindre idéation du concept d’oiseau. Le réseau de neurones est simplement capable de discriminer entre les résultats, de choisir le possible ou le vraisemblable et de limiter la marge d’erreur. Les images générées pourront-elles être réinjectées dans le stock d’apprentissage ? Alors, l’extension prendrait le pas sur la définition. Fin des Formes Idéales, donc, et du mythe de la réflexivité au profit de la récursivité.

12CJ : Cet état de fait est-il pour autant radicalement nouveau ?

15Comme Grégory le souligne justement dans sa réponse, avec ces images, nous sortons d’une logique fondée sur l’agencement de fragments (photocollages et photomontages) et sur la superposition de couches (surimpressions) pour accéder à une logique fondée sur la réduction de toute image à une configuration de pixels disposés à travers une grille orthogonale, et sur la possibilité de reproduire cette configuration (ou une configuration semblable) à travers une forme d’induction statistique. Comme dans le cas de toute image numérique, nous sommes donc pleinement situés dans la ligne généalogique des images matricielles, organisées en forme de grille de points (de tissu, d’encre, de lumière), mais à cette organisation réticulaire et cartésienne s’ajoute une autre couche, qui est celle du calcul statistique alimenté par l’intelligence artificielle.

16CJ : Il y a ensuite la question du « réalisme » des images photoréalistes générées par des technologies de deep learning. Comment le qualifier ?

17AS : La notion de « disréalisme » proposée par Grégory me semble tout à fait efficace, parce qu’elle garde l’idée qu’il y a là une nouvelle forme de « réalisme », tout en soulignant, avec le préfixe « dis- », sa différence profonde par rapport au « réalisme » auquel on a historiquement associé la photographie argentique (considérée en tant que trace ou empreinte sur une surface photosensible) et auquel on continue aussi à associer une vaste quantité de photographies ou de stills vidéos numériques, malgré l’abandon du paradigme de la trace et de l’empreinte.

18À cette notion de « disréalisme », j’aimerais quand même ajouter la tentative de mieux comprendre celles qui à mon avis sont de nouvelles formes d’« indicialité » ou de « référentialité » spécifiques des images photoréalistes produites par le deep learning. À bien voir, en effet, ces images ne sont pas complètement dépourvues de référent. Au contraire, elles semblent être caractérisées par la présence de plusieurs « couches d’indicialité » ou de « référentialité ». Elles sont générées par une forme d’induction statistique automatisée par le deep learning, mais cette induction se base sur l’analyse préalable de vastes bases de données d’images, et ces images, prises dans leur ensemble, sont un premier référent.

19Ensuite, dans la grande majorité de ces images qui font partie des bases de données, nous voyons représentées des entités (objets, corps, visages, gestes, expressions, lieux, etc.) qui à un moment ou un autre ont été captées par une caméra : il s’agit d’entités « profilmiques », qui constituent un deuxième niveau de référentialité. Ensuite encore, il y a tous les mots et toutes les phrases qui ont été utilisés pour « indexer » ou « étiqueter » ces images dans les bases de données (dans une base de données souvent utilisée comme ImageNet, par exemple, il s’agit de 14 millions d’images organisées en 21 000 catégories et sous-catégories basées sur la structure sémantique de Wordnet, une base de données de classifications de mots développée à Princeton dans les années 1980) : l’ensemble de ces mots et de ces phrases, de ces légendes (captions, tags) constitue encore un autre niveau de référentialité.

21CJ : Comme vous venez tous les deux de le dire, toutes les technologies automatisées dont nous parlons ici travaillent à partir de deep learning, autrement dit, elles dépendent de calculs de probabilités et de statistiques établies à partir de gigantesques bases de données comme ImageNet. Elles ne font donc que rarement appel à de la modélisation, telle qu’on peut la pratiquer en architecture ou dans la production d’effets spéciaux au cinéma. Ce qui nous amène à penser la production d’images composites sous l’angle d’une forme algébrique plutôt que géométrique, alors même que l’histoire de l’art du XX^e siècle avait valorisé une modernité géométrique à travers l’artiste-ingénieur, notamment dans le constructivisme des années 1920. L’intelligence artificielle nous projette dans le monde de la probabilité, de l’algèbre, de la statistique, n’est‑ce pas ?

22GC : En effet, il existe plusieurs catégories d’images générées. La première, qui a été populaire pendant des années, c’est l’image de synthèse largement utilisée pour les FX, les effets spéciaux. Ce sont des modélisations scientifiques. On incorpore dans des logiciels les connaissances hypothético-déductives du monde physique que nous avons : gravité, résistance, turbulences, etc. Ce sont des images laplaciennes qui supposent que si nous connaissions l’ensemble des lois scientifiques qui régissent l’univers, nous pourrions connaître l’état de cet univers dans l’avenir et, d’un point de vue visuel, mimer parfaitement la réalité (ce fut le fantasme de la réalité virtuelle dans les années 1980-1990). C’est le désir d’une fusion entre la connaissance (scientifique) et les conditions d’expérience.

24CJ : Comment sont composées ces images ?

29AS : Le terme Eigenface indique une série de technologies de vision par ordinateur qui, à partir du début des années 1990, a permis le développement du champ de la reconnaissance faciale. Connue aussi par le terme de Principal Component Analysis (PCA), la méthode des Eigenfaces (terme provenant de « eigen », qui veut dire « propre » ou « spécifique » en allemand, et « face »), permet de réduire chaque visage à un nombre fini de caractéristiques spécifiques, en réduisant donc aussi la quantité de données qu’on doit traiter pour détecter et reconnaître un visage.

30L’idée d’établir une comparaison entre les composite portraits de Galton et les Eigenfaces m’est venue en regardant la manière dont les Eigenfaces sont visualisés. Comme dans le cas des composite portraits, ce que nous voyons, ce sont des visages flous, à peine reconnaissables. Et pourtant, composite portraits et Eigenfaces poursuivent des objectifs presque opposés. Dans le cas des composite portraits, le procédé technique de la surimpression est utilisé pour superposer plusieurs portraits photographiques d’individus appartenant à ce que Galton considérait comme une même classe ou une même partie de la société, afin d’individuer un visage « moyen ». Dans ce cas, le flou généré par la surimpression de plusieurs négatifs pouvait être considéré comme une analogie visuelle du calcul statistique des moyennes. Dans le cas des Eigenfaces, au contraire, le visage flou que nous voyons contient seulement les traits qui sont spécifiques à un seul visage, en somme uniques. Le flou, ici, n’est pas le résultat de la disparition de ce qui est spécifique aux différents visages, comme dans le cas des composite portraits de Galton, mais plutôt de la disparition de ce qui est commun à différents visages. Ce qui néanmoins relie les deux phénomènes – composite portraits et Eigenface – est l’application d’une logique statistique à l’analyse du visage, avec une finalité d’identification : identification d’un « type » social, dans le cas de Galton ; identification d’un individu, dans le cas des Eigenfaces.

31CJ : Antonio, depuis quelque temps tu travailles sur les enjeux de la haute et de la basse définition des images, une question qui se pose aussi dans le cas de la technique du upscaling, autrement dit la réintroduction d’informations dans les « images pauvres », selon l’expression d’Hito Steyerl, c’est-à-dire de basse définition ou de mauvaise qualité. Il me semble que ça touche très précisément notre question sur les images composites à l’ère des intelligences artificielles.

32AS : Mon intérêt pour le phénomène du upscaling – l’augmentation du degré de définition d’une image fixe ou en mouvement (et éventuellement de son frame rate, dans le cas des images en mouvement) – s’insère en effet dans la lignée de mes recherches sur les enjeux de la haute et de la basse définition des images. Il est aussi lié à ma tentative de dresser une liste des opérations d’images qui se manifestent dans les trois grands champs que j’ai mentionnés dans ma première réponse : les systèmes de machine vision appliqués aux milliards de machine-readable images, les images transformées ou générées par des systèmes de deep learning, les nouvelles formes d’automatisation de la mise en relation de textes et d’images.

34Or, dans le cas du upscaling, nous faisons face à des technologies encore une fois fondées sur le deep learning et sur l’accès à de vastes bases de données d’images qui permettent d’augmenter le degré de définition d’une image ainsi que le frame rate (nombre d’images par seconde, qu’on pourrait considérer comme une forme de définition « temporelle »), avec, pour conséquence, l’altération des marques qui caractérisent une image en tant que document historique.

36Qu’est-ce qui se passe quand une simple recherche sur Google ou YouTube du film Lumière nous fait tomber tout d’abord sur la version soumise au upscaling, et seulement après sur une version numérique du format argentique original ? Et si cette opération du upscaling des documents visuels historiques devait continuer à se diffuser, de quelle manière transformerait-elle notre relation avec l’histoire, avec les traces visuelles du passé ?

38GC : Nous nous sommes immédiatement appelés et avons partagés notre émotion avec Antonio, la première fois que nous avons vu cette séquence de La Ciotat alors que certains de nos camarades dénonçaient une « trahison ». Car si elle est upscalée, c’est au sens d’une complétion : grâce à un dataset d’images prises entre 1895 et aujourd’hui, le logiciel propose de compléter les images, de les « réparer », d’en créer des versions intermédiaires. Cette complétion inductive est différente de la colorisation à la main, de la même manière que sont différentes la synthèse inductive et la citation ou le découpage visuel. En effet, ici c’est la mémoire statistique des images nous séparant de l’original qui permet de la compléter et d’halluciner des détails dans le bruit de l’image. C’est donc un profond changement du statut même de l’archive : le photoréalisme est alors conquis par une logique qui le dépasse. L’indice de ce qui a été à un moment précis devient la traînée d’un temps plus long au cours duquel le dataset a été constitué. Ce sont toutes les images passées qui réparent ces images comme si elles étaient solidaires les unes des autres, comme si l’agentivité entre elles ouvrait la possibilité d’une autre histoire. On peut alors créer des versions contrefactuelles de documents existants, les étendre, les compléter, les réparer. Cette déconstruction de l’archive est une hantologie : lorsque nous regardons l’entrée en gare de La Ciotat, le grain de l’image n’appartient plus à la fin du XIX^e siècle, mais au Portapak Sony de la fin des années 1960. L’espace latent hante à présent toutes les images.

39CJ : Nous savons qu’à ce jour les algorithmes ne définissent pas les formes qu’ils produisent. Grégory l’a bien expliqué. À aucun moment ces calculs de probabilité ne tiennent compte des formes qui émergent, ne les reconnaissent comme formes émergentes, car ils n’opèrent que par des calculs de probabilité statistiques appliqués pixel par pixel. Il en va de même des sujets des images. Si j’ai bien compris le fonctionnement de DALL‑E, l’algorithme ne connaît les sujets que parce que les images sont indexées et non par reconnaissance visuelle. Il n’analyse pas davantage la syntaxe des phrases qu’on leur donne en aliment, si bien qu’ils n’ont aucune intelligence de la composition des images. Or, nous reconnaissons in fine des formes que nous arrivons à nommer : un visage, une montagne, un bâtiment sur tel ou tel fond. Il y a quelque chose de stupéfiant dans cette rencontre entre le pur calcul de probabilité sans intention formelle et la reconnaissance par le spectateur de formes identifiables.

40GC : Il me semble que l’automatisation de la compositionnalité a en effet des résultats étonnants qui ne devraient logiquement pas avoir lieu sans idéation. C’est pourquoi il est nécessaire de décorréler les causes et les effets technologiques : des causes réductionnistes peuvent produire des effets complexes dans la mesure où ces effets sont hétéronomes en tant qu’ils rencontrent des agents humains dans un milieu associé. Mais ces résultats mettent aussi en doute un certain mythe de la réflexivité humaine : si des processus aussi simples peuvent produire un monde de sens, sommes-nous bien sûr que l’idéation fonctionne comme nous le croyons ? C’est en particulier la cohérence géométrique, lumineuse et stylistique qui est étonnante, puisqu’elle n’a pas été modélisée mais paramétrée. Il s’agit de comprendre qu’à partir d’un grand nombre d’images, on parvient à faire démêler tous ces paramètres et qu’on associe dans un prompt une description des étants de l’image souhaitée et une description technique des objectifs utilisés, des appareils, des pellicules, des styles, etc., parce que celle-ci est présente automatiquement dans la plupart des métadonnées des images. Il y a ainsi dans ces images quelque chose de kitsch. Lorsque nous écrivons un prompt, nous projetons une image qui n’existe pas encore et qui pourrait être. Ce pouvoir-être de l’image est la corrélation entre l’espace latent de l’imagination artificielle et l’espace latent culturel d’interprétation, corrélation qui prend la forme de l’adaptation de notre manière d’écrire aux capacités d’un logiciel.

41L’ensemble des paramètres, leur traversée et leur pliage permettent de produire des images réalistes parce qu’elles sont nimbées de l’espace latent qui porte un air de famille généralisé. Ils permettent aussi de poursuivre une image au-delà de son cadre en mimant son style, sa géométrie, sa texture, etc. Ainsi les documents d’archives se transforment en possibilité d’autres images, la production ne s’arrête pas à la « prise » qui n’en est qu’une des étapes : nous poursuivons les images. Après l’accumulation hypermnésique du Web, leur numérisation et leur catégorisation en bases de données, leur mise en statistique, les images semblent intensifier une accélération qui se retourne sur nous-mêmes comme un gant pour nous prendre de vitesse.

42CJ : Vision vertigineuse et borgésienne…