Navigation – Plan du site

AccueilNuméros9ChroniquesResponsabilité

Chroniques

Responsabilité

Dispositif de diagnostic médical sans supervision d’un médecin. Explicabilité et responsabilité
Laurène Mazeau
p. 167-178

Texte intégral

  • 1 Comme l’illustre notamment la plateforme d’intelligence artificielle AiCure et sa technologie de vé (...)
  • 2 V. L. Mazeau, « Intelligence artificielle et responsabilité civile : le cas des logiciels d’aide à (...)
  • 3 V. FDA permits marketing of artificial intelligence-based device to detect certain diabetes-related (...)
  • 4 V. R. Rajalakshmi, R. Subashini, RM. Anjana, V. Mohan, “Automated diabetic retinopathy detection in (...)

1Propos introductifs. La plupart des processus d’intelligence artificielle sont élaborés soit pour aider l’utilisateur à faire des choix, soit pour prendre des décisions. Les domaines d’application des processus d’intelligence artificielle sont extrêmement larges, comme en témoigne la médecine, qui offre des perspectives prospères à l’essor de ces nouvelles technologies. Les applications de l’intelligence artificielle en médecine sont de plus en plus nombreuses et de nature variée : amélioration de l’observance des traitements et du suivi thérapeutique1, recherche fondamentale, aide à la prescription ou à la rédaction de comptes rendus médicaux, aide au diagnostic2, mais elles peuvent aussi concerner la prévention de pathologies. En ce sens, en Amérique du Nord, le recours aux systèmes de diagnostic médical s’est accéléré au cours de ces dernières années sous l’effet de mesures prises par l’État fédéral et par les assureurs de santé en faveur de l’utilisation de ces technologies. Parmi les enjeux majeurs de santé publique, on recense notamment la rétinopathie diabétique. Cette pathologie est une grave complication du diabète qui touche 50 % des patients diabétiques de type 2, et l’une des principales causes de cécité avant 65 ans. Si des traitements efficaces existent (notamment au laser) pour freiner l’évolution de la maladie et empêcher la cécité, le meilleur traitement reste la prévention. C’est la raison pour laquelle, en avril 2018, la Food and Drug Administration (l’agence américaine des produits alimentaires et médicamenteux) a autorisé la commercialisation d’un système de diagnostic autonome basé sur des processus d’intelligence artificielle afin de procéder à la lecture des fonds d’œil pour le dépistage de la rétinopathie diabétique3. Le système « IDx-DR »4, développé par la société Google, est entièrement autonome. Il est capable de prendre des décisions médicales par lui-même, et donc dispensé de relecture par un humain dans son utilisation. En tant que système autonome basé sur des processus d’intelligence artificielle, l’IDx-DR effectue une évaluation sans qu’il soit nécessaire que le clinicien interprète l’image ou les résultats, ce qui permet aux prestataires de soins de santé de ne pas intervenir dans les soins de la vue. Concrètement, le système installé localement analyse les images de l’œil obtenues par dilatation de la pupille et prises par une caméra rétinienne. Une fois que les images sont capturées, il transmet les photographies à un centre d’analyse distant (situé aux Pays-Bas en ce qui concerne l’Europe) et qui héberge un algorithme d’intelligence artificielle. Ce logiciel est à même d’établir un diagnostic (en moins d’une minute) en se référant à des algorithmes d’analyses augmentés par des techniques d’apprentissage profond (deep learning). Le système répond donc avec son diagnostic : soit il détecte une rétinopathie diabétique et invite le patient à consulter un ophtalmologiste, soit le résultat est négatif et il propose un nouveau contrôle un an plus tard.

2Le système est notamment utilisé dans les soins des patients à l’Université de l’Iowa Health Care5. Selon ses fabricants, il a pour mission : « to transform the quality, accessibility, and affordability of global healthcare through the automation of medical diagnosis and treatment »6. À terme, le produit devrait être commercialisé dans des centres de soins et des cabinets médicaux qui ne disposent pas de spécialistes de la vue7. Pour la Food and Drug Administration, l’objectif de l’homologation du système IDx-DR est de faciliter l’accès au diagnostic et au dépistage précoce et de réduire les délais de consultation. Les spécialistes ne seraient sollicités que par des patients préalablement diagnostiqués positivement par le système utilisant des procédés d’intelligence artificielle. C’est au regard de ces bénéfices que l’autorisation de commercialisation s’est faite avec le statut de découverte capitale8. Pour le moment, la mise sur le marché de l’IDx-DR n’est prévue qu’aux États-Unis, mais il n’est pas exclu qu’il soit un jour commercialisé en France. En ce sens, la société affirme que son programme a obtenu la certification CE du laboratoire Underwriters Laboratory en 2013, qui autorise la commercialisation en Europe9. Dans cette perspective, l’Agence nationale de sécurité du médicament et des produits de santé pourrait réaliser des contrôles afin d’évaluer la fiabilité du logiciel en raison de sa qualité de dispositif médical (classe IIa). Suivant les enseignements de la décision de la Cour de justice de l’Union européenne du 7 décembre 2017 – qui a confirmé qu’un logiciel d’aide à la prescription médicale pouvait être qualifié de dispositif médical –, le produit qualifié de dispositif médical doit comporter le marquage CE et, en contrepartie, pouvoir circuler librement dans toute l’Union. En d’autres termes, les États membres ne pourront pas exiger du fabricant (notamment de l’IDx-DR) une certification supplémentaire. Le Conseil d’État a mis en pratique cette décision dans son arrêt du 12 juillet 201810, en considérant qu’imposer une certification française supplémentaire au logiciel d’aide à la prescription médicale qui constitue11 un dispositif médical ayant obtenu à ce titre le marquage CE n’est pas compatible avec le principe de libre circulation posé par la directive 93/4212. Parmi les enjeux de la mise sur le marché de cette technologie, il y a notamment la prise en considération des exigences linguistiques propres à certains États membres de l’Union européenne. Pour rappel, sur le territoire national, la langue utilisée est le français13. Or, par le passé, cette difficulté s’est illustrée avec les affaires dites des « surirradiés d’Épinal et de Rangueil » pour des patients traités par radiothérapie pour des cancers et dont l’une des causes de l’accident serait l’absence de notice en français. En plus des enjeux liés à la certification, la mise sur le marché d’une telle technologie de diagnostic autonome questionne éminemment la définition des contours de la responsabilité civile liée à son utilisation.

3Problématique. Les nombreuses questions éthiques qui peuvent apparaître face au développement des processus d’intelligence artificielle tiennent principalement au manque d’explicabilité de ces technologies. Leur fonctionnement en « boîte noire » implique des procédés dont il est possible d’observer les données d’entrée et de sortie, mais dont on ne comprend pas complètement le fonctionnement interne. L’utilisation croissante des processus automatisés pour la prise de décision dans certains domaines sensibles questionnant la sécurité, notamment celle des produits de santé, appelle une réflexion de fond sur la question de la responsabilité humaine. Les processus d’intelligence artificielle interrogent notre capacité à organiser les connaissances, à leur donner un sens, à augmenter nos facultés de contrôle des systèmes et, surtout, à asseoir notre prise de décision. Ainsi, dans un contexte d’utilisation de processus automatisés pour la prise de décision, se pose la question tenant à savoir qui prend la décision, si cette personne peut réellement être identifiée, ou même si elle existe, et surtout qui assumera la charge de l’indemnisation de la victime en cas de dommage. Comment assurer une articulation idoine entre la donnée scientifique, qui révèle la nature collective de la décision, avec la donnée juridique, où l’on cherchera à désigner par voie contractuelle ou extracontractuelle la personne responsable ?

4Pour le cas particulier d’un dispositif de diagnostic médical sans supervision d’un médecin, il convient de s’interroger sur la nature des erreurs qui peuvent être commises par le système : s’agira-t-il d’une mauvaise hiérarchisation des solutions possibles ? D’une mauvaise intégration des données du patient ? D’un biais introduit par des sources incomplètes ou frauduleuses (suffisamment de données ont-elles été entrées pour que la machine fonctionne efficacement ? L’ensemble des données et/ou les données saisies ont-elles été corrompues ?) ? D’une faute dans l’écriture de l’algorithme ? D’une erreur d’affichage ? Des résultats non explicites ? L’utilisateur a-t-il mal utilisé le logiciel ? De manière plus générale encore, on peut s’interroger sur ce qu’est une erreur de diagnostic dans ce contexte. L’utilisation de processus basés sur l’intelligence artificielle dans le domaine médical offre des possibilités d’améliorer le diagnostic, mais soulève aussi des questions quant à la responsabilité qui incombe à l’utilisateur, au fabricant, ou encore au concepteur, en cas d’échec du diagnostic. Par exemple, si le logiciel de diagnostic ne parvient pas à détecter une tumeur cancéreuse et que le patient décède à la suite de cet échec, sur quel fondement pourra-t-on poursuivre la succession du patient décédé ? Si un mauvais diagnostic provoque un retard dans la prise en charge du patient puis une perte de chance de guérison, qui sera responsable du préjudice subi par le patient ? Plusieurs grilles d’analyse sont possibles : s’agit-il du médecin traitant pour négligence clinique, du fournisseur de services de technologie pour un service négligent, ou du distributeur/fabricant/concepteur (voire plusieurs entités si elles ont développé le code initial) pour un produit défectueux ? Il faudra également prendre en compte le contrat passé entre l’hôpital/le médecin traitant et ceux qui font partie de la chaîne logistique du service/produit de technologie, ainsi que des clauses contractuelles de garantie, de responsabilité, d’indemnisation et de limitation applicables. De très nombreuses questions apparaissent. Or la compréhension des processus automatisés pour la prise de décision est une étape nécessaire pour l’application d’un régime juridique idoine.

  • 14 Pour une analyse plus complète de l’adaptabilité des régimes de responsabilité civile (pour le cas (...)
  • 15 Id.
  • 16 V. T. Z. Hallstein, “Evaluating AI-Powered Autonomous and Assistive Diagnostic Tools -Performance M (...)

5Dans une approche prospective, nous avons déjà envisagé la détermination des régimes de responsabilité possiblement mobilisables pour le cas des technologies d’aide au diagnostic médical14 qui ne sont pas des technologies autonomes comme peut l’être l’IDx-DR. En effet, concernant les conséquences d’une décision correspondant au fonctionnement « normal » du système, plusieurs mécanismes de responsabilité civile peuvent être mobilisés : la responsabilité du fait personnel, celle du fait d’autrui, ou encore la très surprenante hypothèse d’une responsabilité « fonctionnaliste » du robot. Pour le cas particulier de la responsabilité des processus d’aide à la décision en matière médicale, nous avons démontré que la responsabilité du fait personnel, ainsi que les responsabilités du fait des choses et des produits défectueux, étaient les mécanismes les plus à même d’être sollicités dans l’hypothèse où le processus d’aide à la décision est à l’origine d’un dommage15. Nous pensons que les mêmes outils, suivant certains ajustements, peuvent pareillement être mobilisés pour le cas des dispositifs de diagnostic médical sans supervision d’un médecin. C’est d’ailleurs en ce sens que le fondateur de l’IDx-DR, Michael Abramoff, dans une interview au Washington Post, déclare : « The AI is responsible, and therefore the company is responsible. […] We have malpractice insurance, AI is not perfect, doctors are not perfect […] it will make errors »16. Il convient dès lors de s’intéresser à deux aspects, parmi d’autres, de la responsabilité qui affleurent dans ce contexte : quels sont les enjeux de la définition des contours de la robustesse/fiabilité de cette technologie dans la constitution d’une erreur médicale, et quid de l’obligation d’information qui pèse sur le fabricant à l’égard de l’utilisateur ?

6Robustesse et fiabilité : quelle erreur du système peut être à l’origine d’une responsabilité juridique ? À l’occasion de l’utilisation d’un dispositif de diagnostic médical sans supervision d’un médecin, deux types d’erreurs peuvent apparaître : un « faux positif » et un « faux négatif ». La situation dans laquelle la machine diagnostique qu’il n’y a aucune pathologie, alors qu’en réalité il en existe une, correspond à l’hypothèse dite d’un « faux négatif », qui apparaît inacceptable pour le patient. Car dans une telle configuration, lorsque la machine affiche un résultat négatif, on sort du processus, et il n’y aura pas de contrôle supplémentaire réalisé par le médecin. Comment dès lors envisager la responsabilité du médecin lorsque le logiciel affiche un faux négatif, et que par hypothèse le médecin ne verra pas le patient ? Aux États-Unis, où la machine est utilisée, le patient est, au moment du diagnostic, seul en présence d’un care professionnal qui n’est pas un médecin spécialiste. L’absence du professionnel entre précisément dans le schéma d’utilisation de la machine qui est notamment censée suppléer la désertification médicale.

  • 17 V. C. M. BishopPattern Recognition And Machine Learning, Springer, 2006.
  • 18 M. D. Abràmoff, Ph.T. Lavin, M. Birch, and N. Shah, J.C Folk, “Pivotal trial of an autonomous AI-ba (...)
  • 19 V. Cass. 1re civ., 25 nov. 2010, n° 09-68.631.

7La seconde hypothèse vise le cas où le logiciel indiquera un « faux positif ». Dans cette autre configuration, les patients, et au-delà la société tout entière, accepteront sans doute plus facilement l’erreur. La raison de cette acceptation tient principalement dans le fait qu’il y aura un contrôle humain in fine, un mécanisme de double contrôle. Le fait de déclencher un examen complémentaire par le médecin spécialiste pour les cas dans lesquels l’outil de diagnostic autonome est moins certain et pourrait grandement contribuer à réduire le nombre de diagnostics erronés et les recours contentieux. Une telle technologie pourrait par ailleurs constituer une défense utile contre les allégations de faute professionnelle. Si un système de diagnostic autonome entraîné sur des milliards d’images et de résultats ne peut pas détecter une anomalie, est-il raisonnable de s’attendre à ce qu’un humain puisse le faire, y compris un professionnel ? Dans un système issu du machine learning, plus le logiciel est à l’origine de faux diagnostics positifs, moins il aura tendance à faire de faux diagnostics négatifs, étant donné que la proportion de diagnostics négatifs diminue. Cela est principalement le fait d’un surdiagnostic des résultats « positifs ». Concrètement, le système détermine que trop de cas sont vrais, et donc que moins de cas sont négatifs. Dès lors, moins de faux négatifs apparaissent17. L’intelligence artificielle fonctionne suivant un apprentissage sur jeux de données. Généralement on peut établir 95 % de réussite, mais on ne peut jamais avoir 100 % de réussite, car ce que l’on recherche ce n’est pas la donnée connue, mais la perspective, l’information discriminante de l’ensemble des données dont dispose le système (Big Data). Pour s’en convaincre, il suffit de consulter les résultats de l’essai pivot de l’IDx-DR, qui est la première étude à avoir évalué de manière prospective les performances d’un système autonome dans le traitement des patients18. Elle a concerné 900 sujets atteints de diabète sur dix sites de soins de santé primaires aux États-Unis. Les résultats ont montré que le système a su identifier correctement la présence de rétinopathie diabétique légère dans 87,4 % des cas et a pu identifier correctement les patients ne présentant pas une rétinopathie diabétique légère dans 89,5 % des cas. De tels résultats démontrent la capacité du système à intégrer des diagnostics de niveau spécialisé aux environnements de soins primaires. Mais en aucun cas le système ne garantit une fiabilité de ses résultats à 100 %. Le risque se situe donc notamment du côté du « surapprentissage » : si le système donne des résultats trop parfaits sur le jeu de données, il apprend trop sur les données existantes, et donc ce qui est nouveau et par essence absent des données sera mal évalué. Ce qui importe, c’est l’extraction de l’information des données, qui permet ensuite de discriminer entre elles. Mais il ne faut pas que l’apprentissage soit trop proche des données, car le patient veut seulement savoir s’il est malade ou non. Lorsqu’ils établissent un diagnostic, les médecins ne ciblent pas explicitement un taux véritablement positif ou un taux faussement positif. Ils poursuivent une obligation de moyens et se bornent à déployer leurs meilleurs efforts pour atteindre l’objectif. Or, pour le cas des modèles d’intelligence artificielle, il faut choisir le taux à maximiser. Dans l’hypothèse où beaucoup de faux positifs apparaissent, ou dans laquelle un taux de vrais positifs est l’essentiel, il est possible de choisir le seuil de probabilité à utiliser pour séparer les classes. Le diagnostic médical autonome en est à ses débuts, et il faudra attendre plusieurs années pour que les taux véritablement positifs s’améliorent et que les taux faussement positifs diminuent. Et ce à mesure que des données supplémentaires sont générées et que les algorithmes s’amélioreront. Ce qu’il faut retenir c’est que, tout comme le médecin, le dispositif de diagnostic médical sans supervision n’est pas infaillible : malgré ses améliorations dans le temps, il commettra des erreurs. Lorsque l’on dispose d’une base de référence pour la sensibilité et la spécificité, il est possible de déterminer si le modèle fait plus ou moins d’erreurs qu’une personne. Or quels sont les avantages de l’utilisation d’un système de diagnostic autonome par rapport aux évaluations humaines ? Si l’on se réfère au taux d’erreur : les humains font beaucoup plus d’erreurs ! Mais se pose alors la question de l’acceptabilité de l’erreur de la machine. Pour le cas d’une erreur médicale classique (sans utilisation d’un système autonome), l’une des catégories existantes est l’erreur de diagnostic. Traditionnellement le médecin doit obéir aux règles de l’art de la médecine, et respecter les pratiques reconnues et évidentes admises à la période où il exerce compte tenu des éléments connus par lui et des circonstances19. Dès lors l’erreur de diagnostic correspond à l’hypothèse dans laquelle le médecin ne pose pas le bon diagnostic alors que celui-ci s’imposait.

  • 20 V. Cass. 1re civ., 27 nov. 2008, n° 07-15.963, Bull. I, n° 273.
  • 21 S. Hocquet-Berg, « L’erreur de diagnostic n’est pas toujours fautive, Cass. 1re civ., 17 juin 2015, (...)

8Complexité du système et erreur de diagnostic. Cette erreur peut notamment résulter de ne pas avoir prescrit l’examen nécessaire ou de ne pas avoir demandé l’aide de tiers compétents ou de concours appropriés20. Si un médecin prescrit beaucoup d’examens, il peut découvrir des maladies ou des pathologies, or un tel dispositif serait très coûteux. Ce n’est donc pas ce que font les médecins, et cela est parfaitement admis. Il faut donc déterminer, selon les cas, si le médecin aurait raisonnablement dû, ou non, approfondir ses recherches. L’article R 4127-33 du Code de la santé publique dispose que le médecin doit toujours « élaborer son diagnostic avec le plus grand soin, en y consacrant le temps nécessaire, en s’aidant dans toute la mesure du possible des méthodes scientifiques les mieux adaptées et, s’il y a lieu, de concours appropriés ». Cependant un diagnostic erroné, ou posé tardivement, n’est pas systématiquement qualifié de fautif et n’engage pas nécessairement la responsabilité du professionnel. Il faut en réalité différencier les comportements révélant une erreur, que tout autre médecin aurait pu commettre, de ceux manifestant un réel manquement à l’obligation de dispenser des soins appropriés au regard de connaissances médicales avérées21. Dans un contexte de contentieux, afin d’être certain qu’il y a bien une erreur de diagnostic, le juge pourra avoir recours à un médecin expert. Or cette qualité d’expert soulève un certain nombre de questions dans le contexte particulier de l’utilisation d’un dispositif de diagnostic médical autonome. Qui sera considéré comme expert pour prouver l’erreur de diagnostic : un expert médecin ? un expert logiciel ? L’expertise sera-t-elle nécessairement plurielle, combinant celles de médecins, mais aussi d’informaticiens ? À un niveau de faible complexité, l’expertise apparaît comme une option envisageable. Mais qu’en est-il quand la compréhension du mécanisme de décision devient multicritère, multidiscipline (mécanique, médicale, automatique, etc.) ? Avec une complexité dans les points de vue, les méthodologies, les traditions et le vocabulaire, la possibilité de trouver un expert maîtrisant le processus complet paraît compliquée.

  • 22 V. M. Melo et al., “National Costs of the Medical Liability System”, Health Affairs 2010, vol. 29, (...)
  • 23 En 1974, dans l’arrêt Helling c. Carey, la Cour suprême des États-Unis énonce qu’un médecin qui, bi (...)

9La problématique de l’expertise se prolonge et conduit à s’interroger sur le coût que représentera l’utilisation d’une telle technologie. Pour soutenir le développement des technologies de diagnostic médical autonome, leurs promoteurs avancent souvent comme argument le coût à la baisse de ces technologies. Mais ne risquent-elles pas d’être en réalité à l’origine de nouveaux contentieux animés par la pensée illusoire d’une technologie infaillible ? En ce sens, en 2010, la Harvard School of Public Health a publié une étude révélant que le coût total des abus médicaux aux États-Unis s’élevait à 55,6 milliards de dollars par an, ce qui représente 2,4 % des dépenses en soins de santé aux États-Unis22. L’étude révèle qu’environ 45 milliards de dollars du montant total des dépenses ont été consacrés à la médecine défensive23, tests et autres procédures que les médecins ont ordonnés afin de se protéger en cas de litige. Si l’on pousse le raisonnement un peu plus loin, il n’est pas difficile d’imaginer un scénario dans lequel un patient poursuivrait son médecin en justice pour avoir omis d’adopter une technologie de contrôle secondaire augmentée d’intelligence artificielle destinée au dépistage et à la détection d’anomalies. Pourrait-on ainsi prochainement voir éclore des actions en responsabilité civile pour perte de chance liée à l’absence d’utilisation d’une intelligence artificielle ?

10On peut comprendre dans ce contexte la nécessité de s’assurer du consentement du patient et de son information préalable à l’utilisation d’une technologie qui par essence ne peut pas être fiable à 100 %. Il est essentiel de retenir une obligation d’information qui pèse sur le concepteur/fabricant envers l’utilisateur, et ce afin de tendre vers une plus grande explicabilité, et in fine une meilleure acceptabilité.

  • 24 Pour le cas de l’IDx-DR, sont exclus ceux ayant subi un traitement au laser, de même que les femmes (...)

11Information du patient : entre explicabilité et acceptabilité. Face à la complexité des systèmes de diagnostic médical autonome, il est essentiel de conserver pour objectif le libre choix des individus en s’assurant des capacités de l’utilisateur à faire un choix. L’idée étant de ne pas favoriser le choix par défaut ou nécessité. Outre les restrictions qui empêchent le logiciel d’être testé sur l’ensemble des patients24, le concepteur doit veiller à assurer la capacité du patient à comprendre l’information qui lui est communiquée, y compris sur la fiabilité du système.

  • 25 V. Ph. le Tourneau, « De l’allégement de l’obligation de renseignement ou de conseil », D. 1987, Ch (...)
  • 26 Cet article consacre l’existence d’un « devoir d’information » d’ordre public en prévoyant que « ce (...)
  • 27 Selon l’article « liminaire » du Code de la consommation, le professionnel s’entend de : « toute pe (...)
  • 28 Art. L. 423-1 C. consom.
  • 29 P. Jourdain, « Le devoir de “se” renseigner », D. 1983, Chron. 139 ; Ph. le Tourneau, « Les profess (...)
  • 30 V. le site internet : https://www.declarationmontreal-iaresponsable.com/la-declaration
  • 31 L’article 1112-1 retient qu’« ont une importance déterminante les informations qui ont un lien dire (...)
  • 32 En ce sens, la Cour de cassation retient qu’un médecin n’est pas tenu de réussir à convaincre son p (...)
  • 33 Cass. com., 11 juill. 2006, no 04-17.093. Toutefois, certains arrêts retiennent que le professionne (...)

12La capacité de l’utilisateur à comprendre le processus décisionnel s’obtiendra notamment à travers l’obligation précontractuelle de renseignement ou d’information relative au système de diagnostic médical autonome. Celle-ci se distingue théoriquement du devoir de conseil et, a fortiori, de l’obligation de renseignement dans l’exécution du contrat, que celle-ci soit une obligation accessoire ou l’obligation principale du contrat. Mais, en pratique, il est délicat de tracer les frontières entre l’obligation précontractuelle et l’obligation accessoire de renseignement, ou entre l’obligation de renseignement et le devoir de conseil. Ces distinctions sont plus conceptuelles que pratiques, et donc particulièrement difficiles à utiliser dans le domaine complexe des processus décisionnels25. L’obligation générale et légale d’information qui pèse sur les futurs contractants est expressément formulée à l’article 1112-1 du Code civil26. L’article précise en outre qu’« ont une importance déterminante les informations qui ont un lien direct et nécessaire avec le contenu du contrat ou la qualité des parties ». Deux autres textes posent également l’obligation d’information d’une façon générale dont le « professionnel »27 est débiteur. L’article L. 111-1, alinéa 1er, du Code de la consommation pose que : « Tout professionnel vendeur de biens ou prestataire de services doit, avant la conclusion du contrat, mettre le consommateur en mesure de connaître les caractéristiques essentielles du bien ou du service ». À cela s’ajoute l’obligation pour l’auteur de la mise sur le marché d’un produit de fournir au consommateur toutes les informations lui permettant d’évaluer les risques inhérents à celui-ci – ce pendant sa durée d’utilisation normale ou raisonnablement prévisible – et de s’en prémunir lorsque ces risques ne sont pas immédiatement perceptibles sans un avertissement particulier28. Aux termes de l’article 1112-1 du Code civil, l’information communiquée doit permettre au cocontractant de s’engager en toute connaissance de cause. L’obligation d’information apparaît comme la garantie de l’expression d’un consentement libre et éclairé de l’utilisateur. Du point de vue du créancier, l’information n’est due que lorsqu’il ignore légitimement l’information29. Ce qui en pratique est très souvent le cas en présence d’un contrat impliquant un dispositif de diagnostic médical autonome particulièrement complexe. Ne pèse sur le créancier de l’information une obligation de se renseigner que dans la mesure où il peut lui-même avoir accès aux informations. Cette hypothèse, bien qu’envisageable, ne sera qu’à la marge des compétences globales, moyennes, de l’ensemble des patients utilisateurs. Par l’obligation d’information sur la nature du processus de diagnostic médical autonome, le contractant prévient son cocontractant des risques et avantages du système ou de l’acte envisagé. L’information présuppose donc une exigence de formation du concepteur lui-même, y compris en éthique. Pour s’assurer de cet objectif de formation et l’encadrer, il pourrait être exigé du concepteur qu’il respecte une norme, un label, obtienne une certification, ou encore s’engage au travers d’une charte éthique. En vertu de l’article 1112-1 du Code civil, le débiteur est la « partie qui connaît l’information ». Une telle formulation ne doit malgré tout pas laisser entendre que la partie au contrat serait dispensée de fournir des informations déterminantes au motif qu’elle n’en a pas eu connaissance. Il n’est pas mis fin au devoir de se renseigner du débiteur de l’information, notamment professionnel. Depuis plusieurs années, la jurisprudence met à sa charge un devoir d’investigation, devoir tout particulièrement important lorsque l’on est en présence de processus décisionnels complexes ayant vocation à s’améliorer et à être modifiés régulièrement. Dans la Déclaration de Montréal pour un développement responsable de l’intelligence artificielle30, on peut retrouver cette exigence d’intelligibilité pour le fonctionnement des « systèmes d’intelligence artificielle » (ci-après SIA) : « 1) Le fonctionnement des SIA qui prennent des décisions affectant la vie, la qualité de la vie ou la réputation des personnes doit être intelligible pour leurs concepteurs. 2) Les décisions des SIA affectant la vie, la qualité de la vie ou la réputation des personnes, devraient toujours être justifiables dans un langage compréhensible aux personnes qui les utilisent ou qui subissent les conséquences de leur utilisation. La justification consiste à exposer les facteurs et les paramètres les plus importants de la décision et doit être semblable aux justifications qu’on exigerait d’un être humain prenant le même type de décision ». Ainsi, pour le cas de processus décisionnels complexes, il nous paraît essentiel que le débiteur de l’information éclaire son utilisateur sur le produit ou le service pour que son choix intervienne en pleine connaissance de cause. En effet, il doit les informations « dont l’importance est déterminante pour le consentement de l’autre ». Le Code civil précise ainsi le contenu de l’information due. Il s’agit de mettre en avant que seules les informations importantes doivent être données, l’objectif étant que le contrat soit conclu en pleine connaissance de cause31. Nous pensons donc que l’information sur la nature non infaillible du processus décisionnel ne doit pas être exclue du champ de ce devoir d’information. Les marges d’erreur doivent être communiquées afin d’apporter de la confiance et de l’acceptabilité pour l’utilisateur. Il ne s’agit pas d’une information inutile qui détournerait l’attention du créancier de l’essentiel. En effet, cette information est à distinguer des conseils du débiteur sur l’opportunité de l’acte du point de vue du client, qui relève du devoir de conseil et non de la seule information brute. En étant informé, éclairé sur la nature du processus décisionnel par le débiteur, l’utilisateur pourra effectuer un choix en pleine connaissance de cause. Mais là s’arrête le devoir du débiteur : il n’a pas à prendre parti, à favoriser l’adoption d’une solution plutôt qu’une autre. Cette obligation est, en principe, une obligation de résultat : fournir l’information. Mais, une fois que cette précision est apportée, il est alors impératif de clarifier un autre aspect. Ainsi, classiquement, une fois que l’information est donnée, sa compréhension et sa prise en compte par son bénéficiaire relèvent de l’obligation de moyens32. Qu’en est-il sur le terrain des processus de diagnostic médical autonome ? Si les débiteurs de l’obligation d’information ont été trop laconiques, leur partenaire devrait pouvoir être déchargé de leur responsabilité, au moins en partie. C’est une règle traditionnelle en matière d’erreur sur la substance et de vice de la chose lorsque l’acheteur destinait la chose à un usage inhabituel. En raison de la nature complexe des contrats impliquant des processus automatisés pour la prise de décision, le contractant professionnel doit s’assurer de la bonne réception de l’information par l’utilisateur. On peut mettre en perspective cette idée avec les jurisprudences retenues en matière d’obligation de conseil pour les hypothèses de fourniture d’appareils ou « d’ensembles complexes ». Ainsi, tout contrat informatique comprend plus qu’une obligation d’information, mais une véritable obligation de conseil à la charge du professionnel. La Cour de cassation a formulé la règle de façon catégorique : « Le vendeur professionnel d’un matériel informatique est tenu d’une obligation de renseignement ou de conseil envers un client dépourvu de toute compétence en la matière »33. La violation du devoir d’information sur la nature du processus automatisé pour la prise de décision entraînera possiblement l’engagement de la responsabilité civile délictuelle de celui qui en est tenu.

  • 34 V. en ce sens : C. Villani, Donner du sens à l’intelligence artificielle : pour une stratégie nat (...)
  • 35 Pour le cas particulier de la neutralité des moteurs de recherche, v. : https://hal.inria.fr/hal-01 (...)

13Avec les dispositifs de diagnostic autonome, de nouveaux besoins s’expriment sur le terrain de la formation34, mais aussi de l’information des professionnels comme des utilisateurs. La compréhension des outils, de leur fonctionnement et de leurs limites, notamment en termes d’autonomie, est un objectif primordial au développement soutenable de ces outils (une même remarque pourrait être faite sur le terrain de la neutralité des résultats35).

  • 36 V. not. sur le site de l’Insee l’étude Professionnels de santé au 1er janvier 2017. Comparaisons(...)
  • 37 Sur la conception numérique responsable et durable, v. not. : https://2018.ethicsbydesign.fr

14Propos conclusifs. Selon leurs développeurs, les technologies de diagnostic médical autonome devraient permettre de réduire les temps d’hospitalisation, d’optimiser la charge de travail du personnel soignant, mais aussi, à plus grande échelle, de réaliser des économies qui pourront être investies dans de meilleures infrastructures, la recherche ou encore l’innovation. Si l’on combine les besoins en santé de la population et la montée en puissance des problématiques liées aux déserts médicaux (disparition des médecins de famille, concentration des généralistes dans les villes et répartition très hétérogène sur le territoire36), la mise sur le marché de telles technologies pourrait en effet largement se développer dans les années à venir en France. La problématique qui pourrait alors se profiler pour les professionnels de la santé ne sera plus seulement de savoir qui sera responsable en raison de l’utilisation de ces technologies autonomes, mais plutôt dans combien de temps ils seront responsables s’ils ne les utilisent pas. L’utilisation de processus de diagnostic médical basés sur des mécanismes d’apprentissage autonome et profond emporte avec elle de multiples conséquences notamment éthiques, juridiques et économiques. Elle impose de questionner le caractère durable de ces technologies, la répétabilité des algorithmes, et même l’exigence de choix et de liberté placée au centre de la conception37. C’est notamment à l’aune de ces exigences que l’innovation pourra être mise au service de l’humain et des enjeux globaux de nos sociétés, qu’ils soient liés à la santé publique ou à l’environnement.

Haut de page

Notes

1 Comme l’illustre notamment la plateforme d’intelligence artificielle AiCure et sa technologie de vérification visuelle.

2 V. L. Mazeau, « Intelligence artificielle et responsabilité civile : le cas des logiciels d’aide à la décision en matière médicale », Revue pratique de la prospective et de l’innovation 2018, LexisNexis SA, p. 38-43.

3 V. FDA permits marketing of artificial intelligence-based device to detect certain diabetes-related eye problem, 11 avr., 2018, https://www.fda.gov/news-events/press-announcements/fda-permits-marketing-artificial-intelligence-based-device-detect-certain-diabetes-related-eye.

4 V. R. Rajalakshmi, R. Subashini, RM. Anjana, V. Mohan, “Automated diabetic retinopathy detection in smartphone-based fundus photography using artificial intelligence”, Eye 9 sept. 2018 ; MF. Norgaard, J. Grauslund, “Automated Screening for Diabetic Retinopathy. A Systematic Review”, Ophthalmic Res. 2018, 60(1) :9-17.

5 V. : https://www.eyediagnosis.net/ single-post/2018/06/26/Press-Release-University-of-Iowa-Health-Care-first-to-adopt-IDx-DR-in-a-diabetes- care-setting

6 V. le site de la compagnie : https://www.eyediagnosis.co

7 Le système est non seulement disponible en tant que solution autonome d’analyse d’images, mais aussi accessible en Europe via Topcon Harmony qui permet la visualisation, l’archivage et l’aide à la décision des données ophtalmiques.

8 V. en ce sens le Breakthrough Devices Program : https://www.fda.gov/regulatory-information/search-fda-guidance-documents/breakthrough-devices-program

9 IDx-DR, Coralville (IA) : IDx, LLC ; 2018 : https://Erreur ! Référence de lien hypertexte non valide. Health Technology update, Issue 22 I, oct., 2018.

10 Le Conseil d’État annule en partie le décret n° 2014/1359.

11 Ou dont seulement certaines des fonctionnalités constituent un dispositif médical.

12 V. le rapport de l’IGAS : https://www.ladocumentationfrancaise.fr/var/storage/rapports-publics/074000198.pdf

13  Loi n° 94-665 du 4 août 1994 relative à l’emploi de la langue française.

14 Pour une analyse plus complète de l’adaptabilité des régimes de responsabilité civile (pour le cas particulier des logiciels d’aide à la décision médicale), v. L. Mazeau, art. cité, p. 38-43.

15 Id.

16 V. T. Z. Hallstein, “Evaluating AI-Powered Autonomous and Assistive Diagnostic Tools -Performance Metrics”, févr. 2019, https://medium.com/swishlabs/evaluating-ai-powered-autonomous-and-assistive-diagnostic-tools-performance-metrics-49262bf6197e

17 V. C. M. BishopPattern Recognition And Machine Learning, Springer, 2006.

18 M. D. Abràmoff, Ph.T. Lavin, M. Birch, and N. Shah, J.C Folk, “Pivotal trial of an autonomous AI-based diagnostic system for detection of diabetic retinopathy in primary care office ”, npj Digital Medicine, Article number : 39 (2018).

19 V. Cass. 1re civ., 25 nov. 2010, n° 09-68.631.

20 V. Cass. 1re civ., 27 nov. 2008, n° 07-15.963, Bull. I, n° 273.

21 S. Hocquet-Berg, « L’erreur de diagnostic n’est pas toujours fautive, Cass. 1re civ., 17 juin 2015, n° 14-19725, non publié au Bulletin (F-D) », Revue générale du droit on line 2016, n° 23286.

22 V. M. Melo et al., “National Costs of the Medical Liability System”, Health Affairs 2010, vol. 29, n° 9. 

23 En 1974, dans l’arrêt Helling c. Carey, la Cour suprême des États-Unis énonce qu’un médecin qui, bien qu’il aurait agi selon les standards de l’ophtalmologie, est coupable de négligence s’il n’a pas témoigné d’un degré de prudence « raisonnable » à l’égard de son patient. Elle contribue à changer la définition de la notion de « standard of care ».

24 Pour le cas de l’IDx-DR, sont exclus ceux ayant subi un traitement au laser, de même que les femmes enceintes et les patients souffrant d’une perte de vision persistante ou d’une vision floue. 

25 V. Ph. le Tourneau, « De l’allégement de l’obligation de renseignement ou de conseil », D. 1987, Chron. 101.

26 Cet article consacre l’existence d’un « devoir d’information » d’ordre public en prévoyant que « celle des parties qui connaît une information dont l’importance est déterminante pour le consentement de l’autre doit l’en informer dès lors que, légitimement, cette dernière ignore cette information ou fait confiance à son cocontractant ».

27 Selon l’article « liminaire » du Code de la consommation, le professionnel s’entend de : « toute personne physique ou morale, publique ou privée, qui agit à des fins entrant dans le cadre de son activité commerciale, industrielle, artisanale, libérale ou agricole, y compris lorsqu’elle agit au nom ou pour le compte d’un autre professionnel ».

28 Art. L. 423-1 C. consom.

29 P. Jourdain, « Le devoir de “se” renseigner », D. 1983, Chron. 139 ; Ph. le Tourneau, « Les professionnels ont-ils du cœur ? », D. 1990, Chron. 21.

30 V. le site internet : https://www.declarationmontreal-iaresponsable.com/la-declaration

31 L’article 1112-1 retient qu’« ont une importance déterminante les informations qui ont un lien direct et nécessaire avec le contenu du contrat ou la qualité des parties ».

32 En ce sens, la Cour de cassation retient qu’un médecin n’est pas tenu de réussir à convaincre son patient du danger de l’acte médical qu’il demande. V. not., Civ. 1re, 18 janv. 2000, no 97-17.716, Bull. civ. I, no 13 ; D. 2001, 3359, note M.-L. Mathieu-Izorche.

33 Cass. com., 11 juill. 2006, no 04-17.093. Toutefois, certains arrêts retiennent que le professionnel serait tenu d’établir qu’il a conseillé son client avec toute la diligence requise, ce qui constituerait une obligation de moyens renforcée. La distinction entre obligations de moyens et de résultat est ignorée par l’ordonnance no 2016-131 du 10 février 2016 portant réforme du droit des obligations ; elle ne figure pas non plus dans le projet de réforme de la responsabilité civile présenté le 13 mars 2017.

34 V. en ce sens : C. Villani, Donner du sens à l’intelligence artificielle : pour une stratégie nationale et européenne. Rapport 28 mars 2018, p. 198 : « Il est proposé de […] former les professionnels de santé aux usages de l’intelligence artificielle, de l’IOT et du big data en santé, ainsi qu’aux compétences de coordination, d’empathie et du rapport avec les patients ».

35 Pour le cas particulier de la neutralité des moteurs de recherche, v. : https://hal.inria.fr/hal-01634370/document. Selon les auteurs de cette étude, si le mécanisme est bien autonome, il n’est pas pour autant neutre. Il y a un humain qui a orienté le choix. Des systèmes qui paraissent autonomes aux yeux de l’utilisateur non averti ne le sont pas vraiment. Ainsi Google par exemple, privilégie les contenus et services qui sont hébergés par Google (ex. : Google shopping) ; Cela s’observe aussi pour le moteur de recherche Bing avec Microsoft.

36 V. not. sur le site de l’Insee l’étude Professionnels de santé au 1er janvier 2017. Comparaisons régionales et départementales : https://www.insee.fr/fr/statistiques/2012677

37 Sur la conception numérique responsable et durable, v. not. : https://2018.ethicsbydesign.fr

Haut de page

Pour citer cet article

Référence papier

Laurène Mazeau, « Responsabilité »Cahiers Droit, Sciences & Technologies, 9 | 2019, 167-178.

Référence électronique

Laurène Mazeau, « Responsabilité »Cahiers Droit, Sciences & Technologies [En ligne], 9 | 2019, mis en ligne le 31 octobre 2019, consulté le 21 janvier 2021. URL : http://journals.openedition.org/cdst/1111 ; DOI : https://doi.org/10.4000/cdst.1111

Haut de page

Auteur

Laurène Mazeau

Maître de conférences à l’Université de Bretagne occidentale, LabLex EA 7480.

Articles du même auteur

Haut de page

Droits d’auteur

Licence Creative Commons
Cahiers Droit, Sciences & Technologies sont mis à disposition selon les termes de la Licence Creative Commons Attribution 4.0 International.

Haut de page
Rechercher dans OpenEdition Search

Vous allez être redirigé vers OpenEdition Search