Navigation – Plan du site

AccueilNumérosvol. 25, n° 1Dossier principalÉvaluer individuellement l’effica...

Dossier principal

Évaluer individuellement l’efficacité et l’efficience attendue des thérapeutiques dans l’aide à la décision médicale grâce à l’intelligence artificielle (IA) : quels enjeux éthiques ?

Clémence Thébaut, Jean-Claude K. Dupont, Vincent Jolivet et Olivier Scemama

Résumés

Objectif : Mobiliser l’intelligence artificielle (IA) dans l’aide à la décision médicale devrait faciliter la recherche d’informations sur les données scientifiques disponibles. Cela permettrait également d’estimer les résultats attendus des différentes options thérapeutiques en termes d’efficacité (balance bénéfice/risque) et d’efficience (ratio coût/efficacité), en fonction des caractéristiques personnelles du patient, ce qui était impossible jusqu’à présent. Nous nous demandons si cette estimation individualisée implique une évolution des modèles de décision qui prévalent dans les outils utilisés actuellement et qui s’appuient sur les principes de l’EBM et de l’utilitarisme.

Méthode : Une première étape consiste à établir un inventaire des outils actuellement développés. Une seconde étape consiste à définir à partir de cet inventaire une série d’interrogations éthiques.

Résultats : Ces nouvelles technologies n’impliquent pas d’évolution des modèles de décision. Elles rendent au contraire possible leur renforcement dans des proportions jusqu’à présent limitées par les capacités informationnelles des acteurs. Les controverses éthiques qu’elles soulèvent ne sont donc pas nouvelles. En revanche, elles sont accentuées par ces nouvelles possibilités.

Haut de page

Plan

Haut de page

Texte intégral

Introduction

Contexte

1Les technologies d’intelligence artificielle (IA) offrent des perspectives nouvelles dans de nombreux domaines appliqués, parce qu’elles permettent de combiner différents outils et ressources (OCDE, 2019). L’innovation ne réside pas tant dans chacun de ces outils et ressources pris isolément, mais dans la possibilité d’y recourir de façon coordonnée en fonction des besoins des utilisateurs, au moyen d’interfaces de programmation d’application (application programming interface – API). Ces API permettent, par exemple, de produire de l’information à partir de données massives sur les comportements individuels au moyen de techniques statistiques adaptées (fouille des données ou data mining) et de la restituer aux utilisateurs dans un langage naturel (par exemple, au moyen d’agent conversationnel ou chatbot). Cette possibilité est offerte par le développement d’outils de compréhension du langage naturel, qui permettent aussi d’extraire de l’information de données non structurées. Nous nous intéressons ici aux possibilités offertes par l’IA dans le secteur de la santé et en particulier dans l’aide à la décision médicale. Le secteur de la santé est propice à l’utilisation de ces technologies, car il est fortement régulé par les autorités publiques, ce qui laisse moins de place au libre jeu des acteurs et induit d’importants besoins d’informations, par exemple sur la qualité et la sécurité des soins, ainsi que sur l’efficience des pratiques.

2Cette régulation génère, dans le même temps, une quantité remarquable de données sur le parcours et la consommation de soins des patients grâce aux systèmes d’information qui servent à la facturation et au remboursement auprès des assurés et des établissements (à l’instar du Système national d’information inter-régimes de l’Assurance maladie (SNIIRAM) et du Programme de médicalisation des systèmes d'information (PMSI) en France) ainsi qu’à la coordination entre les acteurs (dossier médical partagé, système d’information hospitalier).

Objectif

3Les questions les plus souvent débattues dans la littérature sur les enjeux éthiques soulevés par l’utilisation de l’IA en santé concernent la protection des données personnelles et le respect de l’autonomie des personnes (Mittelstadt et Floridi, 2016 ; Coeckelbergh, 2020). D’évidents enjeux normatifs découlent de la production de nouvelles informations avec les outils d’aide à la décision médicale mobilisant I’IA.

4Ces outils sont des logiciels conçus pour apporter une aide directe à la prise de décision des médecins, compte tenu des connaissances cliniques les plus récentes et des données présentes dans les dossiers médicaux des patients (Sim et al., 2001 ; Sutton et al., 2020). Améliorer ces outils en mobilisant l’IA devrait faciliter la recherche d’informations par les praticiens sur les données scientifiques disponibles. Elles devraient également permettre d’estimer les résultats attendus des différentes options thérapeutiques en fonction des caractéristiques personnelles du patient (âge, genre, antécédents, comorbidités, etc.), ce qui était impossible jusqu’à présent. L’estimation individualisée des résultats attendus implique-t-elle une évolution des modèles de décision qui existent dans les outils utilisés actuellement ?

Modèles de décision existant dans les outils actuels d’aide à la décision

5Actuellement, les professionnels de santé utilisent les outils suivants pour guider leurs décisions : recommandations de bonnes pratiques émises par des autorités scientifiques et des sociétés savantes, revues professionnelles, littérature scientifique, logiciels d’aide à la prescription, applications mobiles, groupes de pairs, etc. Ces outils reposent sur deux modèles de décision : un modèle fondé sur le critère d’efficacité établi par la médecine fondée sur les preuves (Evidence based medecine – EBM) et un modèle fondé sur le critère d’efficience économique.

6Les cliniciens mettent en perspective les recommandations formulées par ces outils d’aide à la décision avec d’autres principes fondamentaux : le respect des préférences des patients (au moyen d’outils de décision médicale partagée [HAS, 2013]), les principes déontologiques (voir les codes de déontologie médicale rédigés par les associations de professionnels de santé), et des principes d’équité.

Le critère d’efficacité établi par la médecine fondée sur les preuves (EBM)

7L’EBM propose de fonder la décision thérapeutique sur une estimation de la balance bénéfices/risques pour un patient ou un groupe de patients à partir des données scientifiques résultant d’un travail d’observation systématique tel que celui réalisé dans le cadre des essais contrôlés randomisés (Bothwell et Scott, 2016 ; Parkkinen et al. 2018). L’EBM s’est diffusée à partir du milieu du XXe siècle avec les travaux d’Archibald Cochrane et la création de la Cochrane Library, pour finalement s’imposer à partir de la fin du XXe (Evidence-Based Medicine Working Group, 1992). L’EBM s’inscrit dans le cadre d’un modèle épistémologique positiviste : seuls comptent les faits observables, et les modèles théoriques n’ont d’intérêt que dans la mesure où ils permettent de prédire efficacement la survenue d’événement (Djulbegovic, Guyatt Gordon et Ashcroft, 2009 ; Tröhler, 2000 et 2012). Ce modèle épistémologique détermine la nature des informations que le praticien doit prendre en compte et la confiance qu’il peut leur accorder (hiérarchie des preuves en fonction des méthodes utilisées pour les produire).

Le critère d’efficience économique

  • 1 Par exemple, le National Institute for Health and Care Excellence (NICE) en Grande-Bretagne, la Hau (...)

8Ce critère est utilisé par de nombreuses agences d’évaluation des technologies de santé pour émettre des recommandations de bonnes pratiques, décider l’inclusion d’une technologie dans le périmètre des soins remboursables ou la mise en œuvre de programmes de santé publique1. Le critère d’efficience économique implique d’estimer la quantité de ressources supplémentaires qu’il faut consentir à payer pour obtenir une unité de résultat supplémentaire, par exemple une année de vie sauvée ou une année de vie en bonne santé (Quality adjusted life years – QALY) (Drummond et al., 2015). Cela revient concrètement à estimer un ratio différentiel coût/résultat (RDCR) associé à l’intervention sous étude comparé aux autres interventions possibles. Pour juger si ce RDCR est acceptable, les économistes de la santé proposent souvent de recourir à une « valeur seuil coût/efficacité ». Cette valeur représente le montant maximum que la collectivité est prête à dépenser pour gagner une année de vie en bonne santé supplémentaire. Ce critère d’efficience implique un modèle de justice de type utilitariste. Tout d’abord, l’outil qui est utilisé le plus fréquemment pour évaluer l’efficience des interventions de santé est le QALY qui permet, d’une part, de prendre en compte l’impact de celles-ci sur la durée de vie des individus et, d’autre part, l’utilité associée aux états de santé (Brazier et al., 2007). Ensuite, l’estimation d’un RDCR implique que l’on maximise la production de gains de santé, sous contrainte budgétaire. Tous les gains individuels ont le même poids. Les ressources en santé sont réparties en fonction de la « capacité à bénéficier des individus » (Culyer et Wagstaff, 1992).

9Ces deux modèles de décision sont complémentaires. Pour estimer un ratio coût/efficacité, il convient au préalable d’estimer la balance bénéfice/risque. Par ailleurs les méthodes pour produire la preuve sont communes : ces deux modèles reposent sur une approche positiviste qui implique la production de données expérimentales et/ou d’observations systématiques. En revanche, le critère d’efficience est plus restrictif que le critère d’efficacité. Il implique non seulement de chercher à maximiser les bénéfices par rapport aux risques, mais également de chercher à maximiser le bien-être collectif. Un traitement peut donc être recommandé du point de vue du critère d’efficacité et non du point de vue du critère d’efficience.

Méthode

10La méthode repose sur deux étapes de travail.

11Une première étape de travail consiste à établir un inventaire des outils actuellement développés et des modèles de décision qu’ils sous-tendent. Une analyse exploratoire de la littérature a été réalisée sur les outils d’aide à la décision médicale disponibles actuellement et mobilisant l’IA, au moyen d’une recherche documentaire présentée dans la figure 1. L’objectif de cette analyse exploratoire de littérature n’était pas d’évaluer la pertinence des outils présentés, mais uniquement d’étudier leurs principales caractéristiques : domaine thérapeutique concerné, nature de l’information transmise au praticien (prédiction d’événements, recommandations de prise en charge, etc.), sources des données ayant servi à définir les algorithmes. Pour cette raison, les articles ont été retenus, quelle que soit leur méthodologie. Nous avons ensuite analysé ces nouveaux outils pour examiner s’ils impliquent une évolution des modèles de décision, c’est-à-dire s’ils reposent sur d’autres modèles de décision que ceux précédemment décrits (EBM et utilitarisme).

12Une seconde étape de travail consiste à définir à partir de cet inventaire une série d’interrogations éthiques.

Figure 1 : Présentation des résultats de la recherche documentaire

Figure 1 : Présentation des résultats de la recherche documentaire

Inventaire des outils actuellement développés et des modèles de décision qu’ils sous-tendent

Principales caractéristiques des outils d’aide à la décision médicale mobilisant l’AI

13Les résultats de cette recherche documentaire sont présentés dans le tableau 1. Au total, 173 articles ont été retenus. Il s’agissait le plus souvent d’études pilotes dans la mesure où les algorithmes étaient définis à partir d’échantillons de taille limitée (n<1000) et non à partir de données massives. Le plus souvent, les auteurs établissent les algorithmes à partir de dossiers de patients historiques disponibles dans des établissements (n=58) ou à partir de données de cohortes (n=12). Une seule étude proposait un algorithme établi à partir de données nationales (Lopez-de-Andres et al., 2016).

14Les outils d’aide à la décision médicale mobilisant l’AI, testés actuellement et faisant l’objet d’une publication, proposaient tous de guider le praticien en prédisant l’efficacité attendue des différentes options thérapeutiques. La majorité des études présentait des outils permettant de prédire la survenue d’événements (événement indésirable, résultat de l’intervention, survie, taux de mortalité, rémission, etc.) à partir des caractéristiques des patients (n = 48). Certaines études présentent des outils qui proposent, en complément de cette prédiction, des recommandations de prise en charge (médicaments, intervention chirurgicale, suivi) (n=20). Dix articles présentaient des outils d’aide à la décision prenant en compte certaines caractéristiques socioéconomiques des patients, en plus des caractéristiques cliniques (âge, genre, sédentarité, tabac, indice de masse corporel, etc.).

15En outre, la recherche documentaire a permis de relever un nombre important d’articles présentant l’utilisation de l’IA dans un objectif de diagnostic et non dans un objectif d’aide à la décision médicale (n=70). Ces articles étaient considérés comme hors sujet par rapport à notre étude et n’ont pas été retenus. Enfin, 15 études précisaient qu’elles utilisaient des apprentissages supervisés. Douze articles mentionnaient l’utilisation d’apprentissages supervisés et non supervisés ; il s’agissait majoritairement de revues de littérature (n=10). Aucun article présentant un outil d’aide à la décision particulier n’indiquait utiliser des méthodes d’apprentissage non supervisé.

Tableau Présentation des résultats de l’analyse exploratoire de la littérature

Année de publication (n=nombre d’articles)

2015 (n=34), 2016 (n= 10), 2017 (n= 33), 2018 (n=33), 2019 (n=54), 2020 (n=10)

Catégorie d’article (n=nombre d’articles)

Études visant à démontrer la pertinence d’un logiciel d’aide à la décision médicale mobilisant l’IA (n= 121)

Revues de littérature (n=32)

Articles théorique et/ou empirique sur le développement d’un outil mobilisé par les logiciels d’aide à la décision (n= 18)

Analyses théoriques sur les outils d’aide à la décision médicale mobilisant l’IA (n=16)

Domaines thérapeutiques (n=nombre d’articles)

Divers (n=65), Cancer (n=23), Cardiovasculaire (n=19), Psychiatrie (n= 7), Néphrologie (n=6), Chirurgie (n=9), Diabète (n=47), Médecine d’urgence (n= 5), Gynécologie (n= 5) Hépatologie (n=3), Pédiatrie (n=2), Réanimation (n=2), Ophtalmologie (n=1), Hématologie (n=1), Gérontologie (n=1), Neurologie (n=1), ORL (n=1), Rhumatologie (n=1), Soins infirmiers (n=1), Santé publique (n=1), Gérontologie (n= 1), Soins palliatifs (n= 1), Dentaire (n=1), Hépatologie (n=1)

Outcomes des logiciels d’aide à la décision présentés dans les articles

Prédiction d’événements compte tenu des caractéristiques personnelles des patients (survenue d’événements indésirables, résultats de l'intervention, survie, taux de mortalité, rémission, etc.) (n=48)

Recommandation de prise en charge (traitement médicamenteux, intervention chirurgicale, suivi) (n=20)

Vérification des interactions médicamenteuses (n=1)

Synthèse des données cliniques disponibles et ajustement en fonction des caractéristiques patients (n=2)

Sources des données ayant servi à définir les algorithmes

Dossiers de patients historiques au sein d’établissement (n=58)

Cohortes épidémiologiques (n=12)

Échantillon de patients dans le cadre d’études cliniques (n=4)

Banque d’examens diagnostiques (n=2)

Base de données de santé au niveau national (n=1)

Modèles de décision existant dans ces outils d’aide à la décision médicale mobilisant l’IA

Le critère d’efficacité établi par l’EBM renforcé par l’évaluation individualisée de la balance bénéfice/risque

16Cette revue de la littérature permet de constater que les outils actuellement développés ne remettent pas en cause le modèle de décision qui prévaut jusqu’à présent et qui repose sur l’utilisation d’un critère d’efficacité établi par l’EBM. Ils conduisent au contraire à le renforcer. Ces outils devraient en effet faciliter la recherche d’informations par les médecins sur les données scientifiques disponibles. Ils permettent également de prédire l’efficacité attendue des différentes options thérapeutiques en fonction des caractéristiques personnelles des patients (âge, genre, antécédents, comorbidités, variables biologiques et cliniques), ce qui était impossible jusqu’à présent, comme le soulignent également Pavel Hamet et Johanne Tremblay (2017) et Chayakrit Krittanawong et ses collègues (2017). Les recommandations de bonnes pratiques se limitent à formuler des préconisations pour un groupe de patients correspondant à des situations cliniques typiques (ex. individu âgé de 60 ans présentant une hypertension essentielle). Il est donc chaque fois nécessaire que le médecin s’interroge sur la pertinence de ces recommandations dans le contexte particulier dans lequel se trouve son patient (c’est-à-dire compte tenu de son âge, de ses comorbidités, de ses antécédents, et d’autres paramètres cliniques et sociodémographiques).

To be sure, rationality (not to mention the evidence-based canon) demands that the best evidence be used in patient care. But what has been called the “evidence gap” between clinical trials and individual patients (Mant 1999) afflicts us everywhere we turn. We must draw from the general and apply to the particular. (Goodman, 2002, p. 100)

17Or il est aujourd’hui techniquement possible de prédire l’efficacité attendue sur le plan individuel et de formuler des recommandations adaptées à chaque situation personnelle, grâce :

  • à la capacité des API d’identifier les caractéristiques de chaque patient, renseignées dans leurs dossiers médicaux (y compris à partir de données non structurées figurant dans les contenus textuels, tels que des comptes-rendus opératoires, bilans biologiques, notes cliniques, courriers, etc.).

  • à la possibilité d’ajuster l’estimation de l’efficacité attendue en fonction de paramètres liés à ces caractéristiques individuelles : les données de sous-groupes des essais cliniques, par exemple, renseignent sur l’impact de caractéristiques cliniques sur l’efficacité du traitement (ex. antécédents, comorbidités, âge, stade d’évolution de la maladie, etc.).

18Évaluer l’efficacité et la tolérance des traitements de façon individualisée devrait permettre un meilleur ciblage des patients bénéficiaires et non bénéficiaires.

Le critère d’efficience non pris en compte par ces outils d’aide à la décision médicale mobilisant l’IA malgré la possibilité nouvelle d’estimer des RDCR individualisés

19Nous avons constaté qu’aucun des outils décrits dans cette littérature ne prenait en compte un critère d’efficience pour guider les choix des médecins, à l’exception de Vincent Bremer et ses collègues (2018). L’absence de prise en compte de ce critère est d’autant plus remarquable que ces outils offrent des possibilités nouvelles en termes de production d’informations. En effet, ils pourraient permettre de mesurer l’impact des caractéristiques cliniques et sociodémographiques des patients à la fois sur le numérateur et le dénominateur du ratio différentiel coût/résultat (RDCR). Par exemple, l’âge des patients, leurs antécédents, les comorbidités ont un effet à la fois sur les bénéfices attendus des traitements (ex. gains d’espérance de vie et de qualité de vie, risques de complications ou d’événements indésirables, etc.) et sur les coûts (ex. coûts d’hospitalisation en cas d’événements graves de santé, coûts des traitements adjuvants, etc.). Certaines caractéristiques sociodémographiques peuvent être associées à une plus ou moins grande observance des traitements et donc avoir un impact sur l’efficacité réelle, tout comme l’environnement géographique peut avoir un impact sur la consommation de soins. Jusqu’à présent, les économistes estiment des RDCR moyens pour des populations cibles, appelées également « populations de l’indication », car les seules données d’efficacité disponibles sont des données d’efficacité moyenne. Estimer un RDCR moyen peut toutefois être considéré comme un choix par défaut. Les agences d’évaluation des technologies de santé recommandent en effet d’estimer des RDCR par sous-population dès lors qu’une variabilité des conclusions de l’évaluation est suspectée au regard d’une hétérogénéité des résultats ou des coûts (Espinoza et al., 2014 ; HAS, 2012). L’intérêt que représente l’estimation de RDCR individuels est discuté par Aukje van Gestel et ses collègues (2012), William Padula et ses collègues (2016) et Natalia Olchanski et ses collègues (2018). Elle permettrait d’atteindre plus efficacement l’objectif de maximisation de la production de gain de santé sous contrainte budgétaire en identifiant les contextes dans lesquels les traitements ne sont pas efficients, ce qui est impossible lorsque le RDCR est calculé pour l’ensemble de la population. Nous nous demandons alors si ces pratiques de mesure de RDCR individualisés seraient conformes ou non au cadre théorique de l’utilitarisme classique et de l’économie du bien-être parétienne.

  • L’utilitarisme classique désigne une théorie de justice, généralement représenté par Jérémy Bentham (1748-1832) et John Stuart Mill (1806-1873), et qui propose d’organiser la société de façon à garantir « le plus grand bonheur du plus grand nombre ». Chaque décision est évaluée en fonction de la quantité de plaisirs et de peines qu’elle engendre, sachant que chaque unité de plaisir (appelé utilité) ou de peine (appelé désutilité) a la même valeur, pour tous les individus – chacun compte pour un et pas pour plus d’un. Il est d’usage de considérer que l’application de l’éthique utilitariste à la santé conduit à répartir les ressources publiques de telle sorte que l’on maximise la somme totale des « gains de santé » sur le plan collectif au motif que les gains en santé sont générateurs de bien-être.

  • L’économie du bien-être parétienne est une branche de l’économie politique qui évalue les situations en fonction de la quantité de bien-être qu’elles engendrent, comme l’utilitarisme classique. Cependant, contrairement à l’utilitarisme classique, elle rejette les comparaisons interpersonnelles d’utilité, et privilégie des ordinales de l’utilité plutôt que des mesures cardinales.

20L’estimation de RDCR individualisés semblerait justifiée dans ces deux cadres théoriques. Bentham recommandait de prendre en compte autant que possible les circonstances qui affectent la quantité de plaisir et de peine qu’une action peut produire (Bentham, 1789 : ch. 4 et 6). Par ailleurs, l’approche parétienne recommande de mesurer l’impact de politiques sur le bien-être de chaque individu susceptible d’être affecté par la décision et d’agréger ensuite ces variations de bien-être au niveau collectif (Bodway, 2016).

21Estimer des RDCR individualisés pourrait cependant poser des difficultés du point de vue de l’acceptabilité sociale des décisions qui en découlent. Cela conduirait à ce qu’un traitement, dans une même indication, puisse être recommandé pour certains individus, et ne pas l’être pour d’autres, car le coût à consentir serait jugé collectivement trop élevé par rapport aux bénéfices qu’apporte le traitement pour ces patients particuliers. Il n’est pas certain que les collectivités soient prêtes à appliquer le critère d’efficience aussi strictement. La production d’informations nouvelles par les outils d’aide à la décision médicale mobilisant l’IA, telle que l’estimation de RDCR individualisé, pourrait donc rouvrir des débats anciens sur les modèles de justice. Ces débats présentaient jusqu’à présent un caractère relativement théorique en raison de limites informationnelles des acteurs. Ils pourraient désormais se présenter de façon pratique avec la diffusion de ces outils.

Discussion : des controverses éthiques anciennes, mais renforcées par l’utilisation de l’IA dans les outils d’aide à la décision médicale

22L’analyse de la littérature permet d’envisager que ces nouveaux outils d’aide à la décision n’impliquent pas, à ce jour, d’évolution des modèles de décision sous-jacents aux outils actuellement utilisés. Ils rendent au contraire possible leur renforcement dans des proportions jusqu’à présent limitées par les capacités informationnelles des acteurs. Les controverses éthiques qu’elles soulèvent ne sont donc pas nouvelles; en revanche, elles sont accentuées par ces nouvelles possibilités.

L’utilisation de l’IA dans l’aide à la décision médicale pourrait réouvrir les controverses entre les morales déontologique et conséquentialiste

23Les modèles de décision fondés sur le critère d’efficacité établi par l’EBM ou sur le critère d’efficience supposent tous les deux d’adhérer à une morale conséquentialiste, qui évalue le caractère juste d’une action en fonction de ses conséquences, pour l’individu concerné et la société dans son ensemble (Kerridge, Lowe et Henry, 1998). L’option juste est celle qui produit les meilleures conséquences du point de vue de l’objectif retenu (par exemple, le plus grand bonheur du plus grand nombre, selon le modèle de justice utilitariste). Cette morale conséquentialiste peut être remise en cause au nom de principes déontologiques qui jugent la moralité de l’action par principe, indépendamment de ses conséquences. Certains actes sont intrinsèquement bons (ex. pour un professionnel de santé, déployer tous les moyens possibles pour soigner son patient) ou mauvais (ex. tuer, voler, mentir, etc.) (Berten, 2004 [1996]).

24Jusqu’à présent, la possibilité pour les acteurs d’évaluer les conséquences de leurs actions était limitée par leurs capacités informationnelles : manque de temps pour se tenir au courant des preuves scientifiques les plus récentes, manque de compétences calculatoires pour déduire de ces preuves une estimation des conséquences attendues dans un contexte de décision particulier. Les outils d’aide à la décision médicale mobilisant l’IA pourraient permettre de dépasser une partie de ces difficultés et accroître la capacité des acteurs à mesurer les conséquences des différentes options médicales, et ce, grâce à une estimation individualisée de l’efficacité et de l’efficience. Ces technologies permettraient donc de mettre en œuvre plus strictement des principes de justice conséquentialistes. La question se pose toutefois de l’acceptabilité d’une application systémique des principes conséquentialistes dans la décision médicale. Certaines variables, comme l’âge, le genre ou le groupe socioéconomique peuvent par exemple avoir un impact sur l’efficacité d’intervention et donc sur leur efficience. Comme mentionné précédemment, cela pourrait conduire à ne pas recommander certaines interventions de santé pour certains patients lorsqu’elles seraient associées à un ratio coût/efficacité trop élevé. De telles pratiques pourraient alors être considérées comme injustes dans la perspective d’une morale déontologique, qui recommanderait de proposer les mêmes interventions à tous les patients présentant une maladie similaire, indépendamment de caractéristiques personnelles, au nom d’un principe d’égal accès aux soins (Lepri et al., 2016 ; Mittelstadt et Floridi, 2016). Ces dilemmes éthiques pourraient survenir de façon accrue si les outils d’aide à la décision médicale mobilisaient des techniques d’apprentissage machine (machine learning) non supervisées (Coeckelbergh, 2020 : ch. 6). En effet, l’outil serait susceptible de prendre en compte certaines caractéristiques personnelles du patient sans que le médecin en soit informé.

25Il nous semble que l’impossibilité d’évaluer l’efficience des interventions de façon individualisée a permis d’éviter en partie de nous confronter à ces dilemmes, en dehors de contextes scientifiques dans lesquels ils sont depuis longtemps discutés. Cette impossibilité laissait un espace d’incertitude dans le cadre duquel le médecin pouvait arbitrer en fonction de ses valeurs. Le dilemme entre conséquentialisme et déontologisme pourrait donc resurgir avec les outils d’aide à la décision mobilisant l’IA. Il serait alors possible de mobiliser les travaux de Rawls pour justifier de limiter ou contraindre les informations produites par ces outils d’aide à la décision. Rawls propose en effet de considérer que l’objectif de maximisation de bien-être collectif est secondaire par rapport au respect de droits fondamentaux (Rawls, 1971). Dans cet objectif, Rawls identifie une série de biens premiers qui doivent être garantis à chacun. Si Rawls ne s’est pas prononcé sur la place de la santé parmi cette liste des biens premiers sociaux, plusieurs auteurs ont étudié l’application des principes de justice rawlsiens dans le domaine des politiques de santé (Daniels, 2007). Concrètement concilier une morale conséquentialiste avec une morale déontologique, en s’appuyant sur l’approche rawlsienne, pourrait conduire à « censurer » volontairement certaines variables ou certains résultats dans les algorithmes de ces outils d’aide à la décision (Berendt et Preibusch, 2014; Floridi et Taddeo, 2016 ). Cela revient, comme le suggère Sen, à considérer que le respect des droits fondamentaux « fixe des contraintes à l’intérieur desquelles un choix social est effectué » (Sen 1993).

L’utilisation de l’IA dans l’aide à la décision médicale pourrait rouvrir les discussions sur les règles de pondération des bénéfices de santé

26Une deuxième série de questions se pose sur les systèmes de valeur utilisés par les algorithmes pour synthétiser l’information sur les bénéfices et les risques des différentes interventions. Un traitement peut, par exemple, avoir un impact positif sur la réduction de la douleur et, dans le même temps, avoir un impact négatif sur la mobilité ou les capacités fonctionnelles. De même, un traitement peut augmenter la durée de vie et dégrader la qualité de vie, ou inversement. Comment pondérer entre elles ces différentes conséquences ? En fonction des préférences individuelles, ou des contextes socioculturels, certaines dimensions ont plus de valeur que d’autres. Jusqu’à présent, la pondération entre les conséquences des interventions sur les différentes dimensions est effectuée soit par le médecin au moment de la prescription, dans le cadre d’une décision partagée avec le patient, soit au sein de groupes d’experts lorsqu’il existe une recommandation de bonnes pratiques. Dans le cadre de l’évaluation des technologies de santé, il est d’usage de distinguer la phase d’assessment durant laquelle les conséquences des interventions sont mesurées et la phase d’appraisal durant laquelle les avantages et les inconvénients des interventions sont appréciés et mis en balance, et un jugement global est finalement posé. Cette phase d’appraisal est le moment où peuvent être pris en compte des jugements de valeurs éthiques, à côté des faits scientifiquement établis. Des outils comme ceux proposés par l’évaluation économique permettent de guider ce travail de mise en balance en synthétisant les effets des interventions sur la santé des individus (grâce au QALY, par exemple). Cependant, les résultats de l’évaluation économique servent à nourrir les délibérations et non à s’y substituer.

27La question se pose donc de savoir comment ces nouveaux outils d’aide à la décision prévoient de pondérer l’ensemble de conséquences des interventions sur les différentes dimensions de la vie des individus, et comment il sera possible de justifier ces matrices de pondération dans le contexte de sociétés pluralistes, c’est-à-dire des sociétés qui admettent des conceptions variées de la vie bonne. Certains instruments ont été développés en économie de la santé (les QALY, par exemple) pour guider les décideurs publics dans cet exercice de mise en balance des avantages et des inconvénients des différentes interventions. Ces instruments utilisent les résultats d’enquêtes menées auprès de la population pour évaluer les préférences individuelles vis-à-vis des différentes dimensions de la qualité de vie. Ils ont toutefois été conçus pour guider l’allocation des ressources en santé sur le plan collectif. Ils permettent d’évaluer la valeur moyenne que les individus en population générale accordent à chacune des dimensions de la qualité de vie. Ces outils n’ont cependant pas été conçus pour guider la décision individuelle sur le choix d’un traitement. De plus, les économistes considèrent que leurs évaluations servent à nourrir les délibérations et non à s’y substituer. Il conviendra donc de voir comment ces outils d’aide à la décision médicale pourront proposer des recommandations de traitements, tout en préservant une marge d’appréciation pour les praticiens et les patients. La question se pose enfin de la responsabilité juridique des praticiens et des concepteurs de logiciels dans des situations d’événements médicaux indésirables, consécutifs à l’utilisation de ces outils ou lorsque les praticiens ont choisi de ne pas suivre les recommandations formulées par ces outils (Chopard et Musy, 2023). En France par exemple, il est considéré que les praticiens ont le droit de ne pas suivre les recommandations de bonnes pratiques lorsqu’ils estiment qu’elles ne sont pas pertinentes dans le contexte particulier dans lequel se trouve leur patient. Ils doivent cependant être en mesure de justifier leur décision (Diévart, 2014). Dans quelle mesure sera-t-il possible d’apporter une telle justification si les paramètres pris en compte par l’outil d’aide à la décision médicale ne sont pas explicites ? L’effet « boîte noire » risque de limiter la capacité des praticiens à expliciter les raisons pour lesquelles leur jugement clinique diffère de la conclusion fournie par le logiciel.

L’utilisation de l’IA dans l’aide à la décision médicale pourrait rouvrir les discussions sur la prise en compte de principes redistributifs

28Dans l’hypothèse où les outils d’aide à la décision médicale mobilisant l’IA prendraient en compte un critère d’efficience économique et proposeraient d’estimer des RDCR individualisés, cela impliquerait un renforcement du modèle de justice utilitariste et conduirait à accroître les controverses que celui-ci soulève traditionnellement. Le modèle de justice utilitariste propose de fonder les choix publics sur un objectif de maximisation de la somme des utilités individuelles. Les économistes de la santé adaptent ce cadre utilitariste en évaluant les différentes interventions de santé sous l’angle d’un objectif de maximisation de la somme des années de vie gagnées, pondérées par des scores d’utilité associée à qualité de vie (QALY). Les critiques portées contre le modèle de justice utilitariste en général et l’adaptation qu’en fait l’économie de la santé sont nombreuses. Les principales critiques portent sur l’absence de principe redistributif dans le modèle de justice utilitariste (Anand et al., 2004 : 316). Contrairement aux modèles de justice qui se sont développés ultérieurement, notamment sous l’impulsion des travaux de Rawls, l’utilitarisme ne prend pas en compte la distribution de l’outcome d’intérêt – l’utilité – dans la population. Les ressources publiques sont allouées de façon à maximiser la quantité totale de cet outcome, quelle que soit la façon dont il est réparti dans la population.

29De surcroît, l’utilisation de l’IA dans les outils d’aide à la décision médicale présente le risque d’accroître des inégalités socioéconomiques existantes. Prendre en compte la probabilité que le patient soit « observant » ou considérer l’impact de certaines caractéristiques (comme la consommation de tabac, la sédentarité, etc.) sur l’efficacité attendue de la prise en charge pourrait conduire à réduire l’accès de populations moins favorisées à certains traitements, dans la mesure où elles sont plus exposées à ce type de facteurs de risque. Comme mentionné précédemment, ces risques seraient plus élevés si les outils d’aide à la décision médicale mobilisaient des techniques d’apprentissage machine non supervisées. Le risque de discrimination envers certaines populations est soulevé de façon générale par les outils d’aide à la décision mobilisant l’IA. Bruno Lepri et ses collègues (2016) soulignent par exemple que les logiciels utilisés dans des procédures de recrutement par des services de ressources humaines, des universités ou des organismes de crédits peuvent réduire les chances de groupes sociaux d’accéder à certains postes ou à certaines ressources en raison de biais cachés. Par exemple, la réussite au diplôme ou l’accès à l’emploi peut être estimé par le logiciel comme étant moins favorable pour des individus appartenant à des groupes sociaux plus défavorisés, en fonction de leur genre ou de leur origine géographique, ce qui déprécie l’évaluation de leur dossier de candidature. Ces phénomènes de discrimination peuvent alors s’autoalimenter.

Such outcomes can be self-reinforcing, since systematically reducing individuals’ access to credit, employment and educational opportunities may worsen their situation, which can play against them in future applications (Mittelstadt et Floridi, 2016 : 2).

  • 2 Les auteurs remercient le rapporteur ayant mentionné cet enjeu dans le cadre du processus de révisi (...)

30Dans le domaine de la santé, des discriminations similaires pourraient survenir. Les études cliniques sont menées sur des populations particulières, non représentatives de la population générale. Les données d’efficacité sont donc moins nombreuses dans des populations particulières telles que les personnes âgées ou des populations ayant un accès aux soins moins privilégié, ce qui peut introduire des biais dans les algorithmes2.

L’utilisation de l’IA dans l’aide à la décision médicale pourrait rouvrir les discussions sur le modèle de production de la preuve en médecine

31Nous avons précédemment indiqué que ces nouveaux outils d’aide à la décision n’impliquaient pas de changement de modèle de décision par rapport au modèle traditionnel de l’EBM. Une question se pose cependant sur le modèle de production de la preuve produite par ces nouveaux outils d’aide à la décision médicale en fonction des différentes techniques statistiques utilisées. Les technologies d’IA sont souvent utilisées en association avec des techniques de fouille de données (data minning) qui visent à extraire de l’information de bases de données massives. Ces techniques statistiques reposent sur un cadre épistémologique distinct de celui sur lequel repose traditionnellement l’EBM. Les méthodes de fouille de données effectuent des prédictions à partir d’associations statistiques mesurées entre les différentes variables sans qu’il soit possible d’identifier de modèle théorique sous-jacent (Mullainathan et Spiess, 2017). Elles se distinguent donc à la fois de la méthodologie traditionnelle de l’essai contrôlé randomisé, qui vise à démontrer la relation de causalité entre l’intervention et les gains de santé au moyen d’un dispositif expérimental, et des méthodes économétriques fondées sur une approche structurelle. Il convient toutefois de nuancer ces distinctions. Certaines recommandations de bonnes pratiques actuelles reposent également sur la démonstration d’associations, sans que la relation de causalité ait été établie ; c’est par exemple le cas des scores de risques dans le domaine cardiovasculaire (Giroux, 2010). Par ailleurs, les données cliniques issues des essais contrôlés randomisés sont depuis longtemps complétées par des analyses statistiques non causales, par exemple pour déterminer l’efficacité des interventions dans des sous-populations, extrapoler les résultats au-delà de la durée de l’essai ou encore effectuer des comparaisons indirectes. Enfin, plusieurs auteurs discutent la possibilité d’estimer des inférences causales au moyen de méthodes de fouille de données (Grimmer, 2015 ; Shiffrin, 2015). Les controverses sur la valeur de la preuve scientifique en fonction des méthodes statistiques utilisées ne sont pas nouvelles ; elles existent depuis aussi longtemps qu’est apparu le principe d’une médecine scientifique (Fagot-Largeault et Guillin, 2012). Elles sont toutefois renouvelées par ces nouvelles techniques d’analyse des données qui nécessitent d’y réfléchir à nouveau (Kitchin, 2014).

Conclusion

32La revue de littérature qui a été réalisée a permis de confirmer le développement de nouveaux outils d’aide à la décision médicale mobilisant les technologies d’IA. Nous avons vu que ces nouveaux outils devraient plutôt conduire à renforcer les modèles de décision sous-jacents aux outils d’aide à la décision actuels en multipliant les capacités informationnelles des acteurs, plutôt que de faire évoluer ces cadres normatifs. En revanche, en renforçant ces modèles de décision, ils accroissent l’importance des questions éthiques que ceux-ci soulèvent traditionnellement. Les difficultés que rencontraient les médecins pour estimer les conséquences de leurs décisions limitaient l’application de principes conséquentialistes et permettaient finalement, dans un contexte d’incertitude, de conserver un espace d’indétermination des valeurs, en laissant chacun décider, au cas par cas. Il est possible que ces nouveaux outils accroissent l’explicitation des systèmes de valeurs choisis et rendent encore plus nécessaire l’organisation de discussions institutionnelles sur les cadres éthiques qui doivent être privilégiés.

33Par ailleurs, le développement de ces nouveaux outils nous interroge sur le rôle de l’expertise médicale et des agences d’évaluation des technologies de santé, puisque la production de recommandations de bonnes pratiques, centrées sur des cas types, peut être rendue moins nécessaire qu’elle ne l’était auparavant compte tenu de la capacité de ces outils à synthétiser directement l’information apportée par les différents essais cliniques dans le cadre de publications scientifiques. Il est probable que l’expertise s’oriente vers un travail de validation des logiciels et des algorithmes qu’ils proposent et des données sources utilisées, sachant que le modèle d’évaluation de ces logiciels reste aujourd’hui à définir.

Haut de page

Bibliographie

Anand, Sudhir, Fabienne Peter et Amartya Sen (2004), Public Health, Ethics, and Equity, Oxford, Oxford University Press.

Bentham, Jeremy (1789), An Introduction to the Principles of Morals and Legislation, Oxford, Clarendon Press.

Berendt, Bettina et Sören Preibusch (2014), « Better decision support through exploratory discrimination-aware data mining: foundations and empirical evidence », Artificial Intelligence and Law, no 22, p. 175.

Berten, André (2004 [1996]), « Déontologie », dans M. Canto-Sperber (dir.), Dictionnaire d'éthique et de philosophie morale (Tome 1), Paris, PUF, Quadrige.

Bodway, Robin (2016), « Cost-benefit analysis », dans M. D. Adler et M. Fleurbaey (dir.), The Oxford Handbook of Well-being and Public Policy, Oxford University Press.

Bothwell, Laura E. et Scott, H. Podolsky (2016), « The Emergence of the Randomized, Controlled Trial », New England Journal of Medicine, vol. 375, no 6, p. 501-504.

Brazier, John et al. (2007), Measuring and Valuing Health Benefits for Economic Evaluation, Oxford University Press, 2nd edition.

Bremer, Vincent et al. (2018), « Predicting Therapy Success and Costs for Personalized Treatment Recommendations Using Baseline Characteristics: Data-Driven Analysis », Journal of medical Internet research, vol. 20, no 8.

Chopard, Bertrand et Olivier Musy (2023), « Market for artificial intelligence in health care and compensation for medical errors », International Review of Law and Economics, vol. 75.

Cochrane, Archibald (1972), Effectiveness and efficiency, random reflections on health service, https://www.nuffieldtrust.org.uk/files/2017-01/effectiveness-and-efficiency-web-final.pdf (23 août 2023).

Coeckelbergh, Mark (2020). AI ethics, MIT Press.

Culyer, Anthony et Adam Wagstaff (1993), « Equity and equality in health and health care », Journal of Health Economics, vol. 12, no 4, p. 431-57.

Daniel, Norman (2007), Just Health: Meeting Health Needs Fairly, Cambridge university Press.

Diévart, François (2014), « Les recommandations de bonne pratique : vers une situation potentiellement paradoxale ? », Réalités cardiologiques, no 300, Mars/Avril.

Djulbegovic, Benjamin, Gordon H. Guyatt et Richard, E. Ashcroft (2009), « Epistemologic inquiries in evidence-based medicine », Cancer Control, vol. 16, no 2, p. 158-168.

Drummond, Mickael E. (2015 [1997]), Methods for the Economic Evaluation of Health Care Programmes, 1re édition.

Espinoza, Manuel et al. (2014), « The Value of Heterogeneity for Cost-Effectiveness Subgroup Analysis: Conceptual Framework and Application », Medical Decision Making, vol. 34, no 8, p. 951-964.

Evidence-Based Medicine Working Group (1992), « Evidence-based medicine. A new approach to teaching the practice of medicine », JAMA, vol. 268, no 17, p. 2420-2425.

Fagot-Largeault, Anne et Vincent Guillin (2012), « Introduction », dans A. Fagot-Largeault (dir.), L’émergence de la médecine scientifique, Paris, Editions Matériologiques, p. 11-29.

Floridi, Luciano et Mariarosaria Taddeo (2016), « What is data ethics? », Mathematical, Physical Engineering Science, vol. 374, no 2083.

Giroux, Elodie (2012), « Les modèles de risque en médecine. Quelles conséquences pour la définition des normes et pour le jugement clinique ? exemple du calcul du risque cardiovasculaire global », dans L’émergence de la médecine scientifique, Paris, Éditions Matériologiques, p. 199-215.

Goodman, Kenneth W. (2002), Ethics and Evidence-Based Medicine: Fallibility and Responsibility in Clinical Science, Cambridge University Press

Grimmer, Justin (2015), « We Are All Social Scientists Now: How Big Data, Machine Learning, and Causal Inference Work Together and Causal Inference Work Together » PS: Political Science & Politics, vol. 48, no 1, p. 80-83.

Hamet, Pavel et Johanne Tremblay (2017), « Artificial intelligence in medicine », Metabolism, DOI: 10.1016/j.metabol.2017.01.011 (23 mai 2023).

Haute autorité de santé / HAS (2012), Choices in Methods for Economic Evaluation, https://www.has-sante.fr/jcms/r_1499251/en/choices-in-methods-for-economic-evaluation (23 mai 2023).

Haute autorité de santé / HAS (2013), Patient et professionnels de santé : décider ensemble Concept, aides destinées aux patients et impact de la « décision médicale partagée », https://www.has-sante.fr/upload/docs/application/pdf/201310/12iex04_decision_medicale_partagee_mel_vd.pdf (23 mai 2023).

Kerridge, Ian, Michael Lowe et David Henry (1998), « Ethics and evidence based medicine », BMJ, no 316, https://doi.org/10.1136/bmj.316.7138.1151 (23 mai 2023).

Kitchin, Rob (2014), The Data Revolution: Big Data, Open Data, Data Infrastructures and Their Consequences, Londres, Sage Publications.

Krittanawong, Chayakrit et al. (2017), « Artificial Intelligence in Precision Cardiovascular Medicine », Journal of the American College of Cardiology, vol. 69, no 21, p. 2657-2664.

Lepri, Bruno et al. (2016), « The Tyranny of Data? The Bright and Dark Sides of Data-Driven Decision-Making for Social Good », dans T. Cerquitelli, D. Quercia et F. Pasquale (dir.), Transparent Data Mining for Big and Small Data, Studies in Big Data Series, Springer, p. 3-24.

Lopez-de-Andres, Ana et al. (2016), « Predictors of in-hospital mortality following major lower extremity amputations in type 2 diabetic patients using artificial neural networks », BMC medical research methodology, vol. 16, no 1, p. 160.

Mill, John Stuart (1863), Utilitarianism, Londres, Parker Son and Bourn, West Strand.

Mittelstadt, Brendt Daniel et Luciano Floridi (2016), « The ethics of big data: current and foreseeable issue », Science and Engineering Ethics, vol. 22, no 2, p. 303-341

Mullainathan, Sendhil et Jann Spiess (2017), « Machine Learning: An Applied Econometric Approach », Journal of Economic Perspectives, vol. 31, no 2, p. 87-106.

Olchanski, Natalia et al. (2017), « Understanding the Value of Individualized Information: The Impact of Poor Calibration or Discrimination in Outcome Prediction Models », Medical decision making, vol. 37, no 7, p. 790-801.

Organisation de coopération et de développement économiques /OCDE (2019), L’intelligence artificielle dans la société, Éditions de l’OCDE.

Padula, William et al. (2017), « Individualized cost-effectiveness analysis of patient-centered care: a case series of hospitalized patient preferences departing from practice-based guidelines », Journal of Medical Economics, vol. 20, no 3, p. 288-296.

Parkkinen, Veli-Pekka et al. (2018), Evaluating Evidence of Mechanisms in Medicine: Principles and Procedures, Springer.

Rawls, John., (1997 [1971]), Théorie de la justice, Paris, Le Seuil, Point.

Sen, Amartya (1993), Éthique et économie, 4e édition, Paris, PUF.

Shiffrin, M. Richard (2015), « Drawing causal inference from Big Data », Proceedings of the National Academy of Sciences, vol. 113, no 27, p. 7308-7309.

Sim, Ida et al. (2001), « Clinical decision support systems for the practice of evidence-based medicine », Journal of the American Medical Informatics Association, vol. 8, no 6, p. 527-534.

Sutton, Reed et al. (2020), « An overview of clinical decision support systems: benefits, risks, and strategies for success », NPJ Digital Medicine, https://doi-org/10.1038/s41746-020-0221-y.

Tröhler, Ulrich (2012), « Chapitre 1. Surmonter l’ignorance thérapeutique : un voyage à travers trois siècles », dans A. Fagot-Largeault (dir.), L’émergence de la médecine scientifique, Paris, Éditions Matériologiques, p. 31-53.

Tröhler, Ulrich (2000), To improve The evidence of medicine, The 18th century British origins of a critical approach, Royal College of Physicians of Edinburg, https://www.jameslindlibrary.org/wp-data/uploads/2014/07/Trohler-2000-to-improve.pdf (23 mai 2023).

van Gestel, Aukje et al. (2012), « The role of the expected value of individualized care in cost-effectiveness analyses and decision making », Value Health, vol. 15, no 1, p. 13-21.

Haut de page

Notes

1 Par exemple, le National Institute for Health and Care Excellence (NICE) en Grande-Bretagne, la Haute Autorité de Santé (HAS) en France, le Federaal Kenniscentrum voor de Gezondheidszorg (KCE) en Belgique, la Canada’s Drugs and Heath Technology Agency (CADTH) au Canada.

2 Les auteurs remercient le rapporteur ayant mentionné cet enjeu dans le cadre du processus de révision de l’article.

Haut de page

Table des illustrations

Titre Figure 1 : Présentation des résultats de la recherche documentaire
URL http://journals.openedition.org/ethiquepublique/docannexe/image/7984/img-1.png
Fichier image/png, 153k
Haut de page

Pour citer cet article

Référence électronique

Clémence Thébaut, Jean-Claude K. Dupont, Vincent Jolivet et Olivier Scemama, « Évaluer individuellement l’efficacité et l’efficience attendue des thérapeutiques dans l’aide à la décision médicale grâce à l’intelligence artificielle (IA) : quels enjeux éthiques ? »Éthique publique [En ligne], vol. 25, n° 1 | 2023, mis en ligne le 25 octobre 2023, consulté le 25 avril 2025. URL : http://journals.openedition.org/ethiquepublique/7984 ; DOI : https://doi.org/10.4000/ethiquepublique.7984

Haut de page

Auteurs

Clémence Thébaut

Clémence Thébaut est Maître de conférences en économie de la santé, à l’Université de Limoges, au sein du laboratoire Inserm U1094 IRD U270 EpiMaCT. Elle est également chercheure associée au LEDa-Legos de l’Université Paris-Dauphine, PSL.

Ses travaux de recherche portent sur les principes normatifs sous-jacents aux outils couramment mobilisés dans l’aide à la décision publique et sur le développement de méthodes innovantes permettant de prendre en compte des principes de justice redistributifs.

Jean-Claude K. Dupont

Jean-Claude K. Dupont est responsable de la Cellule éthique de l’Institut Pasteur, au sein de la Direction juridique (Département santé, éthique, conformité, et chercheur associé au laboratoire ETREs, composante du Centre de Recherche des Cordeliers (INSERM) à l’Université Paris Cité.

Vincent Jolivet

Vincent Jolivet est Maître de conférences en informatique au sein du laboratoire XLIM UMR CNRS no 7252 à Limoges, et Directeur de l’IAE Limoges. Ses activités de recherche portent sur les sciences informatiques telles que la synthèse d’images et les méthodes d’intelligence artificielle, mais également en collaboration sur l’usage et les impacts du numérique au sein des organisations notamment dans les secteurs du luxe et de la santé.

Olivier Scemama

Olivier Scemama est Chef du bureau Infections par le VIH, les IST, les hépatites et la tuberculose à la Direction générale de la santé, au sein du ministère de la Santé en France, responsable de l'élaboration et de la mise en œuvre des politiques de santé en matière de santé sexuelle et de lutte contre la tuberculose.

Haut de page

Droits d’auteur

Le texte et les autres éléments (illustrations, fichiers annexes importés), sont « Tous droits réservés », sauf mention contraire.

Haut de page
Rechercher dans OpenEdition Search

Vous allez être redirigé vers OpenEdition Search