Causalité et contrefactualité dans l’évaluation économique des politiques publiques
Plan
Haut de pageNotes de la rédaction
Pierre-Henri Bono et Alain Trannoy sont chercheurs à Aix-Marseille Université (Aix-Marseille School of Economics), au CNRS et à l’EHESS. Alain Trannoy anime avec Jean Boutier un séminaire sur la causalité en sciences sociales à l’EHESS sur le Site de la Vieille-Charité. Les auteurs remercient Russell Davidson pour plusieurs conversations déterminantes au moment de la conception et la rédaction de cet article. Nous restons comme le veut l’usage seuls responsables des erreurs et omissions qui subsistent.
Texte intégral
Introduction
1De l’extérieur, la discipline économique est encore vue comme très imposante par son apparatus théorique mais avec comme contrepartie une part limitée laissée à la vérification empirique. Cette image héritée du passé est assez largement obsolète, et ne correspond plus à l’activité réelle des économistes d’aujourd’hui et en particulier de la jeune génération. À la limite, pour nombre des économistes des années 1960, il pouvait sembler suffisant d’énoncer une proposition pour qu’elle soit vraie, non seulement logiquement, mais empiriquement. L’activité de l’économiste professionnel était de produire des théorèmes à profusion. L’un des changements les plus significatifs concernant l’évolution de la discipline économique sans doute depuis l’origine, depuis Adam Smith, est en cours depuis une vingtaine d’années. Ce changement se fait en silence, on n’en parle ni dans la presse ni dans les médias, du moins beaucoup moins que l’on ne parle d’une crise de la science économique et de notre prétendue responsabilité, à nous les économistes universitaires, dans la crise économique qui a éclaté en 2007. Il consiste à essayer de réfuter empiriquement les propositions théoriques, d’établir empiriquement des lois ; en bref, la discipline économique est en train d’essayer de devenir poppérienne, elle se met en demeure de tester les hypothèses et de pouvoir les réfuter avec un luxe de détail et de compétence technique qui n’ont pas, nous semble-t-il, d’équivalent dans les autres sciences sociales. Quelle manifestation d’arrogance que cette assertion ! Peut-être après tout, mais elle est surtout la traduction du fait que l’économiste travaille maintenant avec de grandes bases de données quantitatives, s’agissant en tout cas des données microéconomiques, qui autorisent toutes sortes de sophistications. Tout cela pour révéler le constat peut-être étonnant pour les non-économistes que dans les séminaires de recherche en économie, depuis une dizaine d’années, on ne parle plus que de causalité. Si, à l’issue d’une tournée de séminaires, l’intervenant a échoué à faire partager le sentiment qu’il a mis au jour une relation causale, pas de quartier, pas de pitié, sa chance de publier sera infime et son papier sera déchiqueté par les rapporteurs de revues scientifiques.
- 2 Voir par exemple Hugo F. Sonnenschein, « Market Excess Demand Functions », Econometrica 40/3 (1972) (...)
2Pourquoi ce retournement de situation ? Il est à imputer selon nous au fait que si la théorie économique est mathématisée, si elle porte effectivement sur des données quantitatives, ses prédictions théoriques testables dépassent rarement la pure relation qualitative. Si la théorie économique permet de suspecter une relation de croissance ou de décroissance entre deux grandeurs, elle est rarement capable de conclure d’une façon robuste quant à la forme fonctionnelle de cette relation. La relation est-elle linéaire, logarithmique, exponentielle, quadratique, etc. ? La théorie est généralement silencieuse sur ce point. Il s’en suit que l’analogie avec la physique est, de ce côté-là, totalement fallacieuse et que la théorie économique est le plus souvent « faussement quantitative ». La meilleure preuve en est le théorème de Sonnenschein-Mantel-Debreu, établi dans les années 1972-19742. La théorie de l’équilibre général est la pierre de touche de la construction d’une théorie des prix : pourquoi les prix relatifs s’établissent-ils à un certain niveau ? À la suite de Walras, les économistes dits néoclassiques répondent qu’ils résultent d’un équilibre simultané sur l’ensemble des marchés. Sur ces marchés se rencontrent des offres et des demandes qui dépendent du prix des différents biens. Les trois auteurs ont montré que cette théorie, la plus aboutie de toute la science économique, ne permettait pas de restreindre la forme des fonctions de demande et d’offre. Elle n’était porteuse d’aucune prédiction quant à celles-ci. En effet, pour n’importe quelle fonction d’offre croissante en fonction du prix et n’importe quelle fonction de demande, cette fois-ci décroissante en fonction du prix, que l’on dessinerait sur un coin de table, il existe une économie avec des préférences des agents économiques et des ensembles de production qui sont susceptibles de les engendrer. Donc toutes les formes fonctionnelles d’une courbe d’offre ou de demande, pour autant que la première soit croissante en fonction du prix et la seconde décroissante, sont compatibles avec la théorie la plus évoluée des marchés.
3Ce n’est qu’un exemple, mais on comprendra dans ces conditions que la vérification empirique soit devenue si cruciale pour l’économiste. Quand on lui posait la question de savoir de combien varie l’emploi lorsque l’on augmente les salaires suite à l’instauration d’une taxe par exemple, l’économiste des années 1970 était totalement démuni pour offrir la moindre réponse quantitative. Il n’était pas possible de continuer dans une voie totalement théorique, sans que l’économiste perde tout crédit dans la conduite de la politique économique.
4Pour résumer, dans son fonctionnement théorique, la science économique a finalement peu de problèmes avec la notion de causalité comme l’illustre d’ailleurs le titre de l’ouvrage de son fondateur, Adam Smith, An Inquiry into the Nature and Causes of Wealth of Nations (1776). En effet, le théoricien construit des modèles censés représenter un phénomène économique qu’il souhaite étudier et c’est en étudiant ces modèles abstraits de la réalité qu’il peut faire apparaître des liens de causalité. Par exemple, lorsque le chômage diminue, les rentrées fiscales augmentent et le déficit de l’État diminue. Donc une baisse du chômage entraîne une baisse du déficit de l’État. Le théoricien produit ainsi des affirmations causales à partir desquelles en utilisant les règles de la logique il va former des prédictions qualitatives.
5Le problème que l’économiste rencontre avec la causalité survient lorsque l’on veut confronter ces affirmations causales aux données observées soit pour infirmer une affirmation, soit surtout pour en mesurer l’intensité.
- 3 David Card, « The Impact of the Mariel Boatlift on the Miami Labor Market », Industrial and Labor R (...)
- 4 D. Card et Alan B. Krueger, « Does School Quality Matter? Returns to Education and the Characterist (...)
6Dans le format qui nous est imparti, il nous est impossible de couvrir tous les concepts de la causalité utilisés par l’économiste. Nous allons nous focaliser sur un type bien particulier de causalité, celle mise en œuvre pour décider de l’impact d’une politique publique. En économie, la mise en place d’une politique publique est comparée à un choc que l’on fait subir à des agents économiques. Sont communément analysés les programmes touchant au marché du travail : ainsi Card (1990) étudie l’impact de l’immigration sur le marché du travail de la ville de Miami après l’exode dit de Mariel en 1981 dû à l’expulsion vers les États-Unis de 125 000 Cubains par le régime3. Les changements dans les méthodes scolaires sont également une cible de choix : Card et Krueger (1992) analysent la qualité des écoles et relèvent une augmentation des rendements économiques du capital humain des élèves qui ont suivi leur scolarité dans les écoles les mieux dotées4.
7Il s’agit de mesurer la réalité du pouvoir incitatif des mesures de politique économique. On a pu dire que « l’économie ne porte que sur des incitations » (all economics is about incentives). C’est à l’économiste que revient dans le concert des sciences sociales le soin de mesurer l’intensité des incitations. Pour mesurer la réponse d’un agent à ce choc, nous montrons que la mise en œuvre d’une réponse contrefactuelle est indispensable pour confirmer ou infirmer le lien causal entre la politique publique et la réponse de l’agent. Nous détaillons ensuite la méthodologie sous-jacente à la mise en œuvre de la construction des valeurs contrefactuelles en économie, ainsi que les différentes méthodes d’estimation économétrique qui permettent de mesurer la présence et l’intensité du lien causal.
8Cet article est structuré de la manière suivante. Après avoir exhibé l’origine humienne de la notion de causalité utilisée dans l’évaluation des politiques publiques dans la seconde partie, nous proposons dans la partie suivante une modélisation de la causalité en distinguant causalité nécessaire et causalité suffisante et en montrant l’importance du résultat contrefactuel pour affirmer la présence d’un lien causal de type nécessaire. Ensuite nous montrons comment la science économique a résolu le problème de la non-observabilité de la valeur contrefactuelle en faisant sien le modèle de Rubin. Nous poursuivons en évoquant toutes les possibilités qui permettent de prendre en compte les biais de composition entre le groupe de traitement et le groupe contrefactuel. Nous terminons en évoquant la critique d’Heckman sur la possibilité d’un biais endogène d’appartenance au groupe de traitement qui amène à une contestation plus radicale du modèle de Rubin. Quand nous le pouvons, nous offrons quelques dégagements sur la causalité en histoire. Nous avons tenté de maintenir le degré de formalisation à son minimum.
David Hume l’inspirateur
- 5 Pour un développement complet, on se reportera à Kevin D. Hoover, « Causality in Economics and Econ (...)
9Le point de départ5 en économie est sans conteste la réflexion de David Hume (dont l’influence sur Adam Smith est très importante). On lui doit la première formalisation de la causalité applicable aux sciences sociales. David Hume est sans aucun doute le premier à parler de la causalité dans un sens moderne. Il définit la causalité non pas en termes d’affirmation analytique, mais plutôt en termes d’expérience au sens d’habitude. Les imputations causales sont de nature empirique. Le lien causal est défini en fonction de notre attente concernant deux événements successifs. Son exemple avec la boule de billard est intéressant car il est directement applicable à l’évaluation des politiques publiques. Une boule de billard A affectée d’un mouvement heurte une boule B au repos et entraîne son mouvement. Si la boule A est une politique économique, et la boule B symbolise l’agent économique supposé incité par A et dont on espère que le comportement va être affecté par la politique économique, le parallélisme est parfait. Les deux caractéristiques principales de cette définition de la causation sont l’asymétrie et la régularité. L’asymétrie (si A cause B alors B ne cause pas A) tient, selon Hume, à la succession temporelle des événements. Et la causalité est dite régulière, c’est-à-dire qu’elle entraîne des effets reproductibles. On notera que cette seconde caractéristique intéresse particulièrement l’initiateur de la politique publique. Le lien de cause à effet n’est envisageable que par notre expérience sur la constance de la conjonction de séquences temporelles particulières. Cette définition de la causalité laisse en suspens des questions importantes comme la nature des éléments empiriques qui mettent en évidence la cause et l’effet, ou comme celle de savoir comment s’articulent expérimentation et expérience.
10Le xixe siècle voit le développement de la statistique et des premières études empiriques. John Stuart Mill (1865) développe un ensemble de méthodologies où les causes sont déduites à partir d’expériences contrôlées. Il s’oppose à la vision de Hume en soutenant que la causalité doit être déduite des expériences :
Pour faire court, l’observation, sans expérimentation (en ne supposant aucune aide de la déduction), peut déterminer la présence de séquences ou de coexistence, mais en aucun cas prouver la causalité.
- 6 John Stuart Mill, A System of Logic (1843), p. 252-253, cité par Paul W. Holland, « Statistics and (...)
[…] Nous n’avons pas encore prouvé que l’antécédent soit la cause tant que nous n’avons pas inversé le processus et provoqué les effets à l’aide de l’antécédent produit de manière artificielle, et si, lorsque nous le faisons, les effets suivent, alors l’induction est terminée6.
- 7 Clive W. J. Granger, « Investigating Causal Relations by Econometric Models and Cross-Spectral Meth (...)
11Très clairement, cette réflexion préfigure la discussion contemporaine autour de la réfutabilité empirique de la relation de causalité. Les étapes suivantes dans la pensée économique au xxe siècle – comme l’économétrie qui relie modèle économique, causalité et hypothèses d’identification (travaux de la Cowles Commission qui aboutissent à la fondation de la société d’économétrie et de la revue Econometrica), et la notion de causalité au sens de Granger (1969), où la causalité n’est plus liée à la théorie économique mais est entièrement déterminée par les données et, en l’espèce, les séries temporelles7 – empruntent des routes certes passionnantes mais qui ne sont pas reliées à la nature de la relation causale que l’on cherche à mettre en évidence dans l’évaluation d’une politique publique.
Une définition de la causalité comme conséquence d’une manipulation
- 8 John H. Goldthorpe, « Causation, Statistics, and Sociology », European Sociological Review 17/1 (20 (...)
12Comme nous l’avons dit précédemment, nous ne nous intéressons qu’à un seul type de causalité : celui que peut engendrer la mise en place d’une politique publique sur des agents économiques. Nous entendons par politique publique toute variation imposée à des grandeurs économiques comme des taux d’intérêt, des prix, taxes, subventions etc. C’est ce que Goldthorpe (2001) appelle la causalité conséquence d’une manipulation8. Dans cette vision, les causes sont des facteurs qui doivent être manipulables. Elles sont l’équivalent des traitements que l’on retrouve dans les expériences contrôlées.
- 9 « Time and Causality », Annales d’économie et de statistique, à paraître en 2012.
13Pour formaliser de manière logique notre raisonnement, nous utilisons la définition que propose Russell Davidson9. Soient A et B, deux événements. A est la manipulation d’un ou plusieurs facteurs qui constituent la cause et B la réponse systématique de cette cause sur une grandeur économique (consommation, épargne, production, emploi etc.), on parle aussi de paramètre d’intérêt. Nous disons que A cause B si :
-
i. A et B sont réels ou vrais,
-
ii. A précède B dans le temps,
-
iii. Si A n’est pas réel ou vrai, alors B ne l’est jamais.
14A représente la manipulation (la politique publique) et B l’impact de cette politique sur notre paramètre d’intérêt. Pour illustrer notre raisonnement, nous prenons comme exemple le cas d’un individu au chômage où A est l’événement associé à un programme de retour à l’emploi et B l’événement « l’individu retrouve un emploi ». Dire que A cause B signifie que le programme de retour à l’emploi a permis à l’individu de retrouver un emploi. Les trois conditions de notre définition sont bien vérifiées. (i) Le programme a bien été réalisé, l’individu y a été soumis, l’individu était bien au chômage et il a bien retrouvé un emploi, (ii) le programme est intervenu avant le retour à l’emploi, et enfin si l’individu n’avait pas participé au programme, il serait toujours au chômage (iii). Il est intéressant de noter que la condition (iii) est exprimée sous la forme d’une réfutation, on réfute que A puisse être cause de B sous la forme de la contraposée.
15Avant de poursuivre notre présentation de la causalité, il est important de différencier causalité nécessaire et causalité suffisante. On aura reconnu dans la condition (iii) plus haut la nécessité causale. Elle s’écrit en logique propositionnelle :
non A (que l’on note ¬A) implique (que l’on note →) ¬B
16Soit : sans A, il ne peut pas y avoir B. Sans le programme, le chômeur ne retrouvera pas d’emploi. Logiquement cette condition est équivalente à B implique A. A est une condition nécessaire de B.
17La suffisance demande :
A → B, ou ¬B → ¬A.
18Dès que A existe, alors B existe aussi. Si l’individu participe au programme, alors il est sûr de retrouver un emploi. La suffisance laisse ouverte la possibilité que B existe sans A, c’est-à-dire que l’individu retrouve un emploi sans pour autant participer au programme de retour à l’emploi.
19L’étape suivante du raisonnement est de faire émerger le résultat contrefactuel comme une condition indispensable de la réfutation de la relation causale.
Le résultat contrefactuel nécessaire à l’infirmation de la causalité
20Regardons maintenant, pour chaque implication logiquement possible entre A et B (les implications entre B et A n’ajoutent pas d’information supplémentaire), l’observation qui l’infirme (∧ représente l’opérateur logique et) :
A → B est infirmée par l’observation de A∧¬B,
21Si l’on observe que l’individu participe au programme et qu’il ne retrouve pas d’emploi (A∧¬B) alors le programme ne cause pas le retour à l’emploi. La suffisance causale (A → B) est infirmée.
A → ¬B est infirmée par l’observation de A∧B,
22Si l’on observe que l’individu participe au programme et qu’il retrouve un emploi (A∧B), alors nous ne pouvons rien dire sur l’efficacité du programme. Nous infirmons simplement le fait que le programme ne conduit pas nécessairement au chômage ! Il faut l’espérer en effet.
¬A → B est infirmée par l’observation de ¬A∧¬B,
23Si l’on observe que l’individu ne participe pas au programme et ne retrouve pas d’emploi (¬A∧¬B), là encore nous ne pouvons rien dire sur l’efficacité du programme. Cela infirme l’idée que la non-participation au programme condamne au chômage.
¬A → ¬B est infirmée par l’observation de ¬A∧B.
24Si l’on observe que l’individu ne participe pas au programme et retrouve un emploi (¬A∧B) alors nous pouvons rejeter le programme comme condition nécessaire au retour à l’emploi. La nécessité causale (¬A → ¬B) est infirmée.
25Ce sont donc les première et quatrième possibilités de réfutation qui sont importantes pour infirmer la causalité. Si nous voulons pouvoir infirmer la nécessité et la suffisance causale, il faut se mettre en situation d’observer à la fois A∧¬B et ¬A∧B. Nous en déduisons que pour infirmer la causalité dans sa double dimension nécessaire et suffisante, nous devons donc observer à la fois A et ¬A, c’est-à-dire, si les événements concernent un seul individu, être en mesure d’observer des mondes parallèles. Dans le cas d’espèce, être en situation d’observer ce qui se passerait pour le même individu au chômage s’il participait au programme ou s’il n’y participait pas. On conçoit que pour les disciplines qui travaillent sur la singularité, à la fois sur le plan temporel mais aussi (en partie) sur les populations étudiées – et nous pensons en premier lieu à l’histoire –, le défi soit insurmontable : elles doivent renoncer à infirmer la causalité dans toute sa complexité et accepter de travailler au cas par cas soit sur l’infirmation de la nécessité causale soit sur l’infirmation de la suffisance causale. Les placer totalement sur le même plan, comme nous l’avons fait jusqu’ici, est sans doute erroné.
26Comme dans le monde réel, on observe, pour un individu, soit A soit ¬A, on en conclut que l’on peut réfuter soit la causalité nécessaire, soit la causalité suffisante, sans faire appel à un monde contrefactuel.
27En fait, comme on s’intéresse en général aux conséquences de l’événement A, c’est qu’il s’est produit. On observe alors soit la séquence A∧B dont on ne peut rien tirer d’intéressant, soit la séquence A∧¬B dont on déduit l’infirmation de la suffisance causale. En général, dans le cas de l’évaluation d’une politique économique, on observera A et donc on sera en mesure d’infirmer (ou non) la causalité suffisante sans faire appel à un monde contrefactuel.
28C’est ainsi que Russell Davidson (2012) indique que l’économétrie structurelle, avec son jeu de test d’hypothèses, se contente d’infirmer (ou non) la suffisance causale.
- 10 Raymond Aron, Introduction à la philosophie de l’histoire. Essai sur les limites de l’objectivité h (...)
29Observons maintenant que l’histoire contrefactuelle cherche à imaginer ce qui se serait passé si A ne s’était pas passé. Elle cherche alors à infirmer la nécessité causale. Car on observerait alors soit la séquence ¬A∧B qui nous permet de réfuter la nécessité causale, soit ¬A∧¬B qui ne conduit à aucune conclusion intéressante. C’est bien ainsi que Raymond Aron (1938) définit la causalité en histoire : « Si je dis que Bismarck a été la cause de la guerre de 1866 […] j’entends que, sans la décision du chancelier, la guerre n’aurait pas éclaté (ou du moins n’aurait pas éclaté à ce moment). […] La causalité effective ne se définit que par une confrontation avec les possibles10. »
- 11 Voir le volume de juin 2010 du Journal of Economic Literature.
30Russell Davidson (2012) avance des arguments selon lesquels c’est la causalité suffisante qui est intéressante. La notion de mondes contrefactuels ouvre sur des horizons tellement étendus qu’il semble toujours possible de concevoir un monde qui permette la coexistence de la réalisation de B sans que A se produise, surtout dans le monde économique. Ce qui a pour conséquence de considérer la causalité nécessaire comme une chimère. C’est une position que l’on entend souvent à propos de l’histoire contrefactuelle, moins souvent il est vrai, à propos de l’évaluation d’un programme de politique économique, mais il est toujours intéressant de préciser où se situent les enjeux avant d’aller plus avant. Les programmes d’expérimentation liés à l’évaluation des politiques publiques avec la construction d’hypothèses contrefactuelles ont pour enjeu l’infirmation de la causalité nécessaire et donc sont beaucoup plus exigeants en cette matière que l’économétrie classique, l’économétrie dite structurelle, qui se contente de la réfutation de la causalité suffisante. Une partie de la controverse assez violente11 entre les partisans de chaque approche peut se résumer en disant que les partisans de l’évaluation de programmes reprochent à l’économétrie classique de ne pas s’être armée pour permettre de répondre à la question de l’infirmation de la causalité nécessaire, alors que les économètres classiques répondent en soulignant la grande fragilité de la construction statistique des mondes contrefactuels qui s’apparenteraient à la quête du Graal. Soulignons que la présente lecture de cette controverse en termes de type de causalité est, à notre connaissance, originale.
L’analyse causale contrefactuelle dans le cas d’un groupe d’individus
31En économie, en sociologie, en médecine, nous avons la chance de pouvoir mettre en place une étude empirique sur un groupe d’individus, contrairement généralement à l’histoire. Cela autorise une plus grande flexibilité mais en même temps est source de nouveaux problèmes.
32Pour se donner une chance de réfuter soit la causalité nécessaire, soit la causalité suffisante, nous pouvons construire un cadre expérimental où un analyste s’intéresserait à un groupe d’individus au chômage dont certains participeraient au programme de retour à l’emploi et d’autres non. Le programme de retour à l’emploi est alors le traitement. Les individus qui participent au programme font partie de ce que l’on appelle le groupe de traitement. Les individus qui ne participent pas au programme font eux partie du groupe de contrôle. L’analyste observe ensuite les individus qui trouvent un emploi à l’issue du programme. Si tous les individus qui participent au programme retrouvent un emploi (nous observons A∧B), mais aussi certains qui n’y ont pas participé (¬A∧¬B et ¬A∧B), alors seule la causalité suffisante est validée. Si seulement certains individus qui participent au programme retrouvent un emploi (A∧B et A∧¬B) et aucun de ceux qui en sont exclus (¬A∧¬B), alors seule la condition nécessaire n’est pas réfutée. Enfin, si une partie des individus participant au programme retrouve un emploi, mais aussi certains qui n’y participent pas, nous sommes dans l’impossibilité de conclure quant à l’impact du programme.
33Si la causalité peut être affirmée dans un modèle théorique, elle ne peut être induite de manière expérimentale au travers de l’observation des résultats, tout au plus pouvons-nous rejeter la non-causalité. Cependant si l’on rejette la non-causalité avec un degré de confiance suffisamment élevé, cela suffit souvent à conclure à l’efficacité d’un programme.
34Cependant, pour que cette expérience soit valide, nous avons besoin d’une condition fondamentale sous-jacente à toute évaluation de politique publique : la répartition des individus en termes de caractéristiques individuelles doit être la plus semblable possible entre les deux groupes. Là, il est utile de faire appel à la référence théorique d’une expérience purement aléatoire, en regard de laquelle les traitements par la politique publique ne sont qu’un monde imparfait et approximatif.
Le modèle causal contrefactuel de Rubin
- 12 Jerzy Splawa-Neyman, « On the Application of Probability Theory to Agricultural Experiments. Essay (...)
35Le modèle causal contrefactuel prend ses racines dans les travaux de Splawa-Neyman (1923) et Fisher (1935) dans le cadre d’expériences aléatoires, il a ensuite été étendu par Rubin (1977) en proposant un cadre plus général applicable aux sciences sociales12. Rubin propose un modèle causal où pour un même agent il existe plusieurs résultats hypothétiques, les résultats potentiels, qui sont fonction de l’exposition de l’agent au traitement.
- 13 Les agents économiques peuvent être des individus, des groupes d’individus, des villes, des régions (...)
36Ce modèle repose sur deux piliers et peut être appliqué à toutes sortes d’agents économiques. Il y a d’un côté le paramètre d’intérêt, qui représente le phénomène économique que l’on cherche à analyser. Ce paramètre d’intérêt est mesurable par l’économiste en même temps qu’un ensemble de facteurs d’influence représentés par des variables observables caractérisant l’agent économique13. L’autre versant de l’analyse causale est le choc supposé que l’on impose au paramètre d’intérêt au travers de la modification des facteurs d’influence. Ce choc qui correspond au traitement dans le cadre d’une expérience médicale peut prendre différentes formes.
- 14 Nous ne nous intéressons pas au mécanisme sous-jacent à la participation, ou non, de l’agent à la p (...)
37À ce stade, nous avons recours à une formalisation la plus légère possible pour éviter d’être imprécis. Nous nous plaçons dans le cadre simple de l’évaluation d’une politique publique qui agit sur le niveau d’un seul paramètre d’intérêt. Nous observons N agents que l’on indexe par i. Seule une partie des agents est soumise à la politique publique. Nous notons Wi la variable indicatrice qui vaut 1 si l’agent i est soumis à la politique publique et 0 s’il ne l’est pas14. Les agents qui sont soumis à la politique publique font partie du groupe de traitement, les autres du groupe de contrôle. Nous notons W le vecteur = (W1,…, Wi,,…, Wn). Pour chaque agent nous observons un ensemble de facteurs d’influence du paramètre d’intérêt. Ces facteurs d’influence sont représentés par K variables explicatives des caractéristiques propres de l’agent regroupées au sein de la matrice X de dimension N x K.
- 15 La différence entre les deux réalisations potentielles est une mesure, mais nous aurions tout à fai (...)
38Dans le modèle contrefactuel nous faisons l’hypothèse qu’il existe deux réalisations potentielles du paramètre d’intérêt que l’on note y0i et y1i. y0i représente la réalisation du paramètre d’intérêt si l’agent n’est pas soumis à la politique publique. Inversement, y1i représente la valeur du paramètre d’intérêt si l’agent est soumis à la politique. Un agent ne peut pas être observé dans les deux états. Si l’agent i est effectivement soumis à la politique, alors c’est y1i que l’on observe et y0i est alors la valeur contrefactuelle. Inversement si l’agent est exclu de la politique alors la réalisation est y0i et la valeur contrefactuelle y1i. Il faut bien avoir à l’esprit que la valeur contrefactuelle n’est pas l’opposé de la réalisation. Elle décrit juste une autre réalité : celle où l’agent se trouverait dans l’état où il n’est pas observé. De cette notion de contrefactuel, nous pouvons définir une mesure de l’effet causal de la politique sur l’agent i comme la différence ti = y1i – y0i15. L’effet de la politique est mesuré comme la différence entre le résultat du paramètre d’intérêt si l’agent est soumis à la politique avec le résultat du paramètre d’intérêt si l’agent n’était pas soumis.
39L’avantage d’utiliser des réalisations potentielles est multiple : celles-ci permettent de définir l’effet causal sans avoir à modéliser le mécanisme de participation, ni à définir une éventuelle forme fonctionnelle liant le paramètre d’intérêt et les facteurs d’influence, ni non plus à formuler des hypothèses sur les distributions des différentes variables.
- 16 C’est ce que P. W. Holland appelle « le problème fondamental de l’inférence causale » (art. cit.).
40Le problème de l’évaluation du modèle causal contrefactuel est que l’analyste n’observe un agent que pour un seul des états Wi = 0 où Wi = 116. Nous sommes dans l’incapacité de mesurer directement l’effet individuel, ti, car nous n’observons qu’une seule réalisation du paramètre d’intérêt. Il est donc nécessaire de construire de manière économétrique le résultat contrefactuel, c’est-à-dire de donner la valeur du paramètre d’intérêt pour l’état dans lequel l’agent i n’est pas observé.
41Soit yi le résultat effectivement observé, la relation entre les résultats potentiels et le résultat observé est :
Yi = Wi Yi1 (1 − Wi) Yi0 (1)
42Cette équation ne doit pas tromper le lecteur. L’opération d’addition n’est que formelle puisque quand Wi = 0, 1-Wi = 1 et vice-versa. En revanche cette écriture sous-entend qu’il n’existe pas d’interaction entre les résultats potentiels. Pour résoudre le problème d’identification concernant l’absence d’information de l’agent i dans l’état ou il n’est pas observé, nous nous intéressons à un effet agrégé sur l’ensemble de la population, le plus souvent la moyenne.
De l’individu au groupe
43Soit y1 le vecteur de l’ensemble des valeurs potentielles si tous les agents étaient soumis au traitement et soit y0 le vecteur de l’ensemble des valeurs potentielles si aucun agent n’était soumis à la politique. La solution au problème d’identification va être de s’intéresser à l’effet causal moyen sur l’ensemble de la population, t, défini comme l’espérance des effets individuels :
τ = E[Y1 − Y0] = E[Y1] − E[Y0] (2)
où E représente l’espérance mathématique. L’équation suggère que les résultats observés sur différents agents économiques, selon qu’ils sont ou non exposés au traitement, peuvent être utilisés pour connaître la valeur de t. Les agents effectivement soumis au traitement vont contribuer à l’information de E[Y1] et ceux qui en sont exclus vont fournir de l’information pour E[Y0].
44Les valeurs observées du paramètre d’intérêt sont E[Y |W = 1] = E[Y1 |W = 1] et E[Y | W = 0] = E[Y0 | W = 0] qui sont, de manière générale, des espérances différentes de E[Y1] et E[Y0]. Pour que ces espérances soient égales, nous devons faire l’hypothèse que l’attribution du traitement est indépendante de Y1 et Y0, condition que l’on peut écrire de la manière suivante :
(Y0, Y0) ⊥ W
45Ainsi sous la condition d’indépendance l’effet moyen du traitement est :
τ = E[Y1 | W = 1] – E[Y0 | W = 0]
= E[Y | W = 1] E[Y | W = 0], (3)
quantité qui peut être estimée par les moyennes des deux groupes.
- 17 Paul Gertler, « Do Conditional Cash Transfers Improve Child Health? Evidence from PROGRESA’s Contro (...)
46Notons que pour que cette stratégie soit valide, il faut que la sélection des agents à la politique publique soit faite de manière à ce qu’il n’existe pas de biais de sélection entre les deux groupes. L’idéal serait que l’affectation au traitement se fasse de manière aléatoire au sein de la population. L’exemple emblématique en économie d’une expérience aléatoire est le programme Progresa au Mexique. Ce programme avait pour but d’améliorer le bien-être des enfants en proposant des transferts d’argent à des mères sélectionnées de manière aléatoire, sous contraintes de participer à des soins prénatals, d’un suivi nutritionnel de l’enfant et d’une participation régulière de l’enfant à l’école. Les résultats de Gertler (2004) sur l’évaluation du programme ont montré que le programme était très bénéfique aux enfants et ce type de transfert a ensuite été mis en place dans d’autres pays (plus d’une trentaine selon Gertler)17.
47La résolution du modèle contrefactuel est intimement liée à la notion d’expérience aléatoire, c’est-à-dire d’un processus dans lequel l’attribution du traitement (c’est-à-dire la participation à la politique publique) des agents est distribuée de manière aléatoire. Sous réserve qu’il n’existe pas de biais de sélection entre les agents traités et ceux qui ne le sont pas, une simple comparaison des moyennes du paramètre d’intérêt permet d’évaluer l’impact moyen du traitement sur la population des agents. Cependant, la mise en place d’une expérience aléatoire est relativement difficile, mais surtout coûteuse pour des sciences sociales. Pour contourner ce problème, les praticiens ont alors cherché des politiques publiques dont la mise en œuvre s’apparente à une expérience aléatoire, on parle alors d’expérience quasi-naturelle. L’enjeu est alors de contrôler le biais entre les agents traités et ceux qui ne le sont pas.
48Diverses méthodes ont été développées pour contrôler le biais de sélection. Nous présentons dans ce qui suit leurs principales caractéristiques ainsi que les hypothèses sous-jacentes à chaque méthode d’estimation.
Contrôler le biais de sélection entre le groupe traité et non traité
49Le lien entre l’affectation au traitement et les résultats potentiels est crucial dans l’approche contrefactuelle. Comme nous l’avons vu précédemment, le cas le plus simple est lorsque le traitement est administré de manière aléatoire et donc indépendante à la fois des résultats potentiels, mais aussi des variables explicatives. Dans ce cas, mais également lors d’une expérience quasi-naturelle, un groupe de contrôle se dégage naturellement avec des caractéristiques similaires à celles du groupe de traitement, ce qui permet le recours à la méthode dite de la double différence. Cette méthode utilise la tendance temporelle du groupe de contrôle pour corriger la tendance naturelle d’évolution du groupe de traitement. C’est l’une des méthodes les plus employées pour l’évaluation des politiques publiques mais son domaine de validité est assez restreint.
- 18 Guido W. Imbens, Jeffrey M. Wooldridge, « Recent Developments in the Econometrics of Program Evalua (...)
50Cependant les exemples d’expériences aléatoires sont assez rares en économie. Les chercheurs ont alors cherché des mécanismes qui dans leurs applications pourraient s’apparenter à des expériences quasi-naturelles. Imbens et Wooldridge (2009), ainsi que Blundell et Dias (2009), proposent deux excellents survols de l’ensemble des méthodes économétriques utilisées pour résoudre le problème de l’inférence causale18.
- 19 James J. Heckman, Hidehiko Ichimura et Petra E. Todd, « Matching as an econometric evaluation estim (...)
51La première des méthodes employées fut sans conteste la régression. Chaque résultat potentiel est exprimé en fonction d’une régression, c’est-à-dire que l’on exprime le paramètre d’intérêt en fonction des caractéristiques des agents et de la participation à la politique. Si l’on dispose d’un ensemble suffisant de caractéristiques, les estimations simultanées des régressions conduisent à des estimations valides du paramètre d’intérêt. J. J. Heckman, H. Ichimura et P. E. Todd (1997) appliquent cette méthode pour évaluer les programmes d’aide de retour à l’emploi19.
52Viennent ensuite les méthodes d’appariement (Matching Method). Supposons que l’on dispose d’un nombre considérable d’agents qui ne sont pas soumis à la politique et que les caractéristiques de ces agents soient assez variées pour que l’on puisse choisir pour chaque agent du groupe de traitement un ou plusieurs agents du groupe de contrôle avec des caractéristiques identiques, alors il est possible de construire des estimations fiables de l’impact du traitement au niveau individuel en affectant à chaque agent du groupe de traitement la valeur contrefactuelle s’il ne participait pas à la politique publique du ou des agents avec qui il est apparié dans le groupe de contrôle.
- 20 C.F. Manski, « Nonparametric Bounds on Treatment Effects », American Economic Review 80/2 (1990), p (...)
- 21 C.F. Manski et John V. Pepper, « Deterrence and the Death Penalty : Partial Identification Analysis (...)
53Charles F. Manski a développé une stratégie d’estimation complètement différente des autres méthodes20. Au lieu de rechercher une estimation ponctuelle de l’effet moyen du traitement, Manski va proposer une estimation par intervalle où la valeur de l’impact du traitement est censée se situer. L’ambition sous-jacente à cette stratégie est qu’en proposant un intervalle au lieu d’une estimation ponctuelle, Manski est capable de restreindre les hypothèses d’identification et ainsi d’augmenter la crédibilité des résultats. Selon Manski, les hypothèses que font intervenir les estimations ponctuelles ne sont pas crédibles. Manski et Pepper (2011) appliquent la méthode de Manski afin d’évaluer l’effet dissuasif de la peine de mort aux États-Unis et ils montrent que d’après des hypothèses très réalistes nous ne sommes pas capables de conclure quant à un effet dissuasif ou non de la peine de mort21.
54La méthode par variables instrumentales impose de trouver une variable qui ne soit pas corrélée avec le paramètre d’intérêt, mais qui soit déterminante de la règle d’affectation du traitement (la participation à la politique). Dans le cadre linéaire simple, l’estimation par variables instrumentales identifie l’effet du traitement en supprimant le biais issu d’une affectation non aléatoire du traitement.
55La méthode par régression discontinue exploite les situations où la probabilité de participation au traitement change de manière discontinue en fonction d’une variable continue. Cette stratégie partage un grand nombre de caractéristiques de l’estimation par variable instrumentale.
56Le choix de la méthode dépend principalement de deux facteurs. Le premier est d’ordre pratique, le choix d’une méthode par rapport à une autre dépend de la quantité et de la qualité de l’information dont on dispose, c’est-à-dire du nombre de variables explicatives, chaque stratégie d’estimation nécessitant plus ou moins d’information. L’autre facteur concerne le mécanisme d’affectation du traitement. Le choix d’une méthode est fortement conditionné par ce mécanisme, car il permet de formaliser des hypothèses sur l’origine des biais de formation des groupes de contrôle et de traitement.
57Enfin nous noterons qu’au fil du temps chaque méthode a bénéficié d’améliorations à la fois dans la mise en œuvre et dans la compréhension des hypothèses sous-jacentes à chacune ; des estimations hybrides faisant appel à plusieurs stratégies ont également vu le jour.
- 22 A. D. Roy, « Some Thoughts on the Distribution of Earnings », Oxford Economic Papers, n.s., 3/2 (19 (...)
- 23 J.J. Heckman, « Econometric Causality », IZA Discussion Papers 3425 (2008).
58Jusqu’ici, on a abordé la façon de traiter un biais provoqué par le caractère non purement aléatoire de l’expérience mais on a évité de considérer le cas où des personnes pourraient s’auto-sélectionner dans l’un des deux groupes. C’est pourtant ce qui peut arriver dans le cas où faire partie du groupe de traitement présente un intérêt économique. Dans le cas d’un programme de retour à l’emploi, l’intérêt de faire partie du groupe de traitement plutôt que du groupe de contrôle est évident. La sélection dans un groupe dépend d’un comportement. L’économiste est en quelque sorte programmé pour modéliser et le mode de sélection, où ce sont par exemple ceux qui sont les plus futés ou ceux qui ont les meilleures connexions, voire ceux qui ont le plus d’argent qui ont réussi à s’introduire dans le groupe de traitement. Ils ont remporté ce que les économistes appellent d’une manière générique un tournoi et dont le tournoi au sens médiéval est juste une illustration. Le modèle classique de tournoi est dû à Roy22 ; James Heckman dans une longue série de contributions, par exemple dans son article de 2008, incorpore cette vision d’agents rationnels dans une modélisation véritablement structurelle de l’appartenance au groupe de traitement et qui constitue en quelque sorte l’antipode du modèle de Rubin qui correspondait au cas de l’expérience purement aléatoire23.
Conclusion
59Les tentatives d’Heckman pour incorporer le modèle causal contrefactuel dans l’analyse économétrique structurelle sont intéressantes du point de vue de la philosophie des sciences. Il n’est pas anodin que Donald Rubin, principal concepteur du modèle canonique qui approfondit les intuitions de Stuart Mill et de Hume, n’ait été titulaire d’aucun diplôme d’économie. Il a commencé par étudier la psychologie avant de se tourner vers les statistiques. L’énorme succès rencontré par ce modèle causal de Rubin chez les économistes a suscité de nombreuses réactions à l’université de Chicago, temple d’une économie conçue en tant que science de la rationalité individuelle sous toutes ses formes. En l’espèce, le débat porte sur l’imputation aux individus d’une volonté, consciente ou inconsciente, de faire partie du groupe de traitement ou de contrôle en fonction d’une analyse de leur propre intérêt. Le problème est que la révélation de ce type de comportement n’est peut-être pas forcément complètement fournie par l’examen des variables observables. Si tel était le cas, et si la distribution de variables inobservables importantes pour la réussite du traitement se révélait différente selon le groupe considéré, toute la procédure d’estimation de l’effet causal proposée par Rubin serait sérieusement compromise. Le débat revêt parfois une dimension dogmatique au détriment de l’enjeu scientifique, qui nous semble assez fondamental. L’une des tâches les plus ardues des sciences sociales est de séparer soigneusement dans l’efficacité d’un programme ce qui lui est dû de l’effet de sélection, qui tient au fait que les personnes qui l’expérimentent dans la vie de tous les jours sont peut-être ceux qui en avaient le plus besoin – ou du moins pensaient (ex ante) en avoir le plus besoin. La leçon d’Heckman mérite donc que l’on s’y arrête : et si le modèle de Rubin ne pouvait s’appliquer qu’à une expérience purement aléatoire, dont les conditions ont vraiment peu de chance d’être remplies dans les sciences sociales, à moins d’une rigueur dans l’expérimentation très coûteuse à obtenir ?
Notes
2 Voir par exemple Hugo F. Sonnenschein, « Market Excess Demand Functions », Econometrica 40/3 (1972), p. 549-563.
3 David Card, « The Impact of the Mariel Boatlift on the Miami Labor Market », Industrial and Labor Relations Review 43/2 (1990), p. 245-257.
4 D. Card et Alan B. Krueger, « Does School Quality Matter? Returns to Education and the Characteristics of Public Schools in the United States », The Journal of Political Economy 100/1 (1992), p. 1-40.
5 Pour un développement complet, on se reportera à Kevin D. Hoover, « Causality in Economics and Econometrics », dans Steven N. Durlauf, Lawrence E. Blume (dir.), New Palgrave Dictionnary of Economics, Londres, Palgrave Macmillan, 2007.
6 John Stuart Mill, A System of Logic (1843), p. 252-253, cité par Paul W. Holland, « Statistics and Causal Inference », Journal of the American Statistical Association (1986), p. 945-960, ici p. 950 : « Observation, in short, without experimentation (supposing no aid from deduction) can ascertain sequences and co-existences, but cannot prove causation. […] we have not yet proved that antecedent to be the cause until we have reversed the process and produced the effect by means of that antecedent artificially, and if, when we do so, the effect follows, the induction is complete. »
7 Clive W. J. Granger, « Investigating Causal Relations by Econometric Models and Cross-Spectral Methods », Econometrica 37/3 (1969), p. 424-438.
8 John H. Goldthorpe, « Causation, Statistics, and Sociology », European Sociological Review 17/1 (2001), p. 1-20.
9 « Time and Causality », Annales d’économie et de statistique, à paraître en 2012.
10 Raymond Aron, Introduction à la philosophie de l’histoire. Essai sur les limites de l’objectivité historique, Paris, Gallimard, 1981 [1938], p. 202.
11 Voir le volume de juin 2010 du Journal of Economic Literature.
12 Jerzy Splawa-Neyman, « On the Application of Probability Theory to Agricultural Experiments. Essay on Principles. Section 9 » (extraits traduits du polonais par D. Dabrowska et T. Speed), Statistical Science 5/4 (1990), p. 462-447 ; Ronald A. Fisher, The Design of Experiments, Édimbourg, Oliver and Boyd, 1935 ; Donald B. Rubin, « Assignment to Treatment Group on the Basis of a Covariate », Journal of Educational and Behavioral Statistics 2/1 (1977), p. 1-26.
13 Les agents économiques peuvent être des individus, des groupes d’individus, des villes, des régions ou même des pays.
14 Nous ne nous intéressons pas au mécanisme sous-jacent à la participation, ou non, de l’agent à la politique, Wi est considéré comme une variable aléatoire.
15 La différence entre les deux réalisations potentielles est une mesure, mais nous aurions tout à fait pu prendre le rapport des réalisations potentielles ou toute autre fonction.
16 C’est ce que P. W. Holland appelle « le problème fondamental de l’inférence causale » (art. cit.).
17 Paul Gertler, « Do Conditional Cash Transfers Improve Child Health? Evidence from PROGRESA’s Control Randomized Experiment », American Economic Review 94/2 (2004), p. 336-341.
18 Guido W. Imbens, Jeffrey M. Wooldridge, « Recent Developments in the Econometrics of Program Evaluation » Journal of Economic Literature 47/1 (2009), p. 5-86 ; Richard Blundell, Monica Costa Dias, « Alternative approaches to evaluation in empirical microeconomics », Journal of Human Resources 44/3 (2009), p. 565-640.
19 James J. Heckman, Hidehiko Ichimura et Petra E. Todd, « Matching as an econometric evaluation estimator : Evidence from evaluating a job training programme », Review of Economic Studies 64 (1997), p. 605-654.
20 C.F. Manski, « Nonparametric Bounds on Treatment Effects », American Economic Review 80/2 (1990), p. 319-323 ; id., Partial Identification of Probability Distributions, Berlin, Springer, 2003.
21 C.F. Manski et John V. Pepper, « Deterrence and the Death Penalty : Partial Identification Analysis Using Repeated Cross Sections », NBER Working Paper No. 17455 (2011).
22 A. D. Roy, « Some Thoughts on the Distribution of Earnings », Oxford Economic Papers, n.s., 3/2 (1951), p. 132-146.
23 J.J. Heckman, « Econometric Causality », IZA Discussion Papers 3425 (2008).
Haut de pagePour citer cet article
Référence papier
Pierre-Henri Bono et Alain Trannoy, « Causalité et contrefactualité dans l’évaluation économique des politiques publiques », Labyrinthe, 39 | 2012, 35-53.
Référence électronique
Pierre-Henri Bono et Alain Trannoy, « Causalité et contrefactualité dans l’évaluation économique des politiques publiques », Labyrinthe [En ligne], 39 | 2012 (2), mis en ligne le 10 janvier 2013, consulté le 18 avril 2025. URL : http://journals.openedition.org/labyrinthe/4266 ; DOI : https://doi.org/10.4000/labyrinthe.4266
Haut de pageDroits d’auteur
Le texte et les autres éléments (illustrations, fichiers annexes importés), sont « Tous droits réservés », sauf mention contraire.
Haut de page