Navigation – Plan du site
Les professionnels de l’évaluation. Mise en visibilité d’un groupe professionnel

Comment expliquer le succès de la méthode des expérimentations aléatoires ? Une sociographie du J-PAL

How to explain the success of randomized controlled trials? A J-PAL sociography
Arthur Jatteau

Résumés

Fondées sur une méthode quantitative d’évaluation d’impact, les expérimentations aléatoires rencontrent un vif succès depuis une dizaine d’années. Cet article vise à en explorer les raisons en mobilisant des matériaux orignaux. Le fonctionnement du laboratoire leader de cette méthode – le J-PAL – participe à la large diffusion de cette démarche. Une base de données prosopographiques inédite est mise à profit pour montrer que les capitaux scolaires et académiques des chercheurs affiliés au J-PAL constituent une piste explicative du succès des expérimentations aléatoires. Leur légitimité repose notamment sur les cursus scolaires de haut niveau de ces chercheurs, légitimité renforcée par leurs positions professionnelles prestigieuses.

Haut de page

Texte intégral

Introduction

1En 2015, Angus Deaton a obtenu le prix Nobel d’économie. Opposant notoire à la méthode de l’évaluation par assignation aléatoire, qui est revenue sur le devant de la scène en économie depuis le début des années 2000, cette distinction interroge. Marque-t-elle une exception dans la succession de récompenses obtenues par les partisans de cette méthode ces dernières années, ou signifie-t-elle la fin d’une « mode » dans l’évaluation des politiques publiques et des projets de développement ? Il est sans doute trop tôt pour le dire, mais ce « Nobel » permet, en contrepoint, de mettre en lumière la formidable ascension des expérimentations aléatoires, en particulier dans le domaine de la lutte contre la pauvreté.

2Portée principalement par un laboratoire du MIT, une des universités américaines les plus prestigieuses, le J-PAL (Poverty Action Lab), dont une des fondatrices et la figure de proue est l’économiste franco-américaine Esther Duflo, cette méthode connaît en effet un véritable succès. Sur le plan académique, puisque de nombreux chercheurs s’y sont convertis, notamment en France, comme Marc Gurgand ou Bruno Crépon. Sur le plan politique, où elle rencontre une unanimité dépassant les clivages traditionnels. Sur le plan médiatique également, avec une couverture inédite des questions d’évaluation de projets de développement, le plus souvent à travers la figure d’Esther Duflo.

  • 1 Qu’on nomme aussi « évaluations par assignation aléatoire » ou plus simplement « évaluations aléato (...)

3Les expérimentations aléatoires 1 s’appuient sur un dispositif formant deux groupes : l’un, que l’on va appeler « groupe test », à qui l’on applique un « traitement » – pour reprendre le vocabulaire indigène – c’est-à-dire un programme ou un projet, l’autre, le « groupe témoin », à qui l’on ne donne rien (Jatteau, 2013a). L’idée est de les comparer au bout d’un certain temps pour mesurer l’effet du « traitement ». Mais pour que cette comparaison ait un sens, encore faut-il qu’ils soient comparables. C’est là qu’intervient le tirage au sort. Pour que les groupes soient les plus semblables possibles, on les tire au sort parmi la population d’intérêt. Ainsi, on réduit les risques d’avoir des différences significatives entre eux. Ce caractère aléatoire est supposé fournir un supplément de scientificité qui placerait les expérimentations aléatoires au sommet de la pyramide des preuves (Banerjee & Duflo, 2009 ; Laurent et al., 2009).

  • 2 Pour se moquer de leur croyance dans les vertus de la randomisation, l’économiste Angus Deaton surn (...)

Encadré n°1
Une méthode ancienne étendue à l’économie du développement
Contrairement à ce que laissent entendre certains randomistes 2, comme Esther Duflo et Abhijit Banerjee (Banerjee & Duflo, 2011), l’usage de cette méthode n’est guère nouveau en économie. Il débute en même temps que naissent les expérimentations aléatoires, c’est-à-dire dans la première moitié du xxème siècle. La médecine n’en a pas la paternité exclusive, puisqu’on trouve des balbutiements méthodologiques en sciences de l’éducation, en psychologie ou encore en agronomie (Jatteau, 2016). Aux États-Unis, dans les années 1960-1980, les expérimentations aléatoires vont être largement mobilisées, autour de questions liées à l’emploi, au logement, aux impôts (Monnier, 1992). Des sommes très importantes y sont consacrées, avant que leur nombre diminue dans les années qui ont suivi.
À la fin des années 1990, des économistes du développement, comme Michael Kremer, ont l’idée d’utiliser cette méthode d’évaluation dans les pays en développement, pour mesurer l’impact de projets de lutte contre la pauvreté (Glewwe et al., 2004 ; Glewwe, Kremer & Moulin, 2009 ; Miguel & Kremer, 2004). Au début de la décennie suivante, avec la création du Poverty Action Lab (J-PAL) autour d’Esther Duflo et d’Abhijit Banerjee, les expérimentations aléatoires vont se multiplier, pour connaître une croissance continue jusqu’aujourd’hui. Leur nombre dépasse désormais les 700, uniquement pour celles se déroulant sous l’égide du J-PAL, sans compter celles menées par des organismes comme la Banque mondiale.

  • 3 On parle de « consensus de Washington » pour désigner l’ensemble des mesures préconisées dans les a (...)

4Le succès de la promotion de la randomisation sur la scène du développement, mais également sur celle de l’évaluation des politiques publiques (Devaux-Spatarakis, 2014), est incontestable. Comment peut-on l’expliquer ? Plusieurs éléments peuvent être avancés. En matière de développement, l’érosion du consensus de Washington 3 constitue une première piste (Labrousse, 2010). Alors que les années 1980 et 1990 voyaient dominer les préconisations néolibérales (déréglementation, privatisations, libéralisations, etc.), le constat de leur échec à l’orée des années 2000 (Berr & Combarnous, 2004) ouvre la voie à des approches alternatives. Les expérimentations aléatoires ont profité de ce relatif vide paradigmatique en proposant une approche qui n’offre plus des solutions toutes faites, mais une méthode pour déterminer les plus efficaces (Jatteau, 2013b). L’humilité originelle des randomistes, à commencer par Esther Duflo, vient ainsi contrecarrer l’arrogance des promoteurs du consensus de Washington. À ce premier facteur explicatif, propre au monde du développement, il faut ajouter la crise économique, qui se conjugue avec une contraction des dépenses publiques. Puisque l’argent est compté, il faut bien compter l’argent. Les pratiques d’évaluation sont ainsi (re)valorisées, y compris parmi les chercheurs universitaires, là où elles avaient pu être délaissées, notamment dans les années 1960-1980 aux États-Unis (Gueron, 2002). La France, où la culture de l’évaluation est plus récente et moins profonde qu’en Amérique de Nord (Barbier & Matyjasik, 2010), s’y convertit progressivement. Les expérimentations aléatoires sont alors régulièrement présentées comme le gold standard de l’évaluation. Plus globalement, elles s’inscrivent dans le mouvement croissant de l’evidence-based policy, qui vise à fonder l’action publique sur des preuves scientifiques (Laurent et al., 2009).

5Dans cet article, nous souhaitons explorer une autre hypothèse d’explication de la croissance fulgurante ces dernières années des expérimentations aléatoires. En adoptant une démarche sociographique, nous nous sommes penchés sur le fonctionnement du laboratoire leader de la randomisation, le J-PAL, ainsi que sur ses chercheurs, pour essayer de voir si ces deux éléments pouvaient apporter une explication plausible à l’extension de la randomisation. Est-ce que le fonctionnement de ce laboratoire participe en lui-même à la bonne diffusion de la méthode ? Les caractéristiques de chercheurs qui y sont affiliés constituent-elles une piste permettant de comprendre son succès ?

6Pour ce faire, nous nous appuyons sur trois types de matériaux, dont la diversité et le croisement devraient conforter la validité de nos propos. En plus d’une étude approfondie de la littérature des expérimentations aléatoires (Jatteau, 2013a), nous nous sommes particulièrement attachés à étudier la littérature grise (publications non académiques du laboratoire, articles de presse, etc.). Nous avons également mené une série d’entretiens avec les acteurs du champ de la randomisation, en allant au-delà des chercheurs eux-mêmes. Nous avons ainsi rencontré des assistants de recherche, des administratifs, ainsi que des personnels gouvernementaux, travaillant aussi bien aux États-Unis et en France que dans des pays en développement. Enfin, nous avons constitué une base de données prosopographiques, constituée essentiellement à partir des CV des chercheurs, complétés par d’autres données institutionnelles et académiques.

7Dans la première partie de cet article, nous montrerons comment le fonctionnement du laboratoire, tout entier mis au service d’une même méthode, permet une extension rapide des expérimentations aléatoires. Par son fonctionnement, sa capacité à obtenir des financements conséquents et ce que nous appelons son « militantisme méthodologique », il permet une promotion efficace de la méthode. Dans un second temps, nous nous intéresserons aux chercheurs du laboratoire. En analysant leur cursus universitaire et leurs positions professionnelles et institutionnelles, nous montrons que l’élite qu’ils constituent permet d’asseoir la légitimité de la méthode qu’ils promeuvent.

Un laboratoire de promotion de la randomisation

Un fonctionnement hiérarchique

8Le « Poverty Action Lab » (PAL) naît en 2003 au MIT, à Boston. Il est créé par trois économistes de cette université, Abhijit Banerjee, Esther Duflo et Sendhil Mullainathan, depuis parti à Harvard, qui sont très vite rejoints par Dean Karlan, de Princeton. En 2005, le PAL devient le Abdul Latif Jameel Poverty Action Lab (J-PAL), pour honorer le père d’un généreux donateur, Mohammed Abdul Latif Jameel, lui-même ancien étudiant du MIT, dont la fortune provient d’un conglomérat qu’il possède au Moyen-Orient.

9Le nombre de chercheurs affiliés au laboratoire n’a fait que croître depuis, puisqu’il est passé de quatre à sa création en 2003, à 131 en 2015, alors que le nombre d’expérimentations (terminées ou en cours) culmine à 791 4. Le nombre de pays couverts passe quant à lui de moins d’une dizaine dans les premières années à près de 70 aujourd’hui.

  • 5 En réalité, il faut y ajouter les cinq directeurs exécutifs des antennes régionales du J-PAL. Mais (...)

10Le fonctionnement du laboratoire est fortement hiérarchisé. Il existe un conseil d’administration (board of directors), comptant 24 membres 5 (soit 18,3 % des membres, ce qui en fait un organe assez large). Chargé de définir la stratégie générale du laboratoire, il se réunit au moins une fois par an. En son sein sont élus des membres qui, en plus des directeurs du J-PAL (Esther Duflo, Abhijit Banerjee, Benjamin Olken, Rachel Glennerster) et du directeur exécutif (Iqbal Dhaliwal), forment le comité exécutif. Ils se retrouvent plus régulièrement et sont chargés de gérer les affaires courantes. Le comité exécutif compte huit chercheurs aujourd’hui (soit 6,1 % des membres).

11Au-delà du Conseil d’administration et du Comité exécutif, on trouve une bureaucratie composée de nombreux postes de non-chercheurs, présents aussi bien au siège central du laboratoire, à Boston, que dans les antennes régionales, ou encore sur le terrain. Dans chaque pays où se déroulent des expérimentations du J-PAL siège un directeur-pays, qui peut être assisté par plusieurs collaborateurs. La hiérarchisation de la recherche ne se retrouve donc pas uniquement au niveau central, mais également au niveau local. Dans les bureaux qu’ouvre le J-PAL dans différents continents (où siège pour chacun un directeur-continent) comme dans les régions où ont lieu plusieurs expérimentations, par exemple celle de Busia, au Kenya, qui fut pendant longtemps le lieu où le laboratoire en menait le plus. C’est dans cette région que fut conduite une expérimentation sur l’usage de vermifuges pour réduire l’absentéisme scolaire (Miguel & Kremer, 2004), expérimentation qui reste comme une des plus célèbres du laboratoire par les effets d’externalités qu’elle montre et l’ingéniosité de son protocole. Cette structure hiérarchique se retrouve au sein même des équipes de terrain, parmi le personnel engagé sur place et induit des différences de salaires.

12Nous voyons dans cette hiérarchisation un moyen de contrôler l’unité méthodologique du laboratoire. En plaçant à des postes clés des chercheurs acquis à la randomisation et à sa promotion, on s’assure d’une certaine conformité de pensée et d’une uniformité méthodologique. Dans la volonté de promotion d’une méthode, les compétences bureaucratiques peuvent être plus importantes que les compétences académiques (Colander & Coats, 1989). Les contextes organisationnels sont en effet primordiaux pour saisir le fonctionnement de la recherche. En médecine, les questions organisationnelles ont été fondamentales dans l’avènement des essais cliniques randomisés (Löwy, 1998). Si le premier essai a finalement eu lieu au Royaume-Uni et non aux États-Unis, c’est pour des raisons logistiques – le manque de streptomycine – et non pour des questions proprement scientifiques. S’il n’y a aucune innovation méthodologique chez les randomistes à l’heure actuelle, il est permis de voir en Esther Duflo une entrepreneure de la recherche particulièrement efficace.

13Un succès tel que celui des expérimentations aléatoires sur le plan académique ne peut provenir que d’une organisation suffisamment structurée. Le mérite de cette réussite revient en partie à des figures tutélaires comme Esther Duflo, ainsi qu’à des chercheurs moins médiatiques en dehors de leur champ mais néanmoins importants comme Abhijit Banerjee, Dean Karlan ou Michael Kremer. Rien n’aurait sans doute été possible – ou en tout cas pas à la même échelle – sans ce laboratoire, avec son caractère à la fois hiérarchisé et centralisé, qui permet de contrôler le déroulement des expérimentations et particulièrement la méthode employée. Il convient cependant de ne pas exagérer la centralisation de la recherche au sein du J-PAL, en notant qu’une certaine latitude est laissée aux chercheurs dans la gestion de leurs expérimentations, la méthode étant, elle, impérative.

Encadré n°2
Quelques figures tutélaires du J-PAL
Parmi les promoteurs de la randomisation dans l’évaluation de programme, l’économiste la plus connue est sans conteste la franco-américaine Esther Duflo. Après des études à l’École normale supérieure de Paris, où elle s’oriente vers l’économie sur les conseils de Thomas Piketty, qu’elle croise lors d’un séjour de recherche à Moscou sous la direction de Jeffrey Sachs, elle obtient un doctorat au sein du MIT, à Boston. Elle poursuit sa carrière dans cette institution, obtenant de manière extrêmement précoce sa « tenure », c’est-à-dire un poste permanent. En 2003, elle crée avec Abhijit Banerjee et Sendhil Mullainathan le Poverty Action Lab, qui devient le J-PAL deux ans plus tard. À l’aide de la méthode qu’elle popularise, cette institution va propulser Esther Duflo sur le devant de la scène académique.
Abhijit Banerjee, ex-directeur de thèse d’Esther Duflo, a déjà une carrière avancée lorsqu’il se lance dans cette aventure. S’il y a joué un rôle majeur, il se met moins en avant que celle qui est désormais sa compagne. Avec Michael Kremer par exemple, ils font partie de ces chercheurs qui vont trouver dans la randomisation un second souffle à leur carrière, sans pour autant la pratiquer exclusivement.
À l’inverse, l’économiste Dean Karlan utilise aujourd’hui dans ses recherches quasi-exclusivement cette méthode. Extrêmement productif, puisqu’en matière d’expérimentations aléatoires il a collaboré avec 92 chercheurs et a publié avec 50 co-auteurs (Jatteau, 2016), il est aujourd’hui central dans le champ, même si moins médiatique qu’Esther Duflo.

  • 6 C’est-à-dire qu’ils y ont fait des études et/ou qu’ils y travaillent.

14L’étude de la composition des instances de direction (Conseil d’administration et Comité exécutif), incontournables dans la décision de lancer des expérimentations et de coopter des nouveaux membres, recèle des éléments intéressants. Alors que le laboratoire est dominé par des chercheurs exerçant aux États-Unis (71,8 % de l’ensemble), cela change au niveau de la direction. Si les chercheurs qui sont « passés » par les Etats-Unis 6 y sont représentés dans la même proportion que leur poids au sein du laboratoire, ce n’est pas le cas pour ceux qui ont un rapport avec la France, qui sont surreprésentés au sein de ces organes de direction : ils constituent 10,7 % des chercheurs, mais 20,8 % du Conseil d’administration et 25 % du Comité exécutif. On retrouve ces proportions concernant les chercheurs passés par le Royaume-Uni (ils sont 25 % à être au Conseil administration et 37,5 % au Comité exécutif, alors qu’ils ne représentent que 16,8 % de l’ensemble des affiliés). L’internationalisation de ces instances peut s’interpréter comme une volonté, consciente ou inconsciente, de s’assurer d’une diffusion élargie de la méthode. Soit parce que figurent au conseil d’administration et au comité exécutif des chercheurs de cultures différentes (si on en juge par leur pays d’études), soit parce qu’y siègent des chercheurs qui exercent à différents endroits de la planète, en particulier en France et au Royaume-Uni (en plus des États-Unis).

15L’existence d’instances de direction, ainsi que d’une hiérarchie clairement établie que ce soit au niveau géographique, comme nous l’avons mentionné, ou au niveau thématique (avec des directeurs pour les différents thèmes d’intervention du laboratoire), permet un encadrement strict de la méthode mobilisée par les chercheurs du laboratoire, qu’on retrouve rarement dans d’autres laboratoires d’économie. Une dominante existe souvent (économétrie, théorie des jeux, histoire de la pensée, etc.), mais il est particulièrement rare de se centrer à ce point sur une même méthode. Cette organisation du laboratoire permet ainsi d’en contrôler l’utilisation et la diffusion, tout en s’assurant d’une homogénéité de son usage. Nous parlons ainsi d’une « unique unité de la méthode » : une seule méthode, appliquée de manière uniforme, grâce aux différentes instances de contrôle mises en place.

Des financements favorables

16Jamais un centre de recherche comme le J-PAL n’aurait pu atteindre un tel rayonnement et une telle taille sans financements conséquents. Les sommes en jeu ici se comptent en dizaines de millions de dollars. En retour, ceux qui accèdent à la prestigieuse affiliation au J-PAL peuvent espérer des rémunérations en conséquence, suivant les pays et les régimes salariaux en vigueur (la France n’étant pas – encore ? – dans une logique de marché aussi vive que le job market américain).

  • 7 Accordées au J-PAL ou à IPA, une organisation apparentée au J-PAL.

17Étudier le financement des expérimentations aléatoires n’est guère chose aisée, tant les partenaires impliqués, au-delà du J-PAL, sont multiples et les pays concernés, nombreux. Le J-PAL compte plus de 700 partenaires, qui vont des gouvernements aux petites ONG des pays pauvres, en passant par les grandes fondations américaines. Parmi ces partenaires, on compte 72 fondations, en grande majorité américaines. Peu rendent public l’argent qu’elles distribuent, seules les plus grandes ayant généralement des grants databases qui permettent d’estimer les montants récoltés. Nous avons cherché les montants de toutes les donations distribuées par ces fondations sur leur site internet. Les plus petites, impliquées dans seulement une ou deux expérimentations, ne fournissent généralement pas d’indications. Celles qui participent le plus aux expérimentations publient en revanche les chiffres. C’est notamment le cas des fondations Hewlett, Gates, MacArthur et Ford. Nous avons ainsi recensé 51 donations entre 2003 et 2015 7, pour un montant légèrement supérieur à 60 millions de dollars. Leurs montants peuvent être élevés (jusqu’à 15 millions de dollars) et la variance assez forte. La puissance financière des fondations américaines est telle qu’elles sont à même d’influencer le choix des expérimentations et plus particulièrement des « traitements ». La fondation Gates, par exemple, a choisi à une époque de se centrer sur la lutte contre le sida, privilégiant les expérimentations à ce sujet (Baird et al., 2010). La fondation Veolia finance quant à elle des évaluations d’impact en lien avec l’entreprise, autour de l’eau par exemple (Devoto et al., 2012).

  • 8 Centre d’études et de recherches sur les qualifications.

18Quand une expérimentation est financée et qu’elle est adossée à une ONG ou à un organisme public chargé de la mettre en place (l’évaluation revenant au J-PAL), les structures d’accueil peuvent voir leurs moyens s’accroître (embauche de nouveaux collaborateurs, même temporairement, fourniture de matériels, etc.). L’argent, notamment en France, a pu constituer un argument persuasif (par exemple au Céreq 8) afin de surmonter les réticences initiales de certains. Ces financements externes ne sont pas sans conséquences sur la pratique même des expérimentations aléatoires :

« [Parlant des financeurs] “Mais vous voulez pas quand même nous trouver un effet ?”. “Allez, même si vous changez tel et tel truc”. Tu vois on a eu un autre expert économique embauché par [le financeur] qui est venu parce qu’il devait absolument trouver un effet. Ils voulaient qu’y ait quelque chose quoi. […] Nos partenaires y avait toujours un moment où ils venaient parler à nos enquêteurs pour leur rentrer dans le crâne à quel point il fallait que l’évaluation marche » (Brigitte, assistante de recherche au J-PAL).

« – [Je pose la question] Parce que quand tu dis “rentabiliser des fonds”, c’est parce que si t’as zéro et tu dis à la Fondation Gates que t’as zéro, la prochaine fois ils vont pas te refiler une grant ?
– […] ça fait pas bon genre... ça c’est sûr que ça fait pas bon genre. Et je pense que personne ne voulait prendre un tel risque, c’était pas possible » (Adrien, assistant de recherche au J-PAL).

  • 9 Notons que les économistes de l’AFD ont tiré un bilan très négatif des expérimentations aléatoires (...)

19En plus de ces fondations, il faut compter sur les sommes provenant des agences gouvernementales ou inter-gouvernementales, comme le DFID (Department for International Development) qui est l’agence de développement britannique, l’AFD (Agence française de développement) 9 et leurs équivalents espagnol, hollandais, allemand… Il en va de même pour la Banque mondiale, qui peut être considérée comme le premier partenaire du J-PAL. Abhijit Banerjee, dans une publication précoce (Banerjee, 2007), souligne le rôle d’impulsion que la Banque a assumé dans l’émergence des expérimentations aléatoires dans le monde du développement. Il note que sur les 34 expérimentations aléatoires menées alors par le J-PAL dans les pays pauvres, 24 ont été financées totalement ou en partie par la Banque mondiale, soit un peu plus de 70 %.

  • 10 Le terme est à prendre également littéralement, puisque IPA est dirigé par la propre sœur d’Esther (...)

20Dans son entreprise de promotion de la méthode aléatoire, J-PAL est aidé par une « organisation sœur », comme il est coutume de la désigner au sein du laboratoire 10, fondée par Dean Karlan, un des leaders dans le champ de la randomisation : IPA (Innovations for Poverty Action). C’est une association qui n’a pas besoin d’être adossée à une université lorsqu’elle ouvre des bureaux à l’étranger, à l’inverse du J-PAL qui doit l’être, en tant que laboratoire de recherche. Ses objectifs sont sensiblement les mêmes que ceux de l’organisation d’Esther Duflo et en pratique, elles sont souvent confondues (IPA pouvant ainsi financer des expérimentations aléatoires menées par des chercheurs du J-PAL). Comme toute association aux États-Unis, elle est tenue de publier ses rapports financiers (ce qui n’est pas le cas du J-PAL). L’évolution des recettes d’IPA montre une explosion à partir de 2007 qui est en rapport avec la multiplication des expérimentations aléatoires. Entre sa création en 2003 et 2015, soit en douze ans d’existence, IPA a multiplié ses revenus annuels par 155, soit une hausse de 52,3 % en moyenne chaque année. Sur la période 2003-2015, IPA a généré 255 millions de dollars de revenus, soit plus de 20 millions par an.

21L’étude du financement appelle plusieurs remarques. Tout d’abord, l’ordre de grandeur des sommes en jeu (plusieurs centaines de millions de dollars) apparaît extrêmement élevé pour un laboratoire récent, qui ne comptait qu’une trentaine de chercheurs cinq ans après sa création. Pour une institution universitaire se rattachant explicitement à la recherche économique, il semble bien que ces montants soient tout à fait exceptionnels. Ensuite, leur provenance interroge, puisqu’elle relève en majeure partie de fondations privées américaines. Celles-ci obéissent à leur propre agenda, qui diffère nécessairement de celui des autorités, comme de celui des chercheurs. Les formes que prennent les expérimentations aléatoires sont ainsi tributaires des priorités propres aux fondations américaines. Le coût de la méthode est trop élevé pour pouvoir s’en priver, à moins de réduire les ambitions quantitatives en termes de projets menés. Enfin, et surtout, ces sommes constituent une « force de frappe méthodologique » tout à fait conséquente, à même de faciliter la diffusion de la méthode. Au-delà de la qualité intrinsèque de la méthode des expérimentations aléatoires, les autres approches se battent à armes inégales avec les promoteurs de la randomisation.

22Nous avons également essayé de regarder du côté des rémunérations. Mais là aussi, les données sont malaisées à obtenir, dans la mesure où bon nombre de chercheurs du J-PAL travaillent dans des universités privées, sans compter que les salaires constituent seulement une partie de leurs revenus professionnels. Pour ceux exerçant dans des universités publiques, les données sont davantage accessibles, comme pour celles de Californie (Berkeley, UCLA…). Si en tête de la liste des établissements où exercent les chercheurs se trouve Harvard (avec 20 chercheurs), en deuxième position, se tient Berkeley, une institution publique, avec dix chercheurs affiliés, juste avant le MIT, qui n’en compte « que » neuf, alors que c’est l’université d’implantation originelle du laboratoire. Au total, quinze chercheurs du J-PAL travaillent dans des universités publiques californiennes. C’est évidemment très peu, mais cela permet d’ouvrir des pistes, de donner des intuitions. Le salaire brut annuel moyen de cet échantillon se situe autour de 220 000 euros. À titre de comparaison, le salaire moyen du décile supérieur des enseignants en économie dans l’enseignement supérieur aux États-Unis était de 160 000 dollars (Fourcade, Ollion & Algan, 2015). On est donc fondé à penser que cet échantillon des chercheurs du J-PAL fait partie des mieux payés de la discipline aux États-Unis. Cette surreprésentation des hauts salaires au sein du J-PAL peut être comprise dans deux sens. Dans l’un, c’est le laboratoire qui attire les chercheurs qui ont obtenu le plus de reconnaissance financière. Dans l’autre, y faire carrière semble offrir certaines perspectives financières, ce qui permet d’attirer des chercheurs de premier plan. Pour ne donner qu’un exemple à l’appui de cette affirmation, on peut préciser qu’entre 2010 et 2015, sur les six médailles Clark remises chaque année au meilleur économiste de moins de 40 ans travaillant aux États-Unis, quatre ont été décernées à des membres du J-PAL (Esther Duflo, Amy Finkelstein, Raj Chetty et Roland Fryer), ces trois derniers y étant récemment arrivés.

23Les financements dont bénéficie le J-PAL facilitent grandement la diffusion de la randomisation, à travers la multiplication des expérimentations aléatoires. Associé à ce qui semble des « retours sur investissement » favorables pour les chercheurs – quoiqu’il conviendrait de récolter des données plus précises à ce sujet – on comprend que les questions d’argent ne sont guère un obstacle, à l’heure actuelle, au succès de la méthode.

Une offensive méthodologique qui porte ses fruits

24La randomisation ne constitue pas, pour ses partisans, une méthode parmi d’autres, mais bien la meilleure de toutes : « randomized trials […] are the simplest and best way of assessing the impact of a program » (Banerjee, 2007). Les expérimentations aléatoires se situeraient ainsi au sommet de la hiérarchie des preuves et elles seules seraient à même d’en fournir de suffisamment solides (hard evidence). Parce qu’ils sont fermement convaincus de la supériorité de l’évaluation par assignation aléatoire, les randomistes participent à une vaste offensive méthodologique qui porte ses fruits.

25Le cas de la Banque mondiale est représentatif. La conversion de cette institution s’est faite en plusieurs étapes. Dans un article de 2003 (écrit avant même la création formelle du J-PAL) intitulé « The World Bank of the Future », Abhijit Banerjee et Ruimin He lui reprochent de ne pas avoir assez recours à des expérimentations aléatoires pour évaluer les programmes qu’elle finance (Banerjee & He, 2003). Puis dans un rapport de 2006 – on est alors au début du renouveau des expérimentations aléatoires – qui porte sur l’évaluation d’impact au sein de la Banque mondiale, Esther Duflo et Michael Kremer sont interrogés (Duflo, 2006 ; Kremer, 2006). La première souligne que la Banque doit se soumettre à des évaluations plus rigoureuses, en s’appuyant sur la méthode de la randomisation. Le second formule les mêmes recommandations, en ajoutant que l’institution devrait créer un fonds entièrement dédié aux expérimentations aléatoires. Les deux économistes du J-PAL se rejoignent pour conseiller à la Banque de lancer de telles évaluations. Il est reproché à l’institution un manque de sérieux dans l’évaluation des programmes publics qu’elle finance. Abhijit Banerjee va jusqu’à parler de « resistance to knowledge » de la part de la Banque mondiale (Banerjee, 2007) et Esther Duflo écrit que « the World Bank does not seem to have the role of leader and promoter of new ideas that it could have » (Duflo, 2004). La conversion de la Banque mondiale s’est alors opérée rapidement. Dès 2005, elle crée un département entièrement consacré aux questions d’évaluation, le DIME (Development impact evaluation) et, deux ans plus tard, un fonds spécifiquement consacré aux évaluations d’impact, le SIEF (Strategic impact evaluation fund) qui, s’il n’est pas entièrement dévolu à la randomisation, lui est très favorable.

26Cette « conquête méthodologique » a joué comme un appel d’air pour d’autres organisations, comme certaines agences de développement. Avoir l’assentiment d’une organisation internationale de la notoriété de la Banque mondiale témoigne d’une reconnaissance institutionnelle à même de rassurer et de convaincre les financeurs, à l’instar de l’effet que jouait la fondation Ford pour les expérimentations américaines des années 1960-1980. Ainsi, des organismes de financement, notamment des fondations privées américaines, ont, elles, pris le virage de la randomisation, allant pour certaines d’entre elles, comme la fondation Gates, jusqu’à conditionner l’octroi de financement de programmes à la mise en place d’une évaluation par assignation aléatoire.

27Cette offensive méthodologique passe également par la formation et l’information. Le J-PAL attache une grande importance à la dissémination de connaissances, en particulier d’ordre méthodologique et contribue à former de nombreux acteurs à l’évaluation d’impact, plus particulièrement randomisée. Le laboratoire organise plusieurs fois par an des MOOC (massive open online course, c’est-à-dire des formations en ligne ouvertes au plus grand nombre) et des formations, à travers le monde, destinées à initier aux problématiques liées à l’évaluation et à présenter la randomisation comme étant la meilleure option. Elles sont ouvertes à tous et sont payantes, à des prix réduits pour ceux originaires de pays pauvres. La composition des participants peut être assez hétérogène, l’originalité étant la présence de salariés d’ONG et d’organisations internationales. Ces formations ne s’adressent donc pas uniquement aux chercheurs ou aux étudiants.

28Le programme alterne des présentations en salle plénière avec des sessions en plus petits groupes. Ces formations ont donné naissance à un manuel, co-écrit par l’une des dirigeantes du J-PAL, Rachel Glennerster : Running Randomized Evaluations. A Practical Guide (Glennerster & Takavarasha, 2013). Il se veut un ouvrage de vulgarisation de la méthode et contient à ce titre très peu de formules mathématiques.

29Pour une assistante de recherche que nous avons rencontrée, il s’agit plus d’une entreprise militante, visant à convaincre du bienfondé et de la supériorité de la randomisation, que d’une formation où l’on se limite à enseigner et transmettre une méthode :

« En fait, c’est pas vraiment des congrès, c’est vraiment “on va vous apprendre ce que c’est qu’une vraie évaluation”. Ils le disent pas vraiment, mais y a un vrai côté militant derrière, y a un vrai côté “on va vous convaincre de faire des expérimentations aléatoires”. […] Pour le coup c’est vraiment : “faites des expérimentations dans vos bureaux, à la Banque mondiale, à ce que vous voulez”. Il y a un côté “témoins de Jéhovah”, on va aller répandre la bonne parole. Et en interne, y a pas vraiment de discussion... » (Nadine, assistante de recherche au J-PAL).

30Ce « militantisme méthodologique » fait penser à la foi professée par une « secte », avec ses rassemblements à la gloire de la randomisation, ses objectifs proclamés (la réduction de la pauvreté), le moyen pour y parvenir (la randomisation), les personnages charismatiques (Esther Duflo, Abhijit Banerjee, Dean Karlan…), une communion autour de valeurs partagées, etc.

  • 11 La définition des méthodes quantitatives est pour le moins étonnante et contestable : « les méthode (...)

31En France, cette volonté de présenter la randomisation comme la meilleure des méthodes est passée notamment par le Guide méthodologique pour l’évaluation des expérimentations sociales écrit par le Conseil scientifique du Fonds d’expérimentation pour la jeunesse (le FEJ) dirigé par Marc Gurgand, un des principaux économistes pratiquant les expérimentations aléatoires en France. Le fonctionnement du FEJ s’appuie sur la rencontre entre un porteur de projets (une association, une collectivité locale, etc.), désireuse de lancer un programme innovant, et un évaluateur (un laboratoire de recherche, un cabinet privé, etc.). Le guide avait vocation à expliciter aux yeux des porteurs de projets les différentes méthodes d’évaluation disponibles, sachant que tout programme financé à l’aide du FEJ se devait d’être évalué. Notons que les méthodes qualitatives n’y sont pas ignorées et qu’elles sont jugées complémentaires des quantitatives (Conseil scientifique du FEJ, 2009), même si elles occupent une moindre place et sont présentées comme moins scientifiques. Toutes les références contenues dans le guide renvoient à des articles en anglais traitant uniquement de méthodes quantitatives, ce qui contraste avec la volonté de pédagogie que l’on pouvait attendre d’une telle publication (Campy, 2011). Il est explicitement dit que les méthodes quantitatives doivent être hiérarchisées 11 et ce sont bien les expérimentations aléatoires qui arrivent en tête. À ce titre, le guide se lit largement comme un plaidoyer pro-randomisation, à tel point que la méthode apparaît « sinon imposée, du moins fortement recommandée par le Fonds d’expérimentation pour la jeunesse » (Campy, 2011).

32Dans cette stratégie d’extension de la méthode, le J-PAL émet régulièrement une série de documents, comme le font d’ailleurs d’autres organismes de recherche : les Policy Briefcase (56 à ce jour) 12. Il s’agit généralement d’une vulgarisation sur quelques pages d’un ou de plusieurs articles de recherche dans une optique de conseil aux décideurs publiques, avec à la fin des « Policy Lessons ». Ces documents participent à la promotion de la méthode de la randomisation et élargissent son audience potentielle. Particulièrement clairs et ayant recours aux couleurs et aux graphiques, ces Policy Briefcases peuvent ainsi toucher un public bien plus large que celui, restreint, des articles académiques.

33La force de persuasion des randomistes passe aussi par une forme de story-telling poussée. Tout d’abord, il y a des éléments que l’on prend soin, consciemment ou pas, de peu ou de ne pas mentionner, comme les références à l’histoire de la méthode. Cela permet de se présenter comme des innovateurs d’un point de vue méthodologique, ce qui est faux (Jatteau, 2016), alors qu’ils le sont davantage sur des aspects marketing. Puis, le discours du primat scientifique qu’attribuent les randomistes aux expérimentations aléatoires est censé convaincre, alors que rares sont les « trouvailles » à laquelle cette méthode aboutit (Quentin & Guérin, 2013). Enfin, il y a la manière dont l’on va raconter, pour ne pas dire conter, cette (re)naissance des expérimentations aléatoires. Le livre co-écrit par Esther Duflo et Abhijit Banerjee, Repenser la pauvreté (paru l’année précédente en anglais sous le titre plus ambivalent et plus provocant de Poor economics), symbolise ce rôle du story-telling (Banerjee & Duflo, 2011, 2012). Là où le précédent ouvrage d’Esther Duflo, paru en deux volumes dans la collection « La République des idées » (Duflo, 2010a, 2010b), se contentait de vulgariser les expérimentations aléatoires, Repenser la pauvreté entend franchir une marche supplémentaire. Forts des résultats de nombreuses expérimentations aléatoires, il s’agit pour les auteurs d’en tirer des leçons en matière de lutte contre la pauvreté. Ils s’attachent à assembler de nombreuses « petites » histoires, tirées d’expérimentations aléatoires ou d’anecdotes glanées au gré de leurs rencontres, afin de dessiner un grand récit sur la pauvreté, un récit « micro-fondé », pourrait-on dire. Le manque d’assise théorique de cette entreprise – savoir comment tirer des conclusions de centaines d’expériences randomisées n’est guère chose aisée – est compensé par une mise en scène de la méthode. Les auteurs font référence à des individus, pauvres, qu’ils ont croisés lors de leurs fréquents passages sur le terrain. Dans le souci de convaincre le lecteur du bienfondé de leur approche et de ses potentiels effets révolutionnaires, le récit est amené ici à jouer le rôle de « béquille empirique » (Dumez & Jeunemaître, 2005).

  • 13 Haut fonctionnaire français, Martin Hirsch a joué un rôle crucial dans le développement des expérim (...)

34Au-delà de cette production écrite, la simplicité de la méthode permet d’atteindre des sphères d’habitude rétives aux méthodes quantitatives d’évaluation. De fait, pour Glenn Harrison, le succès de la randomisation est pour une bonne part rhétorique (Harrison, 2011). Lors d’un grand rassemblement fin 2013 au MIT à l’occasion des dix ans du J-PAL, les intervenants qui se sont succédé tout au long de la journée ont largement contribué à « écrire » l’histoire du J-PAL. Le Président indonésien a adressé un message vidéo de félicitations au laboratoire, ce qui témoigne de la pénétration de ses idées au sein des plus hautes sphères politiques (Martin Hirsch figurait parmi les intervenants présents 13). Bono, le leader du groupe de musique U2, a chanté un « Happy birthday » dans une courte allocution retransmise, en soulignant l’importance du rôle du J-PAL. Au-delà de son caractère anecdotique, cette intervention souligne la capacité de ce laboratoire à toucher des « mondes » d’ordinaire inatteignables par ce genre d’institution.

35Au-delà du laboratoire lui-même, se pencher sur les chercheurs qui le composent permet de montrer à quel point le recrutement paraît sélectif. Les portes du J-PAL ne sont en effet ouvertes qu’à ceux qui sont à même de faire valoir des capitaux scolaires et académiques suffisamment élevés.

Les chercheurs du J-PAL, une élite au service d’une méthode

  • 14 Au 31 décembre 2015.

36L’étude des chercheurs que nous avons opérée s’est traduite par la construction d’une base de données prosopographiques. Nous avons mené un recueil systématique de leurs CV, que nous avons complétés par des informations quant à leur insertion dans le champ de la randomisation (affiliation au J-PAL, postes d’éditeurs dans les revues, etc.). Au total, nous avons recensé 131 chercheurs 14. L’analyse de cette base laisse apparaître le caractère hautement élitiste de ces chercheurs, ce qui ouvre une nouvelle piste d’explication à la fulgurance de l’extension de cette méthode.

Des études de haut niveau

37Se pencher sur les trajectoires scolaires est délicat lorsque l’on aborde une institution aussi internationalisée que le J-PAL. La prépondérance nord-américaine est réelle, comme nous l’avons vu plus haut. Cependant, il convient de ne pas l’exagérer : la majorité des chercheurs a fait au moins une partie de ses études à l’extérieur des États-Unis (c’est le cas de 68,9 % d’entre eux).

  • 15 Nous parlons de Bachelors car le système anglo-saxon est prépondérant dans nos données et nous le p (...)
  • 16 Afin de tester la robustesse de cette variable, nous avons également utilisé le « top 10 » des dépa (...)
  • 17 Un établissement est donc considéré d’élite s’il fait partie des universités américaines de la « Iv (...)

38Mais la variété des systèmes d’enseignement supérieur complique l’analyse dans la mesure où la comparaison des trajectoires scolaires revient à comparer ces systèmes eux-mêmes, sachant que les Bachelors obtenus par les membres du J-PAL proviennent ainsi d’une vingtaine de pays différents 15. Comment prendre en compte les grandes écoles en France, par exemple ? Pour ce faire, nous avons construit une variable « élite » censée recouvrir le prestige de certains établissements 16. Elle correspond, aux États-Unis, aux universités qui font partie de la « Ivy Plus », c’est-à-dire de la traditionnelle « Ivy League », qui exerce une forte attractivité (Lesnes, 2016), ainsi que quelques autres de notoriété au moins équivalente, comme le MIT. À ces universités américaines, nous avons ajouté les grandes écoles françaises présentes dans notre base, à savoir l’ENS, l’ENSAE, HEC et Polytechnique. Comme ce qui nous intéressait dans cette variable était le caractère prestigieux ou non de l’institution, il nous a semblé cohérent d’y ajouter l’EHESS et l’INSEE (pour les chercheurs qui en sont administrateurs). Enfin, nous avons également pris en compte dans cette analyse les trois universités anglaises les plus prestigieuses en économie, à savoir Oxford, Cambridge et la LSE (London School of Economics17.

39En matière de Bachelor, 47,5 % des chercheurs du J-PAL ont fréquenté durant leurs premières années d’études supérieures un établissement d’élite. La façon que l’on a de construire cette variable d’élite implique de ne considérer comme tel que des établissements américains, français ou anglais. Dès lors, si l’on se restreint aux chercheurs ayant fait leur Bachelor dans l’un de ces trois pays, les résultats montrent un degré de prestige encore plus élevé (64,4 %). Ces premiers chiffres témoignent d’un recrutement particulièrement élitiste du J-PAL et/ou d’un attrait des « meilleurs » étudiants pour ce laboratoire. Dans les trois pays pour lesquels on a objectivé le caractère prestigieux et sélectif des établissements, la majorité des chercheurs affiliés au J-PAL en font partie. Chez les Français en particulier, onze sur douze ont « fait » une grande école.

40Si l’on regarde l’autre spectre du cursus universitaire, on s’aperçoit sans surprise que tous les chercheurs affiliés au J-PAL, sauf un, possèdent un doctorat. Lorsque l’on regarde les établissements où ils ont soutenu leur thèse, deux universités américaines se détachent nettement : Harvard et le MIT, avec 30 pour la première et 28 pour la seconde. Comptant parmi les plus prestigieuses du pays, elles regroupent 44,6 % des chercheurs. Berkeley et Princeton viennent ensuite et le pourcentage cumulé s’élève alors à 59,2 %. Notons que l’EHESS est cinquième, avec 4,6 % de tous les doctorats soutenus, soit six. Au final, les thèses des chercheurs du J-PAL ont été obtenues pour une bonne part dans des établissements parmi les plus prestigieux du monde, puisque 73,8 % d’entre elles l’ont été dans ceux que l’on qualifie d’« élite ». Si l’on s’intéresse uniquement à ceux qui ont obtenu leur Bachelor et leur Doctorat aux États-Unis (et donc pour lesquels il est probable qu’ils aient fait toutes leurs études aux États-Unis), alors ce pourcentage culmine à 88,9 %.

41Ainsi, pour ceux ayant fait leur scolarité aux États-Unis, il est très rare de pouvoir intégrer le J-PAL sans avoir obtenu son doctorat dans une Ivy Plus. D’après nos calculs réalisés à partir de l’article de Wendy A. Stock et John J. Siegfried (Stock & Siegfried, 2015) et des données de l’administration américaine 18, la proportion des thèses en économie qui ont été soutenues ces dernières années dans ces établissements d’élite se situe autour de 20 %. Or au J-PAL, les chercheurs qui ont fait leur thèse aux États-Unis l’ont soutenue dans 80,6 % des cas dans un établissement de la « Ivy Plus » et donc d’élite. On retrouve ce même élitisme en France, même si la particularité du système scolaire hexagonal et le faible effectif des chercheurs français rendent les chiffres moins nets 19. Le tableau croisé entre les classes d’âge et l’obtention du doctorat dans un établissement d’élite nous livre des enseignements intéressants :

Tableau croisé n°1 de la classe d’âge et du doctorat en élite

Non

Oui

Total

31 à 35 ans

18.8% (5)

81.2% (20)

100.0% (25)

36 à 40 ans

30.3% (8)

69.7% (25)

100.0% (33)

41 à 50 ans

30.6% (13)

69.4% (41)

100.0% (54)

50 ans et plus

56.2% (8)

43.8% (10)

100.0% (18)

Ensemble

30.8% (34)

69.2% (96)

100.0% (130)

(% en ligne, effectifs entre parenthèses)

42Plus l’on est âgé, moins la proportion de « docteurs d’élite » est importante. Cela signifie vraisemblablement que les plus âgés ont d’autres atouts à faire valoir qu’un doctorat obtenu des années auparavant. Ce sont davantage leurs recherches et leurs positions institutionnelles et professionnelles qui leur ont permis d’intégrer le J-PAL. En revanche, pour les plus jeunes du laboratoire, soutenir sa thèse dans un établissement d’élite semble vivement recommandé, puisque 81,2 % des 31-35 ans l’ont fait, ce qui témoigne du degré d’attractivité que le laboratoire exerce sur les jeunes docteurs.

43Croiser la variable d’obtention du doctorat dans une université d’élite avec l’année d’entrée dans le laboratoire complète ces informations :

Tableau croisé n°2 de l’année d’entrée au laboratoire et du doctorat en élite

Non

Oui

Total

2003-2006

13.3% (2)

86.7% (13)

100.0% (15)

2007-2009

43.5% (10)

56.5% (13)

100.0% (23)

2010-2012

14.3% (3)

85.7% (18)

100.0% (21)

2013-2015

26.8% (19)

73.2% (52)

100.0% (71)

Total

26.2% (34)

73.8% (96)

100.0% (130)

(% en ligne et effectif entre parenthèses)

44On peut remarquer que la génération des fondateurs (période 2003-2006) avait très majoritairement soutenu (à 86,7 %) leur thèse dans des établissements d’élite, comme s’il était nécessaire de posséder suffisamment de capital scolaire pour impulser la création d’un laboratoire. Les années qui ont suivi ont été celles de l’augmentation progressive du nombre de membres. Il a fallu recruter afin d’atteindre une taille critique. C’est sans doute ce qui explique le moindre degré de sélectivité des recrutements dans les années 2007-2009, si l’on en juge par le lieu d’obtention du doctorat. Mais dans la dernière période, celui-ci est nettement remonté. Une fois le J-PAL solidement installé dans le champ, il a pu accroître ses exigences en la matière.

45À en juger par leur capital scolaire, le caractère élitiste des chercheurs affiliés au J-PAL apparaît très affirmé. Ils proviennent plus particulièrement d’établissement prestigieux. Cela peut jouer dans les deux sens. D’une part, les succès rencontrés par le laboratoire phare des expérimentations aléatoires – aussi bien en termes de financements que de gains académiques – attirent les chercheurs qui ont le plus de capitaux scolaires à faire valoir. D’autre part, le J-PAL peut se targuer de sélectionner ces mêmes chercheurs. Une telle surreprésentation de l’excellence académique contribue selon nous à la légitimation et à la diffusion de la méthode (car ces mêmes chercheurs ont également accès aux meilleures revues). Pour le dire simplement, si les « meilleurs » économistes emploient cette méthode, c’est bien qu’elle peut être considérée comme étant la « meilleure » des méthodes. Les capitaux scolaires servent l’extension de la randomisation, en la parant d’un certain prestige. Les capitaux académiques, que les randomistes possèdent en nombre, jouent dans le même sens.

Des positions professionnelles et des affiliations institutionnelles prestigieuses

  • 20 Il faut aussi prendre en compte Rachel Glennerster, qui occupe une place particulière, puisqu’elle (...)

46La presque totalité des membres du J-PAL sont des enseignants-chercheurs. Seuls six sont uniquement chercheurs (les Français qui occupent des postes de chargé de recherche, directeur de recherche, directeur d’études…) 20.

47En matière de prestige des établissements dans lesquels les économistes du J-PAL travaillent, on retrouve les résultats obtenus pour les études, puisque 54,2 % exercent dans des établissements d’élite. Si l’on se concentre sur les chercheurs travaillant aux États-Unis (ce qui revient à regarder si l’établissement appartient à la « Ivy Plus »), alors cette proportion atteint les deux tiers. En comparant ces chiffres avec les universités américaines comptant plus de 10 000 étudiants et délivrant des doctorats (de manière à comparer des établissements similaires), on note que seuls 5 % environ du corps professoral exerce au sein d’une Ivy League Plus. Cette dernière est donc largement surreprésentée au sein du J-PAL.

48Une autre manière d’apprécier le degré de sélectivité à l’entrée du J-PAL et son pouvoir d’attraction est de se pencher sur le statut de ces chercheurs et non pas seulement leur lieu d’exercice. Aux États-Unis, un certain nombre de postes d’enseignants-chercheurs sont « sponsorisés » par des mécènes. Par exemple, Esther Duflo est « Abdul Latif Jameel Professor of Poverty Alleviation and Development Economics », Abhijit Banerjee « Ford Foundation International Professor of Economics » et Michael Kremer « Gates Professor of Developing Societies ». Ces titres peuvent s’interpréter comme le signe d’une distinction supplémentaire : c’est après avoir été « professor », le grade le plus élevé de l’enseignement supérieur américain, que l’on peut devenir « “something” professor ». Près de 30 % des chercheurs du J-PAL travaillant aux États-Unis occupent ce genre de poste.

  • 21 La variable prend la valeur 1 lorsque le chercheur occupe un poste « sponsorisé », la valeur 2 lors (...)

49Comparer les statuts à l’international s’avère délicat. C’est la raison pour laquelle nous avons créé une variable hybride de niveau académique 21. Un peu plus d’un cinquième des membres du J-PAL se situe au niveau 1. En se référant aux chiffres de l’Almanach of Higher Education de 2007 publié par The Chronicle of Higher Education, les proportions d’« assistant professor » (26,6 %) et d’« associate professor » (21,3 %) correspondent à peu près à celles observées dans l’ensemble des enseignants aux États-Unis. Par contre, au J-PAL, les « professors » apparaissent largement surreprésentés, puisqu’ils sont 50 % contre uniquement 29,5 % aux États-Unis.

50Nombreux sont les chercheurs du J-PAL qui mettent sur leur CV leurs affiliations à des organisations professionnelles. Elles sont nombreuses et il n’a pas été possible de toutes les recenser. Nous nous sommes concentrés sur quatre d’entre elles, qui nous semblaient être les plus importantes et les plus répandues :

51- le NBER (National Bureau of Economic Research) est une association américaine d’économistes, créée en 1920, chargée de soutenir la recherche en économie ;

52- le BREAD (Bureau for Research and Economic Analysis of Development), une association, créée en 2002 aux États-Unis, pour promouvoir la recherche en économie du développement ;

53- le CEPR (Centre for Economic Policy Research), une organisation située à Londres et créée en 1983, qui vise à « enhance the quality of economic policy-making within Europe and beyond, by fostering high quality, policy-relevant economic research, and disseminating it widely to decision-makers in the public and private sectors 22 » ;

54- l’IZA (Institute for the Study of Labor), créée en 1998, qui s’intéresse aux marchés du travail.

55La première association est centrale dans l’économie américaine et son appartenance signifie un établissement dans le champ. La seconde symbolise une certaine reconnaissance par les économistes « mainstream » du développement. La troisième peut être vue comme le pendant du NBER en Europe. La dernière est plus spécifique.

56Environ un membre du J-PAL sur deux est donc affilié au NBER. Si l’on se concentre sur ceux qui exercent aux États-Unis (aucun chercheur travaillant en France n’y est affilié, par exemple), la part dépasse les deux tiers. Le BREAD regroupe environ un tiers des membres du J-PAL. Le taux atteint 41,5 % en ne conservant que les chercheurs exerçant aux États-Unis. Pour le CEPR et l’IZA, les taux d’appartenance sont moins élevés (respectivement 18,3 % et 16 %, ce dernier pourcentage passant à 31,8 % si on se limite aux chercheurs basés en Europe).

57La pénétration institutionnelle est donc relativement forte, surtout si l’on regarde la multi-affiliation. En considérant les deux organismes qui sont basés aux États-Unis (BREAD et CEPR), on voit que 61,1 % des membres du J-PAL sont affiliés à au moins l’un des deux, et ce taux grimpe à 77,7 % chez ceux qui exercent aux États-Unis. En ajoutant le CEPR, ce sont 64,9 % des membres du J-PAL qui comptent au moins une affiliation, avec près de 10 % qui sont dans les trois organismes.

58L’étude des positions professionnelles et institutionnelles des chercheurs affiliés au J-PAL souligne à quel point ils sont bien placés dans le champ académique. À l’instar de ce que nous avons affirmé concernant leurs titres scolaires, ces positions sont à même d’octroyer à la méthode que ces randomistes promeuvent la légitimité et le prestige que les établissements dans lesquels ils exercent possèdent.

Conclusion

59Les facteurs explicatifs de l’indéniable succès des expérimentations aléatoires sont nombreux. Certains sont structurels – déclin du consensus de Washington, crise économique et contraction de l’aide au développement, attrait pour l’évaluation dans l’action publique, revalorisation de l’économie empirique, etc. – alors que d’autres sont davantage conjoncturels. Le fonctionnement et la composition de l’organisme leader en la matière, le J-PAL, ouvrent deux voies d’explication que nous avons explorées dans cet article.

60La première concernait l’organisation du laboratoire. Son étude montre à quel point celui-ci est structuré dans une optique de promotion de la méthode de l’évaluation par assignation aléatoire, là où de nombreuses structures de recherche ne sont pas si strictes dans les méthodes qu’emploient leurs chercheurs. Dans les études qu’il lance, le J-PAL a quasi-exclusivement recours à la randomisation. Il s’est doté d’instances de direction, qui visent à encadrer et à valider les expérimentations lancées, mais aussi d’une hiérarchie qui recouvre aussi bien les zones géographiques d’intervention que les différents thèmes qu’il traite. Ainsi, toute l’activité du laboratoire est contrôlée. La mise au jour que nous avons opérée des financements du J-PAL laisse apparaître des sommes tout à fait inhabituelles pour un laboratoire d’économie. Plusieurs dizaines de millions de dollars ont ainsi été mobilisées pour lancer des centaines d’expérimentations aléatoires. La force de frappe financière est sans comparaison et permet, là encore, d’accroître l’usage de la méthode dans des proportions exceptionnelles. S’y ajoute une entreprise de promotion de la randomisation particulièrement agressive et qui a largement porté ses fruits ces dernières années. Malgré quelques exceptions (comme l’Agence française de développement), beaucoup d’institutions, à commencer par la Banque mondiale, et de chercheurs, se sont convertis à cette méthode. Au final, cette offensive de promotion de la randomisation, largement menée par le J-PAL à l’échelle mondiale, apparaît victorieuse.

61La deuxième voie que nous avons explorée a consisté à se pencher sur ces chercheurs-évaluateurs qui participent à ce développement de l’expérimentation aléatoire. En se centrant sur ceux affiliés au J-PAL, nous avons montré qu’ils constituaient une élite au service de cette méthode. L’étude de leur trajectoire scolaire, qu’on se situe au niveau du Bachelor ou du Doctorat, montre qu’ils possèdent des diplômes relevant d’établissements particulièrement prestigieux. De la même manière, leurs positions professionnelles et institutionnelles soulignent leur appartenance à des institutions reconnues. Cette possession de capitaux scolaires et académiques d’établissements de haut niveau rejaillit selon nous sur la méthode elle-même et sur son usage. La randomisation profite ainsi, en contre-point, du prestige de ceux qui l’utilisent et pourrait être ainsi qualifiée de « méthode d’élite pour des chercheurs d’élite ».

Haut de page

Bibliographie

Baird S., Chirwa E., McIntosh C. & B. Ozler (2010), « The Short-term Impacts of a Schooling Conditional Cash Transfer Program on the Sexual Behavior of Young Women », Health economics, 19 Suppl, pp. 55-68.

Banerjee A. V. (dir.) (2007), Making Aid Work, Cambridge, The MIT Press.

Banerjee A. V. & E. Duflo (2009), « L’approche expérimentale en économie du développement », Revue d’économie politique, n° 119, pp. 691‑726.

Banerjee A. V. & E. Duflo (2011), Poor Economics: A Radical Rethinking of the Way to Fight Global Poverty, New York, PublicAffairs Editor.

Banerjee A. V. & E. Duflo (2012), Repenser la pauvreté, traduit par Maistre J., Paris, Éditions du Seuil.

Banerjee A. V. & R. He (2003), « The World Bank of the Future », American Economic Review, vol. 93, n° 2, pp. 39‑44.

Barbier J.-C. & N. Matyjasik (2010), « Évaluation des politiques publiques et quantification en France  : des relations ambiguës et contradictoires entre disciplines », Revue française de socio-économie, vol. 1, n° 5, pp. 123‑140.

Berr É. & F. Combarnous (2004), « L’impact du consensus de Washington sur les pays en développement  : une évaluation empirique », Document de travail, n° 100, Centre d’économie du développement, Université Bordeaux IV.

Campy C. (2011), « Les Groupements de créateurs  : un exemple de mise en place d’une évaluation aléatoire », Tracés, HS-11, n° 3, pp. 187‑198.

Colander D. & A. Coats (1989), The Spread of Economic Ideas, Cambridge, Cambridge University Press.

Conseil scientifique du FEJ (2009), Guide méthodologique pour l’évaluation des expérimentations sociales, Fonds d’expérimentation pour la jeunesse.

Deaton A. (2010), « Instruments, Randomization, and Learning about Development », Journal of Economic Literature, vol. 48, 2, p. 424‑455.

Devaux-Spatarakis A. (2014), La Méthode expérimentale par assignation aléatoire  : un instrument de recomposition de l’interaction entre sciences sociales et action publique en France  ?, Thèse, Bordeaux, Sciences-Po Bordeaux.

Devoto F., Duflo E., Dupas P., Parienté W. & V. Pons (2012), « Happiness on Tap: Piped Water Adoption in Urban Morocco », American Economic Journal: Economic Policy, vol. 4, n° 4, pp. 68‑99.

Duflo E. (2004), « Scaling up and Evaluation », dans Bourguignon F. & B. Pleskovic (dir.), Accelerating Development, Washington, DC and Oxford, World Bank and Oxford University Press, pp. 342‑367.

Duflo E. (2006), Evaluation Report, World Bank.

Duflo E. (2010a), Le Développement humain, Paris, Éditions du Seuil.

Duflo E. (2010b), La Politique de l’autonomie, Paris, Éditions du Seuil.

Dumez H. & A. Jeunemaître (2005), « La démarche narrative en économie », Revue économique, vol. 56, n° 4, pp. ?.

Fourcade M., Ollion É & Y. Algan (2015), « The Superiority of Economists », Journal of Economic Perspectives, vol. 29, n° 1, pp. 89‑114.

Glennerster R. & K. Takavarasha (2013), Running Randomized Evaluations: A Practical Guide, Princeton, Princeton University Press.

Glewwe P., Kremer M. & S. Moulin (2009), « Many Children Left Behind? Textbooks and Test Scores in Kenya », American Economic Journal: Applied Economics, vol. 1, n° 1, pp. 112‑135.

Glewwe P., Kremer M., Moulin S. & E. Zitzewitz (2004), « Retrospective vs. Prospective Analyses of School inputs: The Case of Flip Charts in Kenya », Journal of Development Economics, vol. 74, n° 1, pp. 251‑268.

Gueron J. M. (2002), « The Politics of Random Assignment: Implementing Studies and Affecting Policy », dans Mosteller F. & R. F. Boruch (dir.), Evidence Matters: Randomized Trials in Education Research, Brookings Institution Press, pp. 15‑49.

Harrison G. W. (2011), « Randomisation and Its Discontents », Journal of African Economies, vol. 20, n° 4, pp. 626‑652.

Jatteau A. (2013a), Les Expérimentations aléatoires en économie, Paris, Éditions La Découverte.

Jatteau A. (2013b), « Expérimenter le développement  ? Des économistes et leur terrain », Genèses, vol. 4, n° 93, pp. 8-28.

Jatteau A. (2016), Faire preuve par le chiffre ? Le cas des expérimentations aléatoires en économie, Thèse, ENS Paris Saclay.

Kremer M. (2006), Evaluation Report, World Bank.

Labrousse A. (2010), « Nouvelle économie du développement et essais cliniques randomisés : une mise en perspective d’un outil de preuve et de gouvernement », Revue de la régulation, n° 7, pp. 2‑32.

Laurent C., Baudry J., Berriet-Solliec M., Kirsch M., Perraud D., Tinel B., Trouvé A., Allsopp N., Bonnafous P., Burel F., Carneiro M. J., Giraud C., Labarthe P., Matose F. & A. Ricroch (2009), « Pourquoi s’intéresser à la notion d’“evidence-based policy” ? », Tiers Monde, n° 200, pp. 853‑873.

Lesnes C. (2016), « L’impitoyable univers de l’“Ivy League”, les huit meilleures universités américaines », Le Monde, 8 février 2016.

Löwy I. (1998), « Essais cliniques des thérapies nouvelles : une approche historique », Médecine/Sciences, vol. 14, n° 1, pp. 122‑127.

Miguel E. & M. Kremer (2004), « Worms: Identifying Impacts on Education and Health in the Presence of Treatment Externalities », Econometrica, vol. 72, n° 1, pp. 159‑217.

Monnier É. (1992), Évaluations de l’action des pouvoirs publics, Paris, Éditions Economica.

Naudet J.-D., Delarue J. & T. Bernard (2012), « Évaluations d’impact  : un outil de redevabilité  ? Les leçons tirées de l’expérience de l’AFD », Revue d’économie du développement, vol. 20, n° 4, pp. 27‑48.

Quentin A. & I. Guérin (2013), « La randomisation à l’épreuve du terrain. L’exemple du projet de microassurance SKY au Cambodge », Revue Tiers Monde, vol. 1, n° 213, pp. 179‑200.

Stock W. A. & J. J. Siegfried (2015), « The Undergraduate Origins of PhD Economists Revisited », The Journal of Economic Education, vol. 46, n° 2, pp. 150‑165.

Haut de page

Notes

1 Qu’on nomme aussi « évaluations par assignation aléatoire » ou plus simplement « évaluations aléatoires », « aléatoires » pouvant être remplacé par « randomisés ». On parle également de « randomisation ». En anglais, on parle plus systématiquement de randomized controlled trials (RCTs).

2 Pour se moquer de leur croyance dans les vertus de la randomisation, l’économiste Angus Deaton surnomme les économistes qui la pratiquent les « randomistas » (Deaton, 2010). Nous préférons le terme plus neutre de « randomiste ».

3 On parle de « consensus de Washington » pour désigner l’ensemble des mesures préconisées dans les années 1980-1990 par des grandes institutions internationales situées dans la capitale américaine, comme le Fonds monétaire international et la Banque mondiale.

4 Source : https://www.povertyactionlab.org/evaluations. Consulté le 4 novembre 2016.

5 En réalité, il faut y ajouter les cinq directeurs exécutifs des antennes régionales du J-PAL. Mais ceux-ci n’étant pas chercheurs (et donc ne figurant pas à ce titre dans la liste des professeurs affiliés au J-PAL), nous avons décidé de ne pas les inclure dans l’analyse.

6 C’est-à-dire qu’ils y ont fait des études et/ou qu’ils y travaillent.

7 Accordées au J-PAL ou à IPA, une organisation apparentée au J-PAL.

8 Centre d’études et de recherches sur les qualifications.

9 Notons que les économistes de l’AFD ont tiré un bilan très négatif des expérimentations aléatoires menées (Naudet, Delarue & Bernard, 2012). L’Agence a donc décidé de ne plus en financer.

10 Le terme est à prendre également littéralement, puisque IPA est dirigé par la propre sœur d’Esther Duflo, Annie.

11 La définition des méthodes quantitatives est pour le moins étonnante et contestable : « les méthodes qui s’appliquent sur des échantillons représentatifs (de quelques centaines à quelques milliers d’individus, voire davantage), ou méthodes quantitatives […] » (Conseil scientifique du FEJ, 2009).

12 On peut les trouver ici : http://www.povertyactionlab.org/policy-lessons (consulté le 4 novembre 2016).

13 Haut fonctionnaire français, Martin Hirsch a joué un rôle crucial dans le développement des expérimentations aléatoires en France. Il a lancé un fonds en 2009, le Fonds d’expérimentation pour la jeunesse, qui en a financé la très grande majorité.

14 Au 31 décembre 2015.

15 Nous parlons de Bachelors car le système anglo-saxon est prépondérant dans nos données et nous le prenons comme synonyme de Licences.

16 Afin de tester la robustesse de cette variable, nous avons également utilisé le « top 10 » des départements d’économie du classement de l’université de Shanghai et de celui d’IDEAS (https://ideas.repec.org/). Les résultats que nous présentons dans la suite sont globalement très proches.

17 Un établissement est donc considéré d’élite s’il fait partie des universités américaines de la « Ivy League + » (soit les « Ivy League » historiques, Brown University, Columbia University, Cornell University, Dartmouth College, Harvard University, University of Pennsylvania, Princeton University et Yale University, auxquelles on ajoute le Massachusetts Institute of Technology (MIT), Stanford University, University of Chicago et Duke University), d’une grande école française (c’est-à-dire ici : Polytechnique, l’EHESS, l’ENS, l’École d’économie de Paris, Sciences-Po et HEC, auxquelles on a ajouté l’INSEE et le CNRS) ou d’une des trois universités anglaises les plus prestigieuses (Oxford, Cambridge et la LSE).

18 http://www.nsf.gov/statistics/2016/nsf16300/data-tables.cfm. Consulté le 4 décembre 2015.

19 En effet, sur les dix Français du laboratoire qui ont un doctorat, sept l’ont soutenu dans une grande école, dont six à l’EHESS (Thomas Le Barbanchon l’ayant soutenu à l’École polytechnique). Luc Behaghel a soutenu sa thèse à l’université de Marne-la-Vallée, mais il est normalien, ce qui peut « compenser » le moindre prestige de cet établissement. Bruno Crépon (polytechnicien) a obtenu sa thèse à l’université de Paris 1, qui n’est pas une grande école mais possède un département d’économie reconnu. Seul William Parienté vient d’une filière hors-grandes écoles. Mais il a lui aussi soutenu à Paris 1.

20 Il faut aussi prendre en compte Rachel Glennerster, qui occupe une place particulière, puisqu’elle est employée à plein-temps comme directrice du J-PAL.

21 La variable prend la valeur 1 lorsque le chercheur occupe un poste « sponsorisé », la valeur 2 lorsque le chercheur est « professor », « directeur de recherche », « directeur d’études » ou « administrateur hors-classe » et la valeur 3 dans les autres cas. La limite de ce codage est qu’aucun chercheur exerçant en France ne peut être codé 1, mais il était difficile de trouver un critère objectif pour le faire.

22 Source : http://cepr.org/about-cepr. Consulté le 27 novembre 2015.

Haut de page

Pour citer cet article

Référence électronique

Arthur Jatteau, « Comment expliquer le succès de la méthode des expérimentations aléatoires ? Une sociographie du J-PAL », SociologieS [En ligne], Dossiers, Les professionnels de l’évaluation. Mise en visibilité d’un groupe professionnel, mis en ligne le 13 mars 2018, consulté le 26 mai 2018. URL : http://journals.openedition.org/sociologies/6700

Haut de page

Auteur

Arthur Jatteau

IDHES, ENS Paris Saclay (France) - arthur.jatteau@ens-paris-saclay.fr

Haut de page

Droits d’auteur

Licence Creative Commons
Les contenus de la revue SociologieS sont mis à disposition selon les termes de la Licence Creative Commons Attribution - Pas d’Utilisation Commerciale - Pas de Modification 3.0 France.

Haut de page