Navigation – Plan du site

AccueilNuméros42ÉchangesRecherche et dogmatisme : de l’im...

Échanges

Recherche et dogmatisme : de l’improductivité du productivisme

Research and dogmatism: productivism’s dubious productivity
Enka Blanchard et Zacharie Boubli
p. 255-277

Résumés

Le renforcement du discours de l’urgence dans nos sociétés accroît la mise sous tension de la recherche. Elle fait l’objet d’attentes croissantes, parmi lesquelles se distingue une demande perpétuelle de productivité. Celle-ci postule, d’une part, la mesurabilité de la productivité scientifique et, d’autre part, la capacité des politiques publiques à moduler la productivité de manière efficace et efficiente. Nous proposons une critique de ces postulats fondée sur des études empiriques provenant de multiples domaines et analysant l’organisation de la recherche dans des champs variés. Le constat d’une efficacité douteuse des politiques de recherche contemporaines nous conduit à proposer l’explication d’un fondement culturel et idéologique à cet état de fait, tout en offrant des pistes pour en sortir.

Haut de page

Texte intégral

  • 1 Le domaine du soin et de la guérison se prête particulièrement aux croyances fondées sur des légit (...)
  • 2 Il a fallu douze ans à la communauté scientifique pour déceler des problèmes méthodologiques grave (...)
  • 3 Souvent, ce soupçon se cristallise autour de lignes idéologiques plutôt qu’autour de la réalité sc (...)
  • 4 Le serment d’intégrité scientifique a été mis en place dans l’arrêté du 26 août 2022 modifiant l’a (...)

1Comme le fait remarquer Lionel Obadia (2021) dans la livraison 40 de Questions de communication, la perception de l’urgence est facilement créatrice d’œillères sociales. Le phénomène est similaire à la vision en tunnel créée par les situations de stress extrême : on focalise alors l’intellect sur la résolution du problème avec une réflexion conjoncturelle et non structurelle. Le risque est alors de s’attaquer aux symptômes plutôt qu’aux causes durables. Par technophilie, les sociétés contemporaines attendent de nos jours que la recherche produise les outils de résolution de l’urgence, sans remettre en cause nos modèles sociaux. L’exacerbation des attentes envers la recherche se reconnaît dans la promptitude de certains à croire aux vertus de traitements inefficaces et non vérifiés scientifiquement, mais qui présentent l’avantage d’offrir une solution immédiate et accessible (Mondello, 2022). Avec, d’un côté, une valorisation des pseudosciences – autour de figures (pseudo)-scientifiques capables de dire de façon crédible ce que certains veulent entendre1 – et, de l’autre, des scandales méthodologiques frappant jusqu’aux instituts prestigieux (comme l’affaire Olivier Voinnet2, voir Larregue et Saint-Martin, 2019), la défiance envers les enseignants-chercheurs (EC) et chercheurs ne peut que croître. Cette défiance devient soupçon de vanité personnelle ou de biais idéologique et peut être instrumentalisée par le politique3. Les rapports entre recherche et société sont ainsi tendus par l’importance des enjeux sociotechniques et les soupçons dont les EC peuvent faire l’objet. La justification de l’existence et des méthodes de la recherche peut devenir dans certains domaines (particulièrement les SHS, mais aussi en médecine, en urbanisme…) un combat permanent qui se conjugue avec la question de l’organisation sociopolitique des systèmes de recherche. L’enjeu de l’intégrité scientifique est revenu au centre des débats et des mesures ont été prises en ce sens, telles que l’introduction en 2022 d’un serment d’intégrité scientifique pour les docteurs4.

  • 5 Des effets similaires de rationalisation s’observent dans d’autres domaines, notamment celui de la (...)

2Au-delà de la question du rapport du public à la communauté scientifique, un enjeu critique concerne l’allocation des moyens de la recherche – publique comme privée. Le désengagement tendanciel de l’État dans les dernières décennies met toujours plus en avant le souci d’une optimisation et d’une rationalisation du financement de la recherche (Chaudret, 2013) sous l’effet bien connu du New Public Management5 (Park et Berry, 2014). Pour cela ont été créés des instruments d’évaluation toujours plus raffinés visant à déterminer la productivité des EC pour s’assurer que les pouvoirs publics ne soutiennent que les « meilleures recherches » (Aghion et Cohen, 2004). Le financement de la recherche publique s’est donc orienté vers la rationalisation justifiante de l’élitisme, que l’on peut définir ici comme une répartition hautement inégale des moyens, concentrés vers une faible proportion de la population considérée au nom d’un mérite supposé. Cela conduit d’ailleurs le débat politique sur la recherche à se concentrer sur la rationalité de l’allocation des ressources au détriment de leur augmentation, qui se manifeste notamment par la recherche permanente d’indicateurs de performance (Muller, 2017). Il en a résulté une mutation de la carrière type des EC, reflétée dans un fonctionnement par projets, mais surtout une compétition croissante pour les emplois d’EC statutaires, dont la raréfaction n’est que partiellement compensée par la création de postes intermédiaires – comme les chaires de professeur junior. Le modèle, dit américain, qui tend à s’imposer comme modèle global, repose sur une compétition exacerbée fondée sur le publish or perish, récompensant les EC plus performants au détriment des EC ordinaires et de la qualité de vie de l’ensemble du personnel de la recherche. Un modèle français très différent a temporairement existé, privilégiant la sécurité de l’emploi et l’équilibre de vie à la rémunération avant d’être battu en brèche par le processus de Bologne et l’avènement des classements internationaux (Chamayou, 2009). On ne peut douter de la performance de ce modèle alternatif, notamment en mathématiques où l’attractivité du système lui a permis de briller au niveau de pays ayant des populations et des budgets plusieurs fois supérieurs – selon les normes d’évaluation aujourd’hui en vigueur (comme le nombre de médailles Fields). Il semble donc naturel d’interroger les justifications apportées à l’évolution vers un modèle plus compétitif – d’autant plus que les rigueurs budgétaires françaises limiteront l’attractivité du métier de chercheur en France par rapport à ses voisins (si la qualité de vie au travail est équivalente).

  • 6 Un exemple notable est la politique d’optimisation menée par le Département du travail et des retr (...)
  • 7 Traduction libre de l’autrice et de l’auteur.

3Or, un examen poussé des formes de la rationalisation des politiques publiques montre que celles-ci ne s’appliquent pas systématiquement à elles-mêmes : il est rare que ces systèmes vérifient que les rationalisations opérées sont efficaces. Il arrive ainsi des cas où les optimisations résultantes sont moindres que les coûts liés à l’optimisation6. Il nous semble donc propice de faire un point sur l’évaluation de la recherche, une évaluation de l’évaluation, suivant les propos7 de Pierre Azoulay (2012) :

« Il serait une étrange coïncidence que les systèmes qui ont fonctionné au xxe siècle fonctionnent aussi bien au xxie siècle. Nous prendre nous-mêmes comme objets d’étude pourrait bien exposer certains défauts de la communauté scientifique et nous exposer à la critique de politiciens à l’affût de raisons de réduire les financements scientifiques. Mais la seule alternative serait la sclérose progressive des institutions scientifiques les plus respectées. »

  • 8 Traduction libre de l’autrice et de l’auteur. L. Szilard, 1948, The Mark Gable Fondation. First ve (...)

4Cet article propose donc une analyse de trois piliers sur lesquels reposent les politiques publiques de la recherche : la mesurabilité de la productivité des EC, l’efficacité des politiques publiques visant à augmenter la productivité et enfin l’efficience de celles-ci étant donné les coûts d’évaluation directs comme indirects. Nous nous appuyons sur plusieurs décennies de travaux, principalement, anglophones afin de livrer un état de l’art sur la productivité scientifique et le productivisme des politiques publiques afférentes. Cela nous conduit à formuler l’hypothèse que ces dernières sont fortement influencées par un dogmatisme organisationnel. Celui-ci pourrait bel et bien réaliser une intuition de Leo Szilard en 1948 sur la façon de ralentir le progrès scientifique8 : « Mettre en place une fondation dotée d’un budget conséquent. […] Ainsi, les meilleurs scientifiques seraient occupés en commission d’examen des demandes, et les chercheurs en besoin de fonds se concentreraient sur les sujets apparaissant les plus prometteurs pour des résultats publiables. » Donc, tout porte à croire que l’urgence de la recherche est de sortir d’une vision tunnel dogmatique et d’appliquer les connaissances scientifiques contemporaines à l’élaboration des politiques publiques.

La bonne direction est-elle celle du productivisme ?

  • 9 Cet investissement n’est pas toujours fixé à l’avance – par exemple avec les appels « OH Risque » (...)

5On peut supposer que la plupart des États finançant des travaux de recherche visent à optimiser à la fois la qualité et la quantité de ces recherches – l’interprétation de ces termes étant sujette à caution – pour un investissement donné en moyens humains, techniques et budgétaires9. Notre but n’est pas de remettre en question ce modèle, mais plutôt de vérifier s’il atteint les objectifs qu’il se fixe. Plus explicitement : les politiques publiques de gestion de la recherche visant à augmenter la productivité suivent-elles des méthodes appropriées pour atteindre leurs cibles ? Une réponse négative pourrait être le résultat de plusieurs facteurs : des luttes de pouvoir, des biais idéologiques, une réflexion insuffisamment poussée sur les effets de ces politiques, ou simplement un manque d’information. De telles œillères sociales ne seraient que renforcées par un discours d’urgence permanente ne permettant pas la réflexivité et l’observation des conséquences sur le temps long.

6Nous proposons d’analyser trois postulats sur lesquels semblent reposer ces politiques publiques :

  • il est possible de mesurer avec une précision suffisante la productivité des EC, tant au niveau collectif qu’individuel ;
  • il est possible d’augmenter la productivité de l’écosystème de la recherche par différents mécanismes, à la fois de sélection (recrutements par concours, financements des projets par compétition, concentration des moyens sur les personnes/laboratoires aux performances les plus élevées) et d’incitation (primes d’excellence, avantages financiers ou sociaux) ;
  • les coûts d’évaluation et de mise en œuvre de ces politiques publiques sont plus que compensés par les gains en productivité, y compris en intégrant les potentiels effets délétères.

7Les trois sous-sections suivantes examinent la vraisemblance de ces postulats un par un.

La productivité scientifique est-elle mesurable ?

8Le premier postulat établit que la production et la productivité des EC – que l’on définit ici comme la production rapportée aux ressources, notamment temporelles – sont mesurables (avec une certaine précision). Cette mesurabilité est au cœur de nombreux contentieux depuis plusieurs décennies, avec au moins trois questions centrales :

  • Quels sont les objets (productions scientifiques) et sujets (EC ou groupes de recherche) devant être évalués ?
  • Quelles méthodes l’évaluation doit-elle suivre : moyens qualitatifs (a priori par un jury de pairs) ou quantitatifs (le plus souvent par des outils bibliométriques et plus généralement scientométriques) ?
  • Quelles échelles spatiales et temporelles l’évaluation doit-elle considérer ?

9Une mesure de bonne qualité doit donner des réponses à ces questions, sans négliger de considérer l’impact de la mesure sur ce qui est mesuré (nous y reviendrons). Surtout, les évaluations ne mesurent que le passé, en supposant qu’une haute productivité récente indique nécessairement une haute productivité future. Cela ignore la variabilité inhérente de la recherche et augmente la pression à exceller en début de carrière en faisant de la recherche en urgence pour optimiser les indicateurs.

10Ces productions scientifiques devant être évaluées sont souvent classées en trois catégories :

  • les missions d’enseignement, d’encadrement, d’administration et de diffusion/vulgarisation ;
  • les publications : revues, ouvrages ou chapitres d’ouvrages, actes de conférences ;
  • les aspects économiques, à la fois les valorisations (brevets, collaborations industrielles) et la capacité à obtenir des financements : bourses, projets compétitifs type ANR (Agence nationale de la recherche) ou ERC (European Research Council).

11En dépit d’efforts du corps universitaire pour souligner les liens entre recherche et enseignement, ce dernier reste le plus souvent vu comme une corvée (ou « charge ») par les EC et administrateurs. L’effet est donc de l’occulter au profit des deux autres, qui forment l’objet central des mesures de productivité (Reymert et al., 2021).

  • 10 Science Europe, 2022, Agreement on Reforming Research Assessment. Accès : https://www.scienceeurop (...)
  • 11 Le facteur d’impact, créé au départ par des bibliothécaires pour déterminer quelles revues obtenir (...)
  • 12 L’Agence nationale d’habilitation italienne exigeait avant tout recrutement ou promotion que les c (...)

12Commençons par l’évaluation des publications, tant quantitative que qualitative. Dix ans après la déclaration de San Francisco (Collectif, 2012), les problèmes soulevés restent d’actualité, ayant mené en 2022 à l’élaboration d’une convention européenne sur la réforme de l’évaluation10, dont les effets restent à voir. D’ici là, les évaluations d’EC comme de l’unité de recherche se fondent toujours sur les outils bibliométriques. Ceux-ci reposent essentiellement sur le nombre de publications (en particulier dans les revues « prestigieuses »11) et les citations – utilisées comme indicateur de « qualité » des publications à la fois dans l’évaluation et comme norme dans de nombreuses études bibliométriques (McKiernan et al., 2019). La bibliométrie sert non seulement de filtre (Reymert, 2021), mais aussi d’outil déterminant dans le recrutement et la promotion des EC (McKiernan et al., 2019 ; Van Dijk et al., 2014), l’Italie12 offrant un exemple emblématique (Demetrescu et al., 2020). L’utilisation de la bibliométrie reste pourtant considérée comme un fait accompli, seule garante de la rigueur des évaluations face au flou du qualitatif (Muller, 2017). Les éléments de preuve empiriques qu’on pourrait attendre à l’appui du bibliométrisme se retrouvent moins souvent dans le discours de ses promoteurs que de ses critiques (Chawla, 2021).

  • 13 Le domaine de l’informatique a comme particularité qu’il est souvent plus prestigieux (et difficil (...)

13Or, ces mêmes critiques ne remettent que rarement en question la notion d’évaluation, pour laquelle ils estiment le plus souvent que des évaluations qualitatives par des jurys d’experts sont plus satisfaisantes. L’exemple central de cette logique réside dans le recrutement compétitif des EC. Étant donné l’augmentation des candidatures, il n’est pas réaliste de lire attentivement les projets et toutes les publications des candidats. Pour hiérarchiser ceux-ci, on se reporte alors aux jugements déjà effectués par les pairs – par exemple les évaluations d’articles par les comités de revue. Il émerge cependant une critique de la fiabilité de ces signaux (Garcia-Costa et al., 2022), notamment grâce aux données empiriques de l’étude NeurIPS de 2014 (Cortes et Lawrence, 2021). Lors de cette expérience, effectuée sur l’une des plus prestigieuses conférences13 consacrée à l’intelligence artificielle, deux comités parallèles évaluaient 1 678 articles, dont 170 articles en commun – sans savoir quels étaient ces derniers. Ces deux comités ne tombèrent d’accord que sur 51 % des articles acceptés (là où le hasard aurait donné 23,5 %). Chaque article avait une note attribuée entre zéro et dix par au moins trois évaluateurs, avec une corrélation de 0,55 entre les scores moyens des deux comités, corroborant les études précédentes sur l’importance de la composante aléatoire dans l’évaluation (Bornmann et al., 2010). En outre, parmi les articles acceptés, aucune corrélation n’existait entre la note d’un article et le nombre de citations reçues sept ans plus tard. Le fait de publier dans un journal à haut facteur d’impact n’est pas non plus une preuve de qualité, une étude sur 45 144 articles de sciences cognitives ayant non seulement montré que le nombre de citations est négativement corrélé à la rigueur statistique, mais aussi que le facteur d’impact du journal est très faiblement corrélé à la rigueur statistique et négativement corrélé à la réplicabilité des études (Dougherty et Horne, 2022). Ces résultats empiriques sur l’inadéquation de l’évaluation par les pairs ne sont pas non plus nouveaux : une étude de 1998 testant 262 évaluateurs en médecine montrait déjà que la plupart des erreurs parfois grossières dans un article n’étaient pas détectées par les évaluateurs (Baxt et al., 1998). Si l’évaluation d’un simple article par un jury d’experts du domaine est si peu fiable, on ne peut que douter de la qualité du jugement de jurys moins spécialisés chargés de recruter un collègue ou d’attribuer des financements – une autre étude (Pier et al., 2018) ayant d’ailleurs montré une absence totale de corrélation dans les évaluations de projets financés par les Instituts américains de la santé (National Institutes of Health, NIH). Ces résultats n’indiquent d’ailleurs pas que les évaluateurs bâclent leur travail, mais suggèrent que ce dernier est intrinsèquement sujet à de l’incertitude.

  • 14 Une partie de cette différence de financement peut être expliquée par une tendance à moins cherche (...)

14Hélas, l’impact de ces jugements imprécis est amplifié par un effet Matthieu – selon lequel un écart initial non justifié a tendance à augmenter avec le temps. À l’échelle de la carrière d’un EC, on souhaiterait qu’une évaluation initiale erronée n’affecte pas les suivantes. Les résultats d’évaluations devraient donc idéalement être relativement stables dans le temps, mais surtout, une évaluation ne devrait pas avoir d’impact sur les suivantes au-delà de ce qu’elle révèle de la qualité intrinsèque de l’EC. Cependant, plusieurs études indiquent le contraire, un des cas les plus visibles concernant l’attribution des financements par l’Organisation pour la recherche scientifique aux Pays-Bas (Bol et al., 2018). Les candidats recevant une note et l’attribution des bourses ne dépendant que de cette note, il est possible d’étudier les trajectoires d’EC situés juste au-dessus et au-dessous du critère d’attribution. On observe alors que les financements totaux (hors bourse initiale) reçus par les lauréats sur les huit années suivantes sont entre deux et trois fois supérieurs à ceux reçus par les candidats non retenus. Il n’y a pourtant pas de différence statistique ni au sein des « gagnants » (peu importe les notes), ni au sein des « perdants »14. Les promotions au grade de professeur sont similairement affectées (Bol et al., 2018). Cet effet ne concerne pas uniquement les financements, mais aussi les citations : un article déjà cité accumule inéluctablement d’autres citations, y compris lorsqu’il est retiré pour faute (Teixeira da Silva et Dobránszki, 2017). Une étude sur des articles dupliqués montre que lorsqu’un même article est publié dans deux journaux différents (pour des motifs variables), le nombre de citations est hautement dépendant du journal – à qualité identique de l’article (Larivière et Gingras, 2010). Cet effet se retrouve enfin dans la possibilité même de publier dans certaines revues. Bien qu’il y ait un nombre croissant de revues scientifiques de qualité, la proportion des articles publiés dont le premier auteur a déjà publié dans la revue est passée de moins de 5 % dans les années 1950 à plus de 20 % – pour une étude concernant presque exclusivement des journaux où les auteurs ne sont pas anonymes pendant l’évaluation – menant à une concentration d’autant plus grande au sein des journaux prestigieux (Fire et Guestrin, 2019).

  • 15 Les altmetrics sont des indicateurs alternatifs censés capturer la portée en ligne au-delà de la c (...)

15Étant donné le caractère arbitraire et aléatoire des évaluations, tant sur les articles que sur les financements, nous nous retrouvons confrontés à une difficulté fondamentale dans la mesure de la productivité des EC, tant sur le plan qualitatif qu’avec des outils scientométriques. Les améliorations de ces derniers, par exemple avec les altmetrics15, ne font d’ailleurs qu’alimenter une course aux armements sans solution stable envisageable à long terme (Griesemer, 2020).

  • 16 Comme le disait Grégoire Chamayou (2009) : « Ne faites pas de la recherche : écrivez des papiers »

16Même en faisant l’hypothèse que des mécanismes de standardisation et de responsabilisation puissent réduire l’arbitraire de l’évaluation, la mesure de la productivité ferait encore face à un obstacle majeur : la loi de Goodhart. Dérivée de la loi de Campbell provenant de l’analyse des politiques publiques, cette loi énonce que « lorsqu’une mesure devient un objectif, elle cesse d’être une bonne mesure », ce qui se vérifie de plusieurs manières (Rodamar, 2018). D’abord, l’usage d’outils scientométriques a encouragé l’évolution des modes de publication et l’augmentation drastique du nombre d’articles16 ainsi que du nombre de citations (Fire et Guestrin, 2019). Ces changements rendent difficiles les comparaisons entre domaines – le nombre médian de citations variant d’un facteur au moins 30 entre ceux-ci –, mais aussi entre sous-domaines très proches (par exemple, plusieurs sous-domaines d’étude de l’ARN). Ils rendent presque impossibles les comparaisons avec un écart temporel, avec des écarts non négligeables à l’échelle de l’année (Patience et al., 2017). Cette augmentation du nombre d’articles n’est pas uniquement due à une productivité plus haute ou à un nombre d’EC plus important, mais encore à un changement des modes de publication (favorisant par exemple les articles de revues par rapport aux chapitres de livres et rapports [Sïle et Vanderstraeten, 2019]). La longueur des articles a aussi considérablement baissé, avec un nombre de pages presque divisé par deux depuis 1950, transformant l’unité de base de la mesure (Fire et Guestrin, 2019).

  • 17 Des travaux ont montré qu'une des hypothèses centrales portant sur le fonctionnement de cette path (...)

17Au-delà des changements de stratégie causés par l’incitation à plus publier et à plus se faire citer, il ne faut pas oublier que l’importance croissante accordée aux mesures – plutôt qu’aux articles sous-jacents – facilite et encourage la fraude sous toutes ses formes (Biagioli et Lippman, 2020). Alors que la crise de réplication s’éternise et montre que les erreurs sont difficiles à déceler dans de nombreux domaines, notamment dans celui des sciences naturelles (Borsboom, 2006 ; Mullard, 2021 ; Rodgers et Collings, 2021), l’augmentation de la fraude pose un problème non trivial ayant déjà des conséquences graves, par exemple avec le scandale sur l’hypothèse amyloïde17 pour la maladie d’Alzheimer (Piller, 2022).

La productivité scientifique peut-elle être augmentée par les politiques publiques ?

  • 18 Cette méthode est fondée sur une perception que de nombreux EC manquent de motivation et travaille (...)

18Si le premier postulat concernait la mesurabilité de la production scientifique, le deuxième concerne la possibilité d’augmenter cette production par des politiques publiques. On pose donc la question de l’augmentation de la productivité – considérée ici naïvement comme une augmentation des publications (ou des publications hautement citées) – généralement modulée selon deux logiques distinctes. La première est l’incitation : promettre des récompenses (notamment financières) aux EC s’ils augmentent leurs performances18. La seconde méthode est la sélection : faire en sorte que les ressources publiques soient concentrées le plus possible sur les EC les plus productifs. Il s’agit donc non seulement de recruter les EC les plus prometteurs mais aussi de donner des moyens additionnels (bourses de recherche, financements de thèses et postdoctorants, matériel de pointe) aux équipes les plus performantes. Examinons d’abord les problèmes avec les mécanismes compétitifs de financement.

  • 19 Une critique de cette étude donne une autre interprétation, selon laquelle la différence négligeab (...)

19La première question est contre-intuitive : les mécanismes de compétition sont-ils toujours sélectifs ? En effet, on peut en effet imaginer un système où chaque financement est sélectif, mais où ces derniers sont en nombre suffisant pour que chaque candidat en trouve un – non sans effort considérable. Une étude de 2011 sur les financements fournis par les NIH a observé un effet négligeable de l’obtention de bourses compétitives (de 1,7 million de dollars en moyenne) sur les publications (avec une augmentation de la productivité autour de 7 %, soit une publication dans les cinq années suivant l’obtention) (Jacob et Lefgren, 2011). Laissant de côté l’explication potentielle qu’une bourse n’augmente pas la productivité en publications19, l’explication alors proposée est que la non-obtention de la bourse peut se compenser par l’obtention d’autres sources de financement (principalement industriels vu le domaine). On aurait donc un exemple de la situation imaginée, où plusieurs mécanismes sélectifs forment un système qui n’est pas sélectif à l’échelle globale. Tout l’édifice compétitif serait alors superflu.

  • 20 Ce maximum est atteint autour de 80 000 dollars canadiens pour les sciences sociales, comparé à un (...)
  • 21 ll existe une étude notable indiquant un résultat contraire sur des données similaires au Canada ( (...)
  • 22 Par ailleurs, cette étude ne contrôle pas que les EC publiant plus ont tendance à obtenir plus de (...)

20La seconde question concerne le lien entre productivité et élitisme des financements – c’est-à-dire l’impact d’une distribution inégale des crédits de recherche. Plusieurs études offrent des critiques de ce lien supposé. L’analyse de différents pays de l’OCDE (Organisation de coopération et de développement économiques) sur la période 1987-2006 a par exemple montré une absence de différence notable de productivité, à la fois entre pays dont le degré d’élitisme varie, mais aussi après l’adoption au sein d’un pays de politiques visant à renforcer l’élitisme (Auranen et Nieminen, 2010). Une seconde étude sur 12 720 EC québécois sur la période 2000-2013 analyse l’impact des financements sur la production d’articles et d’articles hautement cités, ainsi que le nombre de citations des articles produits (Mongeon et al., 2016). Le système québécois est très élitiste : 10 % des chercheurs reçoivent entre 50 % et 80 % des financements nationaux selon les disciplines. En intégrant les financements provinciaux québécois, ces parts correspondent aux 20 % des chercheurs mieux financés. Dans tous les domaines, les trois indicateurs montent extrêmement rapidement quand on passe de l’absence de financement à un faible financement (20 000 à 50 000 dollars canadiens annuels, les financements étudiés allant jusqu’à 2 millions de dollars canadiens), avec une augmentation plus lente au-delà. Cependant, à part sur la recherche médicale, les indicateurs atteignent ensuite un maximum20, après quoi les indicateurs diminuent quand les financements augmentent. On observe des rendements marginaux non seulement décroissants, mais même négatifs quand on atteint des financements élevés21. De plus, les 20 EC les plus financés dans chacune des disciplines (comportant 3 000 à 5 000 EC chacune), malgré un budget 27 à 40 fois supérieur, ne publiaient qu’entre 5 et 19 fois plus22, avec un impact faible, voire négatif sur les citations. Ces résultats rejoignent d’autres études portant sur la productivité par dollar de financement (Lauer et al., 2015 ; Wahls, 2018b). Par exemple, en recherche médicale, certaines universités prestigieuses (comme Harvard, Stanford, Johns Hopkins...) ont de plus hauts taux de succès sur tous les indicateurs de financements (dollars reçus au total et par EC, proportion des projets lauréats…) (Wahls, 2018a). Cependant, les universités moins prestigieuses (comme les universités du Dakota du Nord ou du Nebraska) publiaient plus par dollar de financement (65 % en moyenne) et recevaient plus de citations (35 % en moyenne).

21Un autre danger lié aux politiques élitistes est que l’augmentation de la productivité peut se faire aux dépens de la diversité, sur plusieurs plans. D’abord, les sujets traités peuvent être transformés, certaines pistes de recherche ignorées non pas car elles semblent moins importantes mais parce qu’elles auront moins de débouchés à court terme ou seront plus difficiles à financer (Laudel, 2006). La recherche en urgence se fait ainsi aiguillon néfaste sur l’exploration scientifique à long terme. L’élitisme peut aussi renforcer des biais existants portant non pas uniquement sur les projets mais aussi sur les EC portant ces projets. Ces problèmes ont déjà été fréquemment soulignés, avec notamment des biais racistes et sexistes dans les financements qui perdurent (Madsen et Aagaard, 2020 ; Taffe et Gilpin, 2021) – mais aussi du favoritisme en faveur des EC de certaines institutions et une pénalisation des recherches interdisciplinaires (Banal-Estañol et al., 2019).

  • 23 La présence d’incitations moins immédiates concernant l’avancée de carrière avait cependant un eff (...)
  • 24 La course à la publication a été mentionnée comme facteur ayant incité à la falsification lors du (...)

22Ayant explicité les problèmes principaux posés par les mécanismes de sélection, nous pouvons désormais nous pencher sur les mécanismes d’incitation, correspondant typiquement aux récompenses monétaires pour des publications prestigieuses. Le prestige, mais surtout le facteur d’impact, sont au cœur de politiques nationales de nombreux pays tels que la Corée du Sud et la Turquie, mais surtout la Chine (Franzoni et al., 2011). Ces politiques y sont poussées à l’extrême, avec des primes pouvant atteindre 20 années de salaire pour un article dans Science ou Nature, qu’accompagnent bien entendu des effets délétères sur la qualité et l’intégrité scientifique (Quan et al., 2017). Le modèle sous-jacent d’agent rationnel dont l’effort est corrélé à la rémunération est critiqué depuis longtemps, notamment dans le secteur public (Park et Berry, 2014). En effet, une analyse plus détaillée des motivations intrinsèques et extrinsèques montre que dans certains cas — notamment pour les tâches plus intellectuelles et créatives ajouter une incitation financière (donc extrinsèque) peut nuire à la motivation intrinsèque et donc à la performance (Hennessey et Amabile, 2010). La quantité de travail fourni – sans parler de la qualité – peut donc diminuer en présence de primes à l’excellence. En l’occurrence, une étude sur les propositions d’articles à la revue Science entre 2000 et 2009 a montré que, en présence de primes récompensant financièrement23 la publication dans des revues prestigieuses, le nombre de propositions augmentait grandement, alors que le nombre de publications acceptées diminuait (de manière non significative cependant) (Franzoni et al., 2011). Cela ne prend naturellement pas en compte l’impact de ces primes sur l’incitation à publier des recherches s’appuyant sur des données faussées24.

  • 25 Un des arguments utilisés pour justifier ces systèmes est l’attractivité à l’échelle international (...)

23Les problèmes sus-cités ne doivent pas masquer une transformation plus fondamentale. De longue date, les politiques publiques de la recherche visent à augmenter la productivité elle-même. Ces dernières décennies ont pourtant vu l’émergence d’un glissement téléologique dangereux. L’augmentation de la qualité et de la quantité des productions scientifiques est en voie de transformation en un fétichisme des indicateurs et des classements comme buts propres, avec par exemple l’objectif annoncé par l’exécutif français de disposer de deux établissements dans le top 20 du classement de Shanghaï (Anonyme, 2010). C’est ainsi qu’apparaissent un ensemble de mesures visant à augmenter le classement artificiellement – comme le regroupement d’universités, ayant parfois d’autres motivations mais justifié par cet impératif de performance au classement (Barats, 2019). Ces mesures ont au mieux qu’un effet négligeable sur la production scientifique25 mais elles ont surtout des coûts substantiels.

Les politiques publiques scientifiques sont-elles efficientes ?

24Nous avons considéré dans la section précédente la possibilité que l’élitisme scientifique soit fécond. En supposant qu’il le soit un tant soit peu, il n’en découle pas automatiquement que les effets positifs dépassent les coûts engendrés par cet élitisme.

  • 26 En contrepoint, le fait de participer à ces processus compétitifs est parfois souligné comme pouva (...)

25Les premiers coûts reposent directement sur les EC. Les efforts investis dans l’élaboration des demandes de financements sont principalement motivés26 par l’espoir d’un succès éventuel – offrant à la fois un soutien matériel et un gain en prestige. Cependant, dans la plupart des pays à financements compétitifs, ces demandes de financements se soldent, dans 80 % à 90 % des cas, par des échecs. Le temps passé à obtenir et gérer des ressources est donc non négligeable et peut dépasser 40 % du temps de travail dans certains pays comme les États-Unis (National Science Board, 2014). Par exemple, une étude de 2013 (Herbert et al., 2013) a montré que la préparation d’une demande de financement au National Health and Medical Research Council (NHMRC, organe principal de financement de la recherche médicale en Australie) prenait en moyenne 35 jours ouvrés de travail d’EC – auquel il faut ajouter le temps de travail du personnel technique et administratif du laboratoire. Sans compter les coûts d’évaluation, la simple prise en charge des salaires pendant cette durée représentait 14 % du budget alloué aux projets de recherche – alors même que le taux de succès était à l’époque de 21 %, comparé à 13 % en 2019 et 2020 (Australian Government, 2021). Cette préparation empiète non seulement sur la recherche mais aussi sur le temps personnel et les vacances et est un facteur de stress majeur (Herbert et al., 2014).

  • 27 En France, le budget de fonctionnement de l’ANR est de l’ordre de 5 % des crédits alloués, mais ce (...)

26Ces compétitions ont ensuite un coût sur le système de la recherche lui-même, notamment par le nombre d’évaluateurs experts requis, y compris quand ces derniers sont bénévoles27 et y affectent du temps autrement disponible pour la recherche. Ces coûts d’évaluation sont d’autant plus élevés par rapport aux sommes en jeu que le système est élitiste (un seuil important est celui des 50 % de projets non financés, seuil plus élevé qu’à peu près tous les systèmes de financement compétitif). En pratique, certains modèles montrent que les systèmes actuels fonctionnent déjà potentiellement à perte, avec un coût d’évaluation supérieur au budget total alloué (Gross et Bergstrom, 2019). Quand cette évaluation comporte une part d’aléatoire, l’augmentation de la sélectivité entraine des effets pervers. L’intérêt marginal d’une dépense de temps et d’effort pour améliorer une demande de financements chute à la fois avec la sélectivité et avec l’importance du hasard. Quand le facteur chance est perçu comme prépondérant et qu’un seuil de sélectivité est franchi, la stratégie gagnante devient donc de produire un effort minimal par demande mais d’augmenter massivement le nombre de demandes (Roebber et Schultz, 2011). Cela augmente mécaniquement les coûts d’évaluation et donc l’inefficience du système (Herbert et al., 2014). Même les contraintes comme celles présentes pour les bourses du Conseil européen de la recherche (ERC) – où une mauvaise évaluation peut mener à l’interdiction de demander une bourse pendant plusieurs années – ne peuvent suffire à compenser pleinement ces effets.

27Face à ces coûts élevés, des modèles théoriquement plus efficients ont été proposés (Gross et Bergstrom, 2019). Une première option est la simplification des démarches afin d’avoir des demandes de financements beaucoup plus courtes, n’incluant par exemple que le contenu scientifique et aucune composante administrative (Herbert et al., 2015). Cette solution va cependant à l’encontre de la demande publique de transparence et de contrôle rigoureux des dépenses publiques tout en se heurtant à l’inertie des administrations face aux simplifications majeures (National Science Board, 2014). De plus, l’effort lié aux demandes de financements peut rester inchangé, voire augmenter malgré des simplifications en apparence drastiques : la division par deux de la taille des dossiers en Australie ayant augmenté la charge de travail lié aux demandes de financement (Barnett et al., 2015). Une autre option serait la répartition égalitaire des financements. Pour donner un simple exemple, dissoudre l’ANR et répartir équitablement son budget offrirait plus de 10 000 € par an par EC du secteur public français. Ce montant est déjà plusieurs fois supérieur aux financements réguliers de la plupart des EC, équivalant, par exemple, à un financement de Projet exploratoire premier soutien (Peps) pour chaque EC. Naturellement, ces financements pourraient être répartis différemment selon les domaines et les besoins – les dépenses de fonctionnement en biologie étant plus élevées qu’en mathématiques ou en droit. L’ANR n’est pas la seule source de financements compétitifs, et une étude sur d’autres pays européens montre qu’une répartition égalitaire du budget total mènerait à des montants beaucoup plus élevés (32 000 € par an aux Pays-Bas et un peu plus au Royaume-Uni, en sus du recrutement de personnes en doctorat ou postdoctorat au même rythme qu’aujourd’hui) (Vaesen et Katzav, 2017). Cette suggestion serait draconienne, mais – en gardant comme objectif une augmentation de la productivité – une répartition plus égalitaire des crédits de recherche est soutenue par de nombreuses études empiriques (Aagaard et al., 2020).

28D’autres options méritent un examen plus approfondi, telles que des systèmes de loterie où une proportion constante des projets sont financés – potentiellement après une évaluation minimale visant à éliminer les projets irréalistes (Roumbanis, 2019). Cela peut sembler injuste pour les EC les plus performants mais, comme vu plus haut, de nombreux systèmes d’évaluation ne fonctionnent que marginalement mieux que des loteries (Cortes et Lawrence, 2021). Ces dernières permettent par ailleurs d’éviter certains écueils comme la concentration des financements sur les projets les plus conservateurs (Avin, 2015). Un système de ce type a été mis en œuvre en Nouvelle-Zélande, le principe et les effets ayant été majoritairement acceptés par les EC qui en dépendent – qu’ils aient obtenu un financement ou non (Liu et al., 2020). Enfin, d’autres alternatives plus innovantes et potentiellement plus efficaces ont aussi été imaginées. Une proposition audacieuse serait d’attribuer à chaque EC un budget régulier dont la moitié doit être redistribuée anonymement vers ses pairs selon son jugement. Cela créerait une forme d’évaluation par les pairs fluide et distribuée, où le pouvoir limité conféré à chaque membre offre de meilleures garanties que le système actuel face à la possibilité de cartels et d’ententes entre EC (Bollen et al., 2017).

Conclusion

29Nous avons vu qu’aucun des trois postulats annoncés en début d’article ne reposait sur une solide base scientifique et sur une confirmation empirique : les évaluations d’articles et de projets reposent sur une part parfois majoritaire de hasard ; il n’est nullement certain que les mécanismes sélectifs fassent émerger les « meilleurs » ; l’attribution de moyens supplémentaires à ces derniers est inefficace, voire contre-productive. Aucun indicateur fiable ne montre que les politiques élitistes et productivistes augmentent réellement la productivité, alors que leurs coûts se font de plus en plus sentir. Ces critiques ne sont pas neuves et s’accélèrent depuis plusieurs décennies alors même que les politiques productivistes se normalisent, poussées par la rhétorique/le discours de l’urgence. Il semble donc approprié de chercher des explications en dehors des considérations purement empiriques.

30L’analyse des systèmes de production et des institutions et de leurs discours révèle ainsi des divergences entre les objectifs affichés et les moyens mis en œuvre pour les réaliser. Ces divergences peuvent d’abord s’expliquer par le détournement ponctuel des instances dirigeantes au profit d’intérêts particuliers. Mais elles proviennent surtout de contradictions dans l’organisation du système, lesquelles reposent sur des présupposés d’ordre idéologique enracinés dans l’histoire de la modernité sociotechnique et désormais confondues avec le « bon sens » (Muller, 2017).

31Plus précisément, le productivisme est de longue date un dogme de la modernité qui a transcendé les clivages politiques aux xixe et xxe siècles (Audier, 2019). La recherche sur la productivité naît dans l’industrie, avec une démarche se considérant comme apolitique et dont l’organisation scientifique du travail et le fordisme furent les résultats les plus visibles, dans une entreprise globale de libération des forces productives. La société industrielle de cette époque pouvait mesurer sa productivité en poids, volume et valeur rapportés aux moyens, sans que le productivisme américain soit fondamentalement différent du productivisme soviétique. Or, le complexe technoscientifique (Pickstone, 2001) de l’ère industrielle a laissé place à celui de l’ère de l’information et de la communication, marqué par la tertiarisation de l’économie et la complexification de la plupart des tâches productives. Le besoin de mesurer la productivité n’a pas disparu, mais de plus de plus d’emplois résistent aux mesures simples qui guidaient l’optimisation des chaînes de montage. On voit donc le développement d’outils managériaux très complexes et de politiques publiques de plus en plus co-construites avec des acteurs privés (Rival et Ruano-Borbalan, 2017). La difficulté de mesure et le flou croissant entourant la production des emplois tertiaires réduisent aussi la possibilité d’observer directement et dans des temporalités courtes les conséquences des nouvelles organisations du travail, qu’elles soient guidées par des politiques publiques ou par des considérations managériales à l’échelle d’une PME. Paradoxalement, le renforcement constant de l’aiguillon compétitif crée une urgence de mesurer des productions parfois floues. Ce flou s’associe à un oubli – ou à une disparition – de certaines leçons du passé. Un exemple notable concerne la question du temps de travail. Malgré la durée légale française (35 h hebdomadaires), les dépassements sont courants, y compris dans des secteurs à la fois techniques et critiques où l’erreur est coûteuse, comme l’hôpital public28. Or, les arguments principaux pour la réduction du temps de travail portent généralement sur trois facteurs :

  • le besoin d’équilibre de vie et le confort des employés ;
  • la démesure de la production dans le contexte de crise écologique ;
  • la répartition du travail entre plus d’employés afin de réduire l’impact du chômage.

32À ces arguments sont opposées des argumentations fondamentalement moralistes où le travail figure comme ordalie méritoire et où la crise économique requiert des efforts supplémentaires de la part des travailleurs. Les aspects idéologiques sont prépondérants des deux côtés du débat, laissant de côté la considération suivante : un employé travaillant plus d’heures produit-il plus ? Les travaux à ce sujet existent depuis l’époque de Ford (Crowden, 1930) et montrent que le nombre d’heures permettant une production maximale n’est pas forcément au-dessus de 30 h-40 h de travail hebdomadaire, dans des domaines multiples (Pang, 2016 ; Okazaki et al., 2019).

  • 29 Tim Cook, PDG d’Apple, propose le réveil à 4 h du matin comme moyen d’améliorer le bien-être et la (...)
  • 30 Dans son ouvrage sur le repos et le travail, A. S.-K. Pang (2016) observe des entreprises dont la (...)

33L’économie de la connaissance n’est cependant pas nécessairement soumise aux mêmes règles. Dans le nouveau paradigme reposant sur l’innovation permanente, nombre d’acteurs de la recherche se calquent sur le fonctionnement des hauts centres de l’innovation. Ces lieux, tels que la Silicon Valley, cultivent une image du PDG génie dont la force de travail lui a permis de se construire en partant de rien. Ces figures exceptionnelles29 sont des modèles censés être des sources d’imitation pour leurs employés, dans une perspective méritocratique et individualiste où ces derniers sont responsables de leurs situations – amplifiée par et amplifiant le manque de syndicalisation. On y voit donc des temps de travail hebdomadaires extrêmement élevés (Pfeffer, 2018), facilités par des politiques d’entreprises visant à maximiser la présence au travail en offrant de nombreux services à leurs employés (repas gratuits, divertissements et salles de sport sur site…). Il semblerait étrange que ces entreprises fortement dotées en services de ressources humaines ignorent l’impact du temps de travail sur la productivité (Pfeffer, 2001) ; d’autres logiques sous-jacentes sont donc probables. Celles-ci pourraient avoir trait au rapport social entre direction et employés, avec une vision de jeu à somme nulle : ce qui est bon pour l’employé est forcément mauvais pour l’entreprise, cette vision étant même visible chez certains défenseurs de la réduction du temps de travail30.

34L’émulation de ces pratiques temporelles n’épargne pas le secteur de la recherche. Ce dernier est probablement d’autant plus influencé par ce modèle que le système étasunien favorise les interactions entre recherche publique et grandes entreprises technologiques, symboles de l’excellence et de l’applicabilité des produits de la recherche.

35Pour revenir à la question centrale, nous avons montré que l’application à la recherche d’une logique productiviste résultant en une obsession quantitativiste reposait sur des postulats contredits par des données empiriques. Le « sens commun », très présent dans les instances de direction, invite à évaluer continuellement les chercheurs au prix d’une part croissante de leur temps afin de savoir auxquels attribuer de plus ou moins importantes ressources. Les données empiriques montrent au contraire que cette logique est stérile, voire nuisible, au moins dans le domaine de la recherche. Nous invitons à considérer les fondements idéologiques et culturels de la persistance des institutions dans ce fonctionnement, qui montrent que la naïveté n’est pas toujours où on l’attend. Il est temps de redonner à la science sa part dans le débat public sur la productivité, sans se fier au « bon sens » dogmatique.

Haut de page

Bibliographie

Aagaard K., Kladakis A. et Nielsen M. W., 2020, « Concentration or dispersal of research funding ? », Quantitative Science Studies », 1 (1), p.117-149. https://doi.org/10.1162/qss_a_00002

Aghion P. et Cohen É., 2004, Éducation et croissance. Rapport, Paris, La Documentation française.

Anonyme, 2010, « The ratings game », Nature, 464 (7285), p. 7-8. https://doi.org/10.1038/464007b

Arfaoui M., 2019, « Creative Europe » ou l’action publique par projet. Enquête sur une modernisation des politiques publiques en Europe, thèse de doctorat en sociologie, Paris, École des hautes études en sciences sociales.

Audier S., 2019, L’Âge productiviste. Hégémonie prométhéenne, brèches et alternatives écologiques, Paris, Éd. La Découverte

Auranen O. et Nieminen M., 2010, « University research funding and publication performance, an international comparison », Research policy, 39 (6), p.822-834. https://doi.org/10.1016/j.respol.2010.03.003

Australian Government, 2021, Investigator Grants 2020 Outcomes Factsheet, National Health and Medical Research Council. https://www.nhmrc.gov.au/sites/default/files/documents/attachments/grantdocuments/investigator_grants_2020_outcomes_factsheet.pdf

Avin S., 2015, « Funding science by lottery », Recent developments in the philosophy of science. EPSA13 Helsinki, p. 111-126. http://doi.org/10.1007/978-3-319-23015-3_9

Ayoubi C., Pezzoni M. et Visentin F., 2019, « The important thing is not to win, it is to take part. What if scientists benefit from participating in research grant competitions ? », Research Policy, 48 (1), p. 84-97. http://doi.org/10.1016/j.respol.2018.07.021

Azoulay P., 2012, « Turn the scientific method on ourselves », Nature, 484 (7392), p. 31-32. https://doi.org/10.1038/484031a

Banal-Estañol A., Macho-Stadler I. et Pérez-Castrillo D., 2019, « Evaluation in research funding agencies. Are structurally diverse teams biased against ? » Research Policy, 48 (7), p. 1823-1840. https://doi.org/10.1016/j.respol.2019.04.008

Barats C., 2019, « Médiatisation et usages socio-discursifs du “classement de Shanghai” », Revue française d’administration publique, 169, p. 101-120. https://doi.org/10.3917/rfap.169.0101

Barnett A. G., Graves N., Clarke P. et Herbert D., 2015, « The impact of a streamlined funding application process on application time: two cross-sectional surveys of Australian researchers », BMJ Open, 5 (1). https://doi.org/10.1136/bmjopen-2014-006912

Baxt W. G., Waeckerle J. F., Berlin J. A. et Callaham M. L., 1998, « Who reviews the reviewers ? feasibility of using a fictitious manuscript to evaluate peer reviewer performance », Annals of emergency medicine, 32 (3), p.310-317. https://doi.org/10.1016/s0196-0644(98)70006-x

Biagioli M. et Lippman A., 2020, Gaming the Metrics. Misconduct and Manipulation in Academic Research, Cambridge, MIT Press.

Bol T., de Vaan M. et van de Rijt A., 2018, « The Matthew effect in science funding », Proceedigs of the National Academy of Sciences, 115 (19), p. 4887-4890. https://doi.org/10.1073/pnas.1719557115

Bollen J., Crandall D., Junk D., Ding Y. et Börner K., 2017, « An efficient system to fund science. From proposal review to peer-to-peer distributions », Scientometrics, 110 (1), p. 521-528. https://doi.org/10.1007/s11192-016-2110-3

Bornmann L., Mutz R. et Daniel H.-D., 2010, « A reliability-generalization study of journal peer reviews. A multilevel meta-analysis of inter-rater reliability and its determinants », PloS One, 5 (12). https://doi.org/10.1371/journal.pone.0014331

Borsboom D., 2006, « The attack of the psychometricians », Psychometrika, 71 (3), p. 425- 440. https://doi.org/10.1007%2Fs11336-006-1447-6

Chamayou G., 2009, « Petits conseils aux enseignants-chercheurs qui voudront réussir leur évaluation », Contretemps, p. 208-226. http://www.contretemps.eu/petits-conseils-enseignants-chercheurs-qui-voudront-reussir-leur-evaluation/

Chaudret B., 2013, « Où en est la recherche française ? », La Pensée, 376, p. 57-68. https://doi.org/10.3917/lp.376.0057

Chawla D. S., 2018, « What’s wrong with the journal impact factor in 5 graphs », Nature Index, 3 avr. https://www.nature.com/nature-index/news-blog/whats-wrong-with-the-jif-in-five-graphs

Chawla D. S., 2021, « Scientists at odds on Utrecht University reforms to hiring and promotion criteria », Nature Index, 9 août. https://www.nature.com/nature-index/news-blog/scientists-argue-over-use-of-impact-factors-for-evaluating-research

Collectif, 2012, San Francisco Declaration on Research Assessment. Putting Science into the Assessment of Research (DORA), American Society for Cell Biology. https://sfdora.org/read/

Cortes C. et Lawrence N. D., 2021, « Inconsistency in conference peer review. Revisiting the 2014 NeurIPS experiment », Arxiv. https://doi.org/10.48550/arXiv.2109.09774

Crowden G., 1930, « Industrial efficiency and fatigue », Proceedings of the Royal Society of Medicine, 23, p. 479-486. https://www.ncbi.nlm.nih.gov/pmc/articles/PMC2182931/

Demetrescu C., Finocchi I., Ribichini A. et Schaerf M., 2020, « On bibliometrics in academic promotions. A case study in computer science and engineering in Italy », Scientometrics, 124 (3), p. 2207-2228. https://doi.org/10.1007/s11192-020-03548-9

Dericquebourg R., 2001, « Mystagogie et religions de guérison. Max Weber revisité », Archives de sciences sociales des religions, 113, p. 149-158. https://doi.org/10.4000/assr.20196

Desailly-Chanson M.-A., Penaud M., Vilboeuf L., Elshoud S. et Piozin E., 2022, Contrôle de l’IHU méditerranée infection, rapport définitif, Inspection générale des affaires sociales. https://www.igas.gouv.fr/IMG/pdf/rapport_ihu_definitif_tome_1_.pdf

Dougherty M. R. et Horne Z., 2022, « Citation counts and journal impact factors do not capture some indicators of research quality in the behavioural and brain sciences », Royal Society Open Science, 9 (8). https://doi.org/10.1098/rsos.220334

Ebadi A. et Schiffauerova A., 2016, « How to boost scientific production ? A statistical analysis of research funding and other influencing factors », Scientometrics, 106 (3), p. 1093-1116. https://doi.org/10.1007/s11192-015-1825-x

Fire M. et Guestrin C., 2019, « Over-optimization of academic publishing metrics. Observing Goodhart’s law in action », GigaScience, 8 (6). https://doi.org/10.1093/gigascience/giz053

Franzoni C., Scellato G. et Stephan P., 2011, « Changing incentives to publish » Science, 333 (6043), p. 702-703. https://doi.org/10.1126/science.1197286

Garcia-Costa D., Squazzoni F., Mehmani B. et Grimaldo F., 2022, « Measuring the developmental function of peer review. A multi-dimensional, cross-disciplinary analysis of peer review reports from 740 academic journals », PeerJ, 10. https://doi.org/10.7717/peerj.13539

Griesemer J., 2020, « Taking Goodhart’s Law Meta: Gaming, Meta-Gaming, and Hacking Academic Performance Metrics », dans M. Biagioli et A. Lippman (éds), Gaming the Metrics. Misconduct and Manipulation in Academic Research, Cambridge, MIT Press, p. 77-87.

Gross K. et Bergstrom C. T., 2019, « Contest models highlight inherent inefficiencies of scientific funding competitions », Plos Biology, 17 (1). https://doi.org/10.1371/journal.pbio.3000065

Hennessey B. A. et Amabile T. M., 2010, « Creativity », Annual Review of Psychology, 61, p. 569-598. https://doi.org/10.1146/annurev.psych.093008.100416

Herbert D. L., Barnett A. G., Clarke P. et Graves N., 2013, « On the time spent preparing grant proposals. An observational study of Australian researchers », BMJ Open, 3 (5). http://doi.org/10.1136/bmjopen-2013-002800

Herbert D. L., Coveney J., Clarke P., Graves N. et Barnett A. G., 2014, « The impact of funding deadlines on personal workloads, stress and family relationships. A qualitative study of Australian researchers », BMJ Open, 4 (3). http://doi.org/10.1136/bmjopen-2013-004462

Herbert D. L., Graves N., Clarke P. et Barnett A. G., 2015, « Using simplified peer review processes to fund research. A prospective study », BMJ Open, 5 (7). http://doi.org/10.1136/bmjopen-2015-008380

Jacob B. A. et Lefgren L., 2011, « The impact of research grant funding on scientific productivity », Research Policy, 41 (2), p. 1168-1177. https://doi.org/10.1016/j.jpubeco.2011.05.005

Larivière V. et Gingras Y., 2010, « The impact factor’s Matthew effect. A natural experiment in bibliometric s », Journal of the American Society for Information Science and Technology, 61 (2), p. 424-427. http://doi.org/10.1002/asi.21232

Larregue J. et Saint-Martin A., 2019, « Troubles dans l’ethos scientifique », Zilsel, 6, p. 149-163. https://doi.org/10.3917/zil.006.0149

Laudel G., 2006, « The art of getting funded. How scientists adapt to their funding conditions », Science and Public Policy, 33 (7), p. 489-504. https://doi.org/10.3152/147154306781778777

Lauer M. S., Danthi N. S., Kaltman J. et Wu C., 2015, « Predicting productivity returns on investment. Thirty years of peer review, grant funding, and publication of highly cited papers at the national heart, lung, and blood institute », Circulation Research, 117 (3), p. 239-243. https://doi.org/10.1161/CIRCRESAHA.115.306830

Liu M., Choy V., Clarke P., Barnett A., Blakely T. et Pomeroy L., 2020, « The acceptability of using a lottery to allocate research funding. A survey of applicants », Research Integrity and Peer review, 5 (1), p. 1-7. https://doi.org/10.1186/s41073-019-0089-z

Madsen E. B. et Aagaard K., 2020, « Concentration of danish research funding on individual researchers and research topics. Patterns and potential drivers », Quantitative Science Studies, 1 (3), p. 1159-1181. https://doi.org/10.1162/qss_a_00077

Maisonneuve H., Plaud B. et Caumes E., 2020, « Pandémie à Sars-COV-2 : éthique et intégrité oubliées devant la précipitation pour publier », La Presse médicale. Formation, 1 (6), p. 572-581. https://doi.org/10.1016%2Fj.lpmfor.2020.10.021

McKiernan E. C., Schimanski L. A., Nieves C. M., Matthias L., Niles M. T. et Alperin J. P., 2019, « Meta-research. Use of the journal impact factor in academic review, promotion, and tenure evaluations », Elife, 8. https://doi.org/10.7554/eLife.47338

Mondello G., 2022, « Construction de systèmes de croyances et controverses autour du Covid-19 », Revue d’économie politique, 132 (1), p. 79-111. https://doi.org/10.3917/redp.321.0085

Mongeon P., Brodeur C., Beaudry C. et Larivière V., 2016, « Concentration of research funding leads to decreasing marginal returns », Research Evaluation, 25 (4), p. 396-404. https://doi.org/10.1093/reseval/rvw007

Mullard A., 2021, « Half of top cancer studies fail high-profile reproducibility effort », Nature, 600 (7889), p. 368-369. https://doi.org/10.1038/d41586-021-03691-0

Muller S. M., 2017, « Academics as rent seekers. Distorted incentives in higher education, with reference to the south african case », International Journal of Educational Development, 52, p. 58-67. https://doi.org/10.1016/j.ijedudev.2016.11.004

National Science Board., 2014, Reducing investigators’ administrative workload for federally funded research, National Science Foundation. https://www.nsf.gov/pubs/2014/nsb1418/nsb1418.pdf

Obadia L., 2021, « Urgence de la recherche, recherche en urgence. Covid-19 et au-delà… », Questions de communication, 40, p. 213-232. https://doi.org/10.4000/questionsdecommunication.26968

Okazaki E., Nishi D., Susukida R., Inoue A., Shimazu A. et Tsutsumi A., 2019, « Association between working hours, work engagement, and work productivity in employees. A cross-sectional study of the japanese study of health, occupation, and psychosocial factors relates equity », Journal of Occupational Health, 61 (2), p. 182-188. https://doi.org/10.1002%2F1348-9585.12023

Pang A. S.-K., 2016, Rest. Why You Get More Done When You Work Less, New York, Basic Books.

Park S. et Berry F., 2014, « Successful diffusion of a failed policy. The case of pay-for-performance in the us federal government », Public Management Review, 16 (6), p. 763-781. https://doi.org/10.1080/14719037.2012.750835

Patience G. S., Patience C. A., Blais B. et Bertrand F., 2017, « Citation analysis of scientific categories ». Heliyon, 3 (5). https://doi.org/10.1016/j.heliyon.2017.e00300

Pfeffer J., 2001, « What’s wrong with management practices in Silicon Valley ? A lot. To prevent high turnover, burnout and loss of employee commitment, learn to avoid four practices that are undermining some high-profile companies », MIT Sloan Management Review, 42 (3), p. 101-103. https://sloanreview.mit.edu/article/whats-wrong-with-management-practices-in-silicon-valley-a-lot/

Pfeffer J., 2018, « Work hours and health. A comment on “beyond nine to five” », Academy of Management Discoveries, 4 (1), p. 94-96. https://doi.org/10.5465/amd.2017.0120

Pickstone J. V., 2001, Ways of Knowing. A New History of Science, Technology, and Medicine, Chicago, University of Chicago Press.

Pier E. L., Brauer M., Filut A., Kaatz A., Raclaw J., Nathan M. J. et Carnes M., 2018, « Low agreement among reviewers evaluating the same NIH grant applications », Proceedings of the National Academy of Sciences, 115 (12), p. 2952-2957. https://doi.org/10.1073/pnas.1714379115

Piller C., 2022, « Blots on a field ? », Science, 377 (6604), p. 358-363. https://doi.org/10.1126/science.ade0209

Quan W., Chen B. et Shu F., 2017, « Publish or impoverish. An investigation of the monetary reward system of science in China (1999-2016) », Aslib Journal of Information Management, 69 (5), p. 486-502. https://doi.org/10.1108/AJIM-01-2017-0014

Reymert I., 2021, « Bibliometrics in academic recruitment. A screening tool rather than a game changer », Minerva, 59, p. 53-78. https://doi.org/10.1007/s11024-020-09419-0

Reymert I., Jungblut J. et Borlaug S. B., 2021, « Are evaluative cultures national or global ? a cross-national study on evaluative cultures in academic recruitment processes in Europe », Higher Education, 82 (5), p. 823-843. https://doi.org/10.1007/s10734-020-00659-3

Rival M. et Ruano-Borbalan J.-C., 2017, « La fabrique des politiques publiques co-construites : idéologie et pratiques innovantes », Politiques et management public, 34 (1-2), p. 5-16. https://journals.openedition.org/pmp/11013

Rodamar J., 2018, « There ought to be a law! Campbell versus Goodhart », Significance, 15 (6), p. 9-9. http://doi.org/10.1111/j.1740-9713.2018.01205.x

Rodgers P. et Collings A., 2021, « Reproducibility in cancer biology. What have we learned ? », Elife, 10. https://doi.org/10.7554/eLife.75830

Roebber P. J. et Schultz D. M., 2011, « Peer review, program officers and science funding », Plos One, 6 (4). https://doi.org/10.1371/journal.pone.0018680

Roumbanis L., 2019, « Peer review or lottery ? A critical analysis of two different forms of decision-making mechanisms for allocation of research grants », Science, Technology, & Human Values, 44 (6), p. 994-1019. http://dx.doi.org/10.1177/0162243918822744

Sïle L. et Vanderstraeten R., 2019, « Measuring changes in publication patterns in a context of performance-based research funding systems. The case of educational research in the University of Gothenburg (2005-2014) », Scientometrics, 118 (1), p. 71-91. https://ideas.repec.org/a/spr/scient/v118y2019i1d10.1007_s11192-018-2963-8.html

Stephan P., Veugelers R. et Wang J., 2017, « Reviewers are blinkered by bibliometrics », Nature, 544 (7651), p. 411-412. https://doi.org/10.1038/544411a

Stewart M., 2018, « State crime by proxy : Corporate influence on state sanctioned social harm », Journal of Critical Psychology, Counselling and Psychotherapy, 18, p. 217-227. https://www.egalitarianpublishing.com/JCPCP/2018/JCPCP_v18_i04_Abs_Stewart.pdf

Taffe M. A. et Gilpin N. W., 2021, « Equity, diversity and inclusion. Racial inequity in grant funding from the us national institutes of health », Elife, 10, https://doi.org/10.7554/eLife.65697

Teixeira da Silva J. A. et Dobránszki J., 2017, « Highly cited retracted papers », Scientometrics, 110 (3), p. 1653-1661. https://doi.org/10.1007/s11192-016-2227-4

Vaesen K. et Katzav J., 2017, « How much would each researcher receive if competitive government research funding were distributed equally among researchers ? » Plos One, 12 (9). https://doi.org/10.1371/journal.pone.0183967

van Dijk D., Manor O. et Carey L. B., 2014, « Publication metrics and success on the academic job market », Current Biology, 24 (11), p. 516-517. https://doi.org/10.1016/j.cub.2014.04.039

Wahls W. P., 2018a, « High cost of bias. Diminishing marginal returns on NIH grant funding to institutions », BioRxiv. The Preprint Server for Biology. https://doi.org/10.1101/367847

Wahls W. P., 2018b, « Point of view. The NIH must reduce disparities in funding to maximize its return on investments from taxpayers », Elife, 7. https://doi.org/10.7554/eLife.34965

Haut de page

Notes

1 Le domaine du soin et de la guérison se prête particulièrement aux croyances fondées sur des légitimités hybrides entre charisme et rationalité détournée (Dericquebourg, 2001).

2 Il a fallu douze ans à la communauté scientifique pour déceler des problèmes méthodologiques graves dans les travaux d'Olivier Voinnet (médaille d'argent du CNRS, membre de l'Académie des sciences), avec de lourdes retombées dans la presse en 2015.

3 Souvent, ce soupçon se cristallise autour de lignes idéologiques plutôt qu’autour de la réalité scientifique, comme c’est le cas pour les scandales liés à « l'islamogauchisme ». Voir P. Dascher, 2021, « L’“islamogauchisme” n’est pas une réalité scientifique », 17 févr. Accès : https://www.cnrs.fr/fr/l-islamogauchisme-nest-pas-une-realite-scientifique.

4 Le serment d’intégrité scientifique a été mis en place dans l’arrêté du 26 août 2022 modifiant l’arrêté du 25 mai 2016 fixant le cadre national de la formation et les modalités conduisant à la délivrance du diplôme national de doctorat. Accès : https ://www.legifrance.gouv.fr/jorf/id/JORFTEXT000046228965.

5 Des effets similaires de rationalisation s’observent dans d’autres domaines, notamment celui de la culture (Arfaoui, 2019).

6 Un exemple notable est la politique d’optimisation menée par le Département du travail et des retraites (DWP) du Royaume-Uni entre 2011 et 2014, qui voulait réduire le nombre de bénéficiaires de prestations sociales pour le handicap. La méthode passait par des entretiens individuels externalisés auprès de plusieurs cabinets de conseils (principalement Atos au départ). Les critiques, à l’époque croissantes, sur les milliers de morts évitables et les coûts sociaux causés par ces politiques n’avaient pas eu d’impact. La réaction face à la sous-performance des cabinets est intéressante à noter : taux d’erreurs de plus de 30 % au lieu des 3 % annoncés, vitesse de traitement des dossiers deux fois inférieure à la prévision, accumulation de nombreux retards. Cette sous-performance et les coûts démesurés qu’elle entraînait (en dizaines de millions de livres annuels pour les seuls frais de justice, en centaines de millions de livres en frais supplémentaires facturés par les cabinets) auraient dû, dans une perspective d’optimisation budgétaire, mener à l’annulation du contrat dès la première année, ce qui fut loin d’être le cas (Stewart, 2018).

7 Traduction libre de l’autrice et de l’auteur.

8 Traduction libre de l’autrice et de l’auteur. L. Szilard, 1948, The Mark Gable Fondation. First version. Accès : https://library.ucsd.edu/dc/object/bb33804055

9 Cet investissement n’est pas toujours fixé à l’avance – par exemple avec les appels « OH Risque » de l’ANR – et on peut d’ailleurs s’attendre à des rendements décroissants à partir d’un certain seuil.

10 Science Europe, 2022, Agreement on Reforming Research Assessment. Accès : https://www.scienceeurope.org/our-resources/agreement-reforming-research-assessment/

11 Le facteur d’impact, créé au départ par des bibliothécaires pour déterminer quelles revues obtenir en priorité, a été détourné pour en faire une échelle de qualité des revues (Stephan et al., 2017). Le classement des revues a glissé vers un classement des EC qui y publient – malgré la facilité qu’il y à fausser les indicateurs individuels, par exemple par l’autocitation (Biagioli et Lippman, 2020 ; Chawla, 2018).

12 L’Agence nationale d’habilitation italienne exigeait avant tout recrutement ou promotion que les candidats aient des scores bibliométriques dépassant la médiane des personnels ayant le grade supérieur. Ces exigences furent remplacées en 2016 par des seuils calculés par un algorithme dont le fonctionnement n’est pas public (Demetrescu et al., 2020).

13 Le domaine de l’informatique a comme particularité qu’il est souvent plus prestigieux (et difficile) de publier dans les actes des conférences de premier rang que dans les meilleurs journaux.

14 Une partie de cette différence de financement peut être expliquée par une tendance à moins chercher d’autres financements en cas d’échec initial. Le facteur dominant affectant l’obtention de financements futurs semble toutefois être l’obtention d’un financement initial.

15 Les altmetrics sont des indicateurs alternatifs censés capturer la portée en ligne au-delà de la citation : nombre de vues, téléchargements, mentions sur les réseaux sociaux…

16 Comme le disait Grégoire Chamayou (2009) : « Ne faites pas de la recherche : écrivez des papiers ».

17 Des travaux ont montré qu'une des hypothèses centrales portant sur le fonctionnement de cette pathologie était fondée sur des données faussées, ayant entraîné un gâchis de plusieurs milliards de dollars.

18 Cette méthode est fondée sur une perception que de nombreux EC manquent de motivation et travaillent peu, perception énoncée notamment par l’ancien président de la république Nicolas Sarkozy. Attaquant la basse productivité en termes de publications des EC français de certains domaines, ce dernier les accusait de ne venir au laboratoire que parce que « il y a de la lumière, c’est chauffé » (Chaudret, 2013).

19 Une critique de cette étude donne une autre interprétation, selon laquelle la différence négligeable n’est pas due à une saturation du marché des financements mais à une décorrélation plus fondamentale entre financement et production scientifique. L’explication proposée par les auteurs de l’article initial serait alors une explication ad hoc motivée par une croyance injustifiée en l’applicabilité des mécanismes de marché sur la production universitaire (Muller, 2017).

20 Ce maximum est atteint autour de 80 000 dollars canadiens pour les sciences sociales, comparé à un financement moyen de 16 000 dollars canadiens, et à 300 000 dollars canadiens pour les sciences naturelles, comparé à un financement moyen de 53 000 dollars canadiens.

21 ll existe une étude notable indiquant un résultat contraire sur des données similaires au Canada (Ebadi et Schiffauerova, 2016). Cette étude montre un rapport positif entre financements, qualité et quantité des publications, ainsi qu’une qualité supérieure des productions des chercheurs industriels. Cependant, cette étude fait une impasse majeure en comparant les indicateurs bibliométriques sans normaliser entre domaines différents. Il n’est donc pas étonnant qu’on observe une différence de « qualité » – évaluée en fonction du nombre de citations – entre des chercheurs industriels en nanotechnologie et génétique d’un côté et des chercheurs universitaires en mathématiques ou en littérature.

22 Par ailleurs, cette étude ne contrôle pas que les EC publiant plus ont tendance à obtenir plus de financements et donc que même sans ces financements, les EC correspondant auraient probablement toujours publié plus que la moyenne.

23 La présence d’incitations moins immédiates concernant l’avancée de carrière avait cependant un effet positif sur le nombre de publications acceptées.

24 La course à la publication a été mentionnée comme facteur ayant incité à la falsification lors du rapport de contrôle de l’Institut hospitalo-universitaire (IHU) Méditerranée infection par l’Inspection générale des affaires sociales (Desailly-Chanson et al., 2022), avec au moins 86 articles concernés par des problèmes signalés sur Pubpeer par Elisabeth Bik. L’IHU a d’ailleurs reçu de grandes sommes grâce aux publications prolifiques de ses membres, même si celles-ci sont concentrées dans des revues de moins bonne « qualité », tenues par les membres de l’IHU, même des revues prédatrices (Maisonneuve et al., 2020). Ces sommes étaient attribuées grâce à Sigaps, le Système d’interrogation, de gestion et d’analyse des publications scientifiques mis en place pour recenser les publications françaises en santé, mais surtout pour répartir les crédits de recherche avec une échelle quantitative dépendant du score de la revue et de la position de l’auteur, un CHU pouvant recevoir plus de 80 000 € pour une publication.

25 Un des arguments utilisés pour justifier ces systèmes est l’attractivité à l’échelle internationale, mais cela ne mène qu’à une compétition où le système entier perd quand tous les membres sont forcés de concourir.

26 En contrepoint, le fait de participer à ces processus compétitifs est parfois souligné comme pouvant avoir en soi un impact positif sur la production scientifique (Ayoubi et al., 2019).

27 En France, le budget de fonctionnement de l’ANR est de l’ordre de 5 % des crédits alloués, mais cela ne compte que les environ 323 agents et pas les évaluateurs extérieurs, et n’intègre pas l’éventuelle rémunération des évaluateurs extérieurs le plus souvent bénévoles.

28 Voir le Conseil d’État, 5e-6e chambres réunies, 22 juin 2022. Accès : https://www.legifrance.gouv.fr/ceta/id/CETATEXT000045959613

29 Tim Cook, PDG d’Apple, propose le réveil à 4 h du matin comme moyen d’améliorer le bien-être et la productivité.

30 Dans son ouvrage sur le repos et le travail, A. S.-K. Pang (2016) observe des entreprises dont la productivité totale augmente suite à des réductions parfois drastiques du temps de travail. Faces à des crises conjoncturelles, ces dernières reviennent cependant sur ces mesures – qui augmentaient leurs bénéfices. L’auteur concède que la crise requiert des sacrifices de la part de toutes les parties, sans observer que le sacrifice en question est contre-productif. Là où une baisse des salaires augmenterait les marges de l’entreprise mais serait difficile pour les employés, une augmentation du temps de travail à salaire constant est tolérable, même si celle-ci ne réduit pas les coûts et diminue la productivité totale.

Haut de page

Pour citer cet article

Référence papier

Enka Blanchard et Zacharie Boubli, « Recherche et dogmatisme : de l’improductivité du productivisme »Questions de communication, 42 | 2022, 255-277.

Référence électronique

Enka Blanchard et Zacharie Boubli, « Recherche et dogmatisme : de l’improductivité du productivisme »Questions de communication [En ligne], 42 | 2022, mis en ligne le 01 février 2023, consulté le 20 mars 2023. URL : http://journals.openedition.org/questionsdecommunication/29994 ; DOI : https://doi.org/10.4000/questionsdecommunication.29994

Haut de page

Auteurs

Enka Blanchard

Université Polytechnique Hauts-de-France, CNRS, Lamih, F-59313 Valenciennes, France

Zacharie Boubli

Conservatoire national des arts et métiers, HT2S, 75003 Paris, France

Haut de page

Droits d’auteur

CC-BY-NC-ND-4.0

Creative Commons - Attribution - Pas d'Utilisation Commerciale - Pas de Modification 4.0 International - CC BY-NC-ND 4.0

https://creativecommons.org/licenses/by-nc-nd/4.0/

Haut de page
  • Logo Centre de recherche sur les médiations - CREM
  • Logo edul
  • Logo Humus
  • Logo MESRI - Ministère de l'enseignement supérieur, de la recherche et de l'innovation
  • Logo Ouvrir la science
  • Revue soutenue par l’Institut des sciences humaines et sociales du CNRS
    CNRS - Institut national des sciences humaines et sociales
  • OpenEdition Journals
Rechercher dans OpenEdition Search

Vous allez être redirigé vers OpenEdition Search