Navigation – Plan du site

AccueilNuméros17De « faire nombre » à communiquer...

De « faire nombre » à communiquer autrement

Politiques d’évaluation et dynamiques de la publication scientifique dans les SHS1
From publishing productivism to alternative communication patterns
Ioana Galleron
p. 47-65

Résumés

Cet article s’intéresse à deux types de facteurs, externes et internes aux champs disciplinaires, ayant mené à l’augmentation considérable, au cours des dernières décennies, des publications dans les sciences humaines et sociales. Du côté des premiers, il s’intéresse au changement dans les politiques d’évaluation de la recherche, intervenu dans différents pays européens pendant cette période. Du côté du second, il se penche sur le besoin de publier plus, soit en vue d’une évolution professionnelle, soit pour communiquer de façon précoce des idées et des méthodes susceptibles d’être améliorées grâce au commentaire des pairs. Dans une troisième partie, il s’intéresse à des modes d’évaluation et de publication alternatifs, souvent expérimentaux, qui tentent de concilier le besoin de faire circuler rapidement l’information scientifique, avec celui d’abandonner le modèle productiviste stimulé par une approche managériale de la recherche.

Haut de page

Texte intégral

  • 1 Cet article a bénéficié de la relecture et des apports de Jon Holm (Conseil norvégien de la recher (...)

1Depuis les années 1980, le paysage de l’enseignement supérieur et de la recherche a connu des changements considérables, non seulement en France ou dans les pays européens, mais au niveau international également. Outre la multiplication des institutions et la massification des études supérieures, répondant à différents besoins (pression démographique, nécessités économiques), outre l’accession au premier plan d’acteurs jadis peu connus et peu estimés (comme les universités asiatiques), l’univers académique s’est transformé sous l’effet de changements profonds et accélérés dans le domaine de l’évaluation de la recherche. Comme il sera montré dans une première partie, ceux-ci ont eu, surtout à partir des années 1990, un effet accélérateur sur les sciences humaines et sociales (SHS), portées de plus en plus vers une fast science jadis plus familière aux spécialistes des sciences, technologies, de l’ingénierie et de la médecine (sciences, technologies, engineering, medicine [STEM]). Il serait toutefois erroné de penser que l’emballement de la machine scientifique serait dû uniquement à des facteurs extérieurs : une seconde partie se penchera rapidement sur quelques transformations disciplinaires, intervenues surtout à partir des années 2010, qui concourent à pousser les acteurs des SHS vers plus de productivisme en matière de recherche en général, et de publication en particulier. À ces tendances disciplinaires, menant à la publication plus précoce et plus abondante, s’ajoutent les attendus formels des évaluations, qui mènent à leur tour à un effort de transformation des pratiques de publication et d’ajustement de la part des chercheurs. Il reste encore à élaborer des solutions susceptibles de concilier les besoins d’une communication scientifique rapide et efficace avec la nécessité d’investir du temps dans une recherche de qualité.

  • 2 European Network for Research Evaluation in the Social Sciences and the Humanities (ENRESSH) est u (...)

2Cet article propose un survol de ces différentes dynamiques, dont la chronologie et les acteurs présentent des imbrications plus complexes que ce que suggère le précédent paragraphe ; ainsi, l’opposition entre chercheurs, d’un côté, et évaluateurs ou décideurs de l’autre s’avère particulièrement fragile, avec de nombreux cas de changement de rôle intervenant au cours d’une même carrière. Il ne s’agit donc, dans les pages qui suivent, que de constats préliminaires, à nuancer et à approfondir par différentes études empiriques, dont certaines sont déjà en développement dans l’association internationale ENRESSH2, ou dans d’autres cadres.

Publier plus pour gagner plus

  • 3 <https://www.ref.ac.uk/>.
  • 4 Pour une vue d’ensemble, voir Ochsner et Peruginelli (2022).
  • 5 Voir par exemple Deutz et al. (2021) sur les conséquences de la liste « Bibliometric Research Indi (...)
  • 6 Le cas de la République tchèque est présenté dans Good et al. (2015).
  • 7 Voir le tour d’horizon des principes et pratiques d’évaluation en Europe (mais pas seulement) effe (...)

3Depuis l’instauration du Research Assessment Exercise au Royaume-Uni, en 1986, puis du Research Evaluation Framework3, le monde de la recherche est entré dans un nouvel ordre de l’évaluation, qu’il serait fastidieux de décrire ici dans toutes ses déclinaisons et aspects4. Des exercices nationaux d’évaluation, formels et systématiques, ont progressivement été mis en place, d’abord dans les pays de l’Ouest et du Nord5, puis, après la chute du mur de Berlin, dans les pays de l’Est6. Ces exercices reflètent un changement de gouvernance de la recherche : les contrôles administratifs des processus dans les organisations ont été remplacés par des contrôles du travail individuel (Deem et al., 2007) ; les chercheurs, vus comme spécialistes qui adoptent de « bonnes pratiques », sont devenus des « public servants » dont le travail doit être supervisé et qui doivent rendre compte de leurs résultats. Par ailleurs, un point commun de ces campagnes nationales semble être le traitement quasi indifférencié des sciences dites « dures » et des sciences humaines et sociales7 ; un second point de ressemblance est leur impact sur les pratiques de publication.

4En effet, l’exigence, formulée envers les acteurs individuels comme institutionnels, de rendre compte périodiquement de l’ensemble de leur production scientifique sur une période donnée, a mené à l’accélération des publications. Bien que le niveau de performance requis ne soit pas toujours précisé, comme l’exigence d’une publication par an au moins par chercheur, les individus comme les équipes soumis à une évaluation périodique comprennent qu’ils doivent « faire nombre ». Ils multiplient donc les contributions en vue d’une évaluation, et pas toujours en accord avec l’avancement des travaux de recherche. Même quand les documents d’évaluation formulent des injonctions qualitatives, les effets sont assez similaires. Ainsi, le choix de privilégier les publications dans des revues à haut facteur d’impact semble a priori une bonne idée pour amener les chercheurs à moins s’éparpiller, en concentrant leurs forces sur un chantier prioritaire, susceptible de donner des résultats marquants. De même, dans les systèmes à points (qui intègrent souvent la précédente injonction, comme on le voit par exemple dans les « standards de qualité » pratiqués par le Conseil roumain de la recherche scientifique (CNCS) au sujet des principaux investigateurs et des évaluateurs8), les hauts scores obtenus par certaines formes de publication (articles dans des revues internationales, livres en langue étrangère, présents dans de nombreuses bibliothèques universitaires), par contraste avec d’autres, moins valorisées (comme les entrées d’encyclopédies publiées en Roumanie ou en République moldave), semblent le bon moyen de diriger les chercheurs vers la production des premiers au détriment des seconds. Cependant, une étude quantitative menée sur huit pays européens (Kulczycki et al., 2018) suggère que l’effet de telles mesures n’est pas exactement celui escompté9. Si la publication scientifique en SHS décroît légèrement sur la période considérée (2011 à 2014), ce qui peut laisser à penser que certains chercheurs tentent de faire moins et mieux10, un des effets les plus notables de telles politiques est l’abandon de plus en plus marqué des langues nationales en faveur de l’anglais. Cela amène, en retour, plusieurs questionnements, liés à la préservation de la diversité culturelle en Europe, qui est devenue au cours des dernières années une préoccupation de premier plan11, et qui oppose parfois politiques européennes multiculturelles et choix nationaux en faveur de l’anglais comme langue des sciences. La même étude constate également la baisse marquée des chapitres et ouvrages édités, au profit des articles. Or, outre que l’on peut se demander si publier plus d’articles que de livres, fut-ce dans des revues internationales à comité de lecture, est vraiment un gage de qualité12, il convient d’être conscient que ce processus s’accompagne de l’invisibilisation conjointe de toute une série d’autres contributions réalisées par les chercheurs : littérature grise, publication à destination des praticiens, corpus et jeux de données, ontologies, thésaurus et vocabulaires contrôlés13, et bien d’autres. Pour être pris en compte, ces travaux alternatifs doivent souvent être accompagnés d’un article de présentation, dont le rôle n’est autre que de faire entrer une recherche parfois considérable dans le lit de Procuste de l’évaluation. La charge de travail des scientifiques est ainsi inutilement augmentée par des filtres et des hiérarchies discutables ; si de tels éléments sont inhérents à toute présentation de la production scientifique (Sivertsen, 2022), il s’agit une forme d’écran qui retarde la synchronisation des principes d’évaluation avec les formes et les représentations de la qualité partagées par les chercheurs.

  • 14 Une étude plus ancienne sur le système roumain (Agachi et al., 2006) semble suggérer que la pressi (...)
  • 15 Liste de revues en SHS, créée en 2014 par la Fondation européenne de la science, et maintenue depu (...)

5Par ailleurs, des doutes peuvent être formulés au sujet de la capacité de ce type de programmes (qui mettent l’accent sur la quantité et les formes de publication, au détriment de l’évaluation de la qualité intrinsèque des matériaux produits) à propulser la science nationale sur le premier plan de la scène internationale14. Des communications personnelles avec des chercheurs roumains indiquent plutôt que, incertains de pouvoir publier dans les revues internationales à comité de lecture figurant dans les listes officielles du CNCS, les chercheurs adoptent des stratégies de multiplication des textes, comptant amasser des points grâce aux équivalences : au lieu d’un article dans une revue indexée par Web of Science, une plateforme d’information scientifique et technique gérée par Clarivate Analytics, on peut atteindre le même nombre de points en en publiant trois dans des revues figurant dans d’autres bases de données, moins prestigieuses (comme ERIH PLUS15). Plus inquiétant encore, des canaux pertinents de communication pour certaines recherches sont disqualifiés sans tenir compte de leur qualité et réputation. Ainsi, les revues pratiquant des délais longs de relecture (jusqu’à deux ans dans certains cas) tendent à être évitées, puisqu’il s’agit d’obtenir le nombre de points désirés sur une période donnée. Il n’est pas ici question de la nécessité de rendre rapidement publiques une série d’idées nouvelles, en attendant la publication de résultats consolidés, mais de la mise de côté volontaire de certains journaux qui ne permettent pas de respecter des délais déterminés administrativement. Enfin, quoique des études spécifiques commencent à peine à être menées sur ce point dans le domaine des SHS (Faria, 2018), on peut supposer, sur la base d’observations déjà faites à propos des sciences dites « dures » (Imran et al., 2021 ; Tijdink et al., 2014), l’existence d’un lien causal entre l’augmentation de la pression à publier, et plus particulièrement via certains canaux, et la multiplication des cas de fraude scientifique (plagiat, faux articles) comme de conduite discutable (double publication, « saucissonnage », citations croisées de complaisance, etc. – voir Murudkar, 2021). Sans négliger d’autres facteurs, comme la culture nationale ou disciplinaire, ainsi qu’une formation insuffisante aux méthodologies de la recherche et à l’intégrité scientifique (voir DuBois et. al, 2013), le « relevé des compteurs », qui revient de façon périodique dans la plupart des systèmes modernes d’enseignement supérieur et de recherche, s’avère ainsi au moins en partie responsable de plusieurs dérives actuelles du système de publication scientifique.

  • 16 Programme-cadre de financement de la recherche, déployé par l’Union européenne de 2014 à 2020.
  • 17 On peut citer le rapport de l’Institut national anglais de recherche sur le cancer (<https://www.n (...)
  • 18 Par exemple, avant la crise d’approvisionnement déclenchée par la guerre en Ukraine, les programme (...)

6Un autre facteur de l’inflation des publications est l’invitation, faite à travers les mêmes cadres nationaux ou européens d’évaluation de la recherche, de relever des « défis sociétaux » (c’est ainsi qu’ils étaient appelés dans Horizons 202016), comme le vieillissement de la population, la réduction des sources d’énergie carbonée, l’augmentation sans précédent des volumes de transport de personnes et de marchandises, le traitement des déchets, etc. Si de tels programmes sont parfois de nature à soutenir des travaux engagés de longue date ou des réorientations souhaitées par les chercheurs eux-mêmes, ils créent également des effets de mode, entraînant l’augmentation soudaine, et pas toujours justifiée, des publications sur une thématique, ainsi que la décélération, voire l’abandon, d’aires de recherche moins « dans le vent », mais non moins nécessaires. Villoutreix (2021) donne ainsi l’exemple de la « médecine personnalisée », fortement soutenue à partir des années 2010 au détriment de recherches sur d’autres types de médicaments, ainsi que, plus récemment, l’engouement pour l’intelligence artificielle. Dans un ordre d’idées similaire, l’exemple de la pandémie de Covid-19, qui a mené à une véritable explosion des publications en lien avec les coronavirus, est, lui aussi, tout à fait parlant : si le contexte d’urgence absolue a justifié le besoin de produire et de partager rapidement des résultats, il a mené également à la réorientation opportuniste des travaux de certains chercheurs, à des pratiques de recherche et de peer review moins rigoureuses (voir Morris, 2020), ainsi qu’à la baisse du financement d’autres aires thématiques ou disciplinaires17. Même en écartant, comme exceptionnel, l’exemple du coronavirus, il n’en reste pas moins que le financement de la recherche en fonction d’axes définis politiquement (evidence-based policy) introduit des distorsions dans le système scientifique, orientant la façon de formuler les questions18, rendant certains savoirs plus prestigieux ou plus inconfortables que d’autres (voir Greenhalgh et Russell, 2009 ; Saltelli et Giampietro, 2017) et menant à l’augmentation du productivisme scientifique.

« Combien d’articles faut-il écrire par an ? »

  • 19 On la rencontre toutefois assez régulièrement dans des blogs (<https://www.journal-publishing.com/ (...)
  • 20 On passe ainsi de 36 276 postes de maître de conférences en 2010-2011 à 35 269 en 2020-2021, sur f (...)
  • 21 Le CNU exige le dépôt des dossiers de demande de qualification sous forme de fichiers pdf, et non (...)

7Bien que les (jeunes) chercheurs soient peu nombreux à oser poser une telle question à voix haute19, cette dernière a sans doute résonné dans la plupart des têtes, à un moment ou à un autre. C’est que, surtout à partir des années 2010, la quantité semble devenue un critère d’appréciation par les pairs, indépendamment de toute « commande » politique. En France, le durcissement des exigences pour la qualification aux fonctions de maître de conférences, sur fond de réduction du nombre de postes20, mène les jeunes chercheurs de certaines sections à présenter des dossiers de plus en plus volumineux. Même si les portails de diffusion des travaux scientifique (thèses.fr, HAL SHS) n’enregistrent pas le nombre de pages, de signes ou de mots dans leurs métadonnées, un dépouillement manuel, portant sur les années 2020 et 2021, montre qu’en littérature et en histoire les dissertations doctorales peuvent à présent atteindre mille pages et plus. En outre, l’exigence d’avoir publié en sus de sa thèse pour être qualifié aux fonctions de maître de conférences par le Conseil national des universités a également mené à l’allongement des listes de publication des jeunes docteurs, même si, là encore, les études quantitatives sont difficiles, en raison des modes de collecte pratiqués par cette instance nationale21. Dès leur formation, les jeunes chercheurs en SHS, ou du moins dans certains domaines des SHS, sont poussés à publier de plus en plus, ce qui pose la question du temps de lecture et de formation dont ils disposent.

  • 22 Voir, entre autres, l’ouvrage de Dyhouse (1995).
  • 23 Voir, par exemple, les actes du colloque de 2021 de la société internationale de scientométrie : <(...)
  • 24 Dans certains systèmes d’information, le décompte des publications se fait de manière fractionnée, (...)
  • 25 « Monographs should not be seen simply as the way in which research findings are communicated, bec (...)

8Toutefois, ces tendances internes vers une science non seulement plus rapide, mais aussi plus imposante quantitativement si l’on peut dire (fat science), peuvent ne pas être liées uniquement à des stratégies d’autopromotion. Au modèle de la publication de l’érudit solitaire (qui était tout de même entouré d’assistants et de collègues – souvent des femmes, peu connues et reconnues22 – avec lesquels il échangeait des idées en amont de la publication) se substitue de plus en plus, au cours des dernières années, un modèle plus visiblement collaboratif, menant à la multiplication des articles cosignés, jadis très rares dans certaines disciplines humanistes (Ossenblok et al., 2012). Or, la multiplication des auteurs mène aussi, conjointement, à la celle des publications par auteur : une même expertise peut être engagée conjointement dans plusieurs projets et donner lieu, en parallèle, à la rédaction de plusieurs contributions. Il y a sans doute là un risque d’autoplagiat, ou de saucissonnage ; dans les conférences internationales, il est facile d’identifier des auteurs intervenant dans plusieurs communications, ou même des groupes d’auteurs proposant des contributions sur des thématiques proches23, dans lesquelles, par un jeu de chaises musicales, la position de premier auteur, la plus prestigieuse et la plus « productive », selon certaines formules de calcul24, est occupée successivement par l’un des collaborateurs du travail entrepris, l’objectif étant que chacun puisse voir son travail reconnu à sa juste valeur. Mais de tels comportements, qu’il serait bon de quantifier, comme d’en comprendre plus finement les motivations, et qu’il n’est pas difficile de contrer (par exemple, en limitant le nombre de soumissions par personne dans une conférence), ne doivent pas obscurcir les bénéfices liés à une science plus collaborative, qui gagne du terrain dans les SHS. Il importe surtout de lutter contre les fausses représentations qui ont encore cours parmi les évaluateurs de certains secteurs, et qui voient dans la cosignature une facilité, une façon de « mouiller moins la chemise » par rapport au chercheur qui assume tout seul la rédaction de ses articles : une telle représentation est grandement liée à une conception du travail d’écriture comme la partie la plus substantielle du processus de recherche (ce qui est effectivement le cas pour certaines disciplines et approches25), mais néglige complètement l’existence de modèles alternatifs, dans lesquels le travail à accomplir en amont de la rédaction dépasse, en termes de temps et d’énergie, celui qui est investi dans cette phase ultime, ce qui justifie la cosignature d’un article, y compris par des collaborateurs qui n’auront, en réalité, pas rédigé une seule phrase. Le mouvement des secteurs humanistes vers des approches scientifiques fondées de plus en plus sur l’analyse de données, et mobilisant des instruments de plus en plus raffinés, contribue ainsi à l’augmentation et à l’accélération des productions scientifiques.

  • 26 Alternativement, on assiste à des discussions lancées sur des listes de diffusion, ou bien via des (...)
  • 27 Citons le site de l’université de Cambridge, qui déconseille le renvoi à des blogs comme sources s (...)

9La multiplication des publications est également stimulée par l’émergence de nouvelles pratiques, telles que la tenue d’un carnet de recherche en ligne. Simples instruments de communication dans certains cas (notamment en marge des projets financés, dont ils accompagnent le lancement et signalent les grandes étapes), les billets publiés sur un blog scientifique répondent également à d’autres fonctions. Ils peuvent contribuer à établir un dialogue précoce dans la communauté, aidant à tester la validité de certaines hypothèses en amont de la conception de protocoles expérimentaux ou d’un lourd travail de création de sources26. Ils peuvent aussi faire part de découvertes, ou même de « trouvailles » potentiellement utiles à un plus grand nombre, par exemple en humanités numériques, où telle ou telle manipulation peut améliorer l’extraction de l’information. La question se pose, bien entendu, de la nature proprement scientifique de telles contributions27 ; des arguments pour et contre peuvent être apportés en la matière, que trop peu d’études ont, pour l’instant, fondé sur des données précises, et la distinction est encore à faire au cas par cas. Il n’en reste pas moins que si une meilleure science tient aussi au partage plus ample et plus rapide des idées et des initiatives particulières, un effort plus grand est demandé au chercheur en SHS pour multiplier les canaux de communication et les types de contribution, en sus de l’élaboration de contributions plus « traditionnelles », sous la forme d’articles et de livres.

Publier et évaluer autrement

  • 28 Tel est le cas, par exemple, en Suisse, où l’initiative du recueil des travaux des chercheurs est (...)

10Comment contrecarrer les effets néfastes liés à l’augmentation des publications, tout en préservant un milieu dynamique, qui réponde aux besoins collaboratifs des chercheurs ? Au cours de la dernière décennie, et parfois même plus récemment, des réponses à la fois institutionnelles et culturelles ont commencé à être élaborées. Conscients dans une certaine mesure des effets indésirables de l’expansion de la « publisphère » scientifique, les organismes évaluateurs modifient leurs exigences, du moins dans certains pays (comme les Pays-Bas) et dans certains secteurs (par exemple, pour les soumissions de projets), en imposant des limites aux listes de publications fournies, et en demandant de mentionner ou fournir seulement les publications les plus significatives. Une distinction plus nette se fait entre le besoin de suivre et de comprendre l’évolution des champs disciplinaires, grâce à une couverture aussi complète que possible des contributions des chercheurs, et le processus d’évaluation, dont les objectifs sommatifs comme formatifs demandent de se concentrer sur des éléments qualitatifs, attentivement sélectionnés, reflétant la diversité des missions des chercheurs et des organismes de recherche. Ce « découplage » entre la mise en place de systèmes d’information sur la recherche (research information systems [RIS]) et l’évaluation, qui va dans certains pays jusqu’au refus complet d’un système centralisé28, est une demande plus ancienne des spécialistes de la scientométrie, lesquels ont été parmi les premiers à avertir sur le fait que le succès des RIS dépend en premier lieu des avantages que les chercheurs eux-mêmes peuvent y trouver, et ont très tôt souligné les effets délétères de l’utilisation peu informée de données quantitatives devenues (plus ou moins) rapidement disponibles. Il importe de poursuivre ce mouvement, pour éviter que les bases de données sur la recherche soient assimilées à un mécanisme de « flicage » ou de construction de réputations scientifiques : elles sont un instrument d’information aux multiples finalités, et dont l’usage administratif ou politique peut et doit être clairement cadré.

11Dans le prolongement de cette évolution vers une approche plus qualitative que quantitative de l’évaluation, qui voit le jour dans certains pays29, la charte récemment élaborée par la Commission européenne30, en s’appuyant sur les suggestions de différentes associations transnationales (European Alliance for Social Sciences and Humanities (EASSH)31, ENRESSH, agences d’évaluation), entend provoquer une réforme en profondeur. Les acteurs de l’évaluation, en particulier les agences nationales responsables des évaluations périodiques des institutions et des chercheurs, sont invités à adhérer à des principes comme l’évaluation qualitative, l’abandon des métriques simplistes (tels le facteur d’impact et l’indice H), et la référence aux classements internationaux32), la reconnaissance de la diversité des contributions ou l’évaluation de l’impact à différentes échelles de temps (court, mais aussi moyen et long terme). À côté de l’engagement à revoir périodiquement les critères et les étalons de la qualité, en se fondant sur des échanges avec les évalués et les organismes d’évaluation entre eux, et sur des données fiables et transparentes, ces différents principes peuvent mener à un changement des règles du jeu, et donc à la réduction de la pression à publier subie par les chercheurs de toutes les disciplines.

12La construction progressive d’une infrastructure pour la publication numérique devrait également apporter des améliorations. Avec pour objectif premier de favoriser la science ouverte, des initiatives comme Open scholarly communication in the European research area for social sciences and humanities (OPERAS)33 contribuent à l’organisation de l’écosystème scientifique numérique, améliorant l’accès aux ressources, leur stockage à long terme, leur citabilité et, surtout, leur fiabilité. Un des enjeux de la publication numérique reste cependant l’amélioration de l’évaluation par les pairs, nécessaire surtout si l’on souhaite lever les réticences, comme celles mentionnées plus haut, envers les formats alternatifs de communication scientifique. Tout en reproduisant, en milieu dématérialisé, les pratiques de la publication « en dur » (différents types d’évaluation, en simple ou double aveugle, préliminaires à la publication), la sphère numérique devient ainsi également le lieu de plusieurs expérimentations destinées à concilier la fluidité de la communication, spécifique au numérique, et le besoin d’augmenter la confiance envers ce type de publications : élaboration de métriques alternatives, peer review postérieure à la publication, accès aux données (et donc invitation à la réplicabilité) fourni systématiquement avec les articles, billets de blog, ou chapitres de livre. Reste à faire accepter aux organismes évaluateurs des individus et des institutions qu’il s’agit là d’un processus nécessaire, susceptible d’améliorer la qualité de la science à moyen ou long terme, et qu’il faudrait soutenir et encourager par une forme de valorisation de tels engagements, que ce soit dans le cadre des évolutions de carrière ou au moyen de financements accordés aux opérateurs qui s’y consacrent.

13On peut observer en corollaire que la qualité de l’évaluation par les pairs reste à améliorer, et cela pas seulement dans la sphère numérique : à l’heure actuelle, on manque dans plusieurs pays européens d’une vision claire et large, sinon complète, de la réalité et de la teneur des pratiques sur le plan national, aussi bien en ce qui concerne les revues que les maisons d’édition spécialisées dans les SHS. En France, des éditeurs connus et respectés, comme Honoré Champion, Armand Colin, les Presses universitaires de France, etc. n’indiquent rien sur leurs pages Internet en matière de processus d’évaluation antérieur à la publication, et, dans certains cas même, le cheminement à suivre pour proposer un ouvrage (ou un numéro spécial de revue) manque à l’appel. Il est probable que des protocoles existent, mais il est curieux de constater que les maisons d’édition ne sentent pas le besoin de les formaliser, sans doute parce qu’une demande claire ne leur parvient pas de la part du monde universitaire. De plus, l’engagement dans l’obtention de labels de qualité, comme ceux imaginés par COPE34, par les sociétés savantes de Belgique, de Suède35 et de Finlande36, est chronophage, et peut être vu comme une charge administrative supplémentaire. Cependant, une telle démarche est nécessaire non seulement pour lever les suspicions que le manque de transparence peut faire peser sur le processus de choix, mais aussi parce que ce serait précisément s’engager dans une démarche de « ralentissement » de la science, en consacrant un peu de temps à l’essentiel (garantir l’intégrité de la recherche) au lieu de continuer à emballer le moteur d’une production scientifique toujours plus pléthorique.

14Apparaissent, enfin, des formes de publication alternatives, stimulées par le constat que l’augmentation des publications devient une menace pour la lecture (trop peu de temps pour toujours plus de sources). En archéologie, à partir du programme logiciste lancé par Jean-Claude Gardin, Marlet et al. (2019) proposent de recourir à des diagrammes permettant de saisir d’un coup d’œil la chaîne d’inférences menant à la formulation de nouvelles propositions. Des principes assez proches (dont le recours aux langages et au formalisme des linked open data37) se trouvent derrière les nanopublications38, modèle moins répandu en SHS, mais qui commence à être adopté par certains spécialistes (Maiatsky et al., 2018). À la place des longs articles contextualisant une (petite) découverte, ces publications alternatives proposent de s’appuyer sur l’architecture des données liées, propre au web, pour communiquer la science autrement, de façon à la fois plus concentrée et plus accessible. Il est trop tôt pour savoir si de telles propositions sont viables, et si elles peuvent réellement être adoptées dans toutes les disciplines : toute idée peut-elle être réduite au schéma « sujet – prédicat – objet » sur lequel de telles publications alternatives se fondent ? Du reste, pour l’instant, elles sont systématiquement accompagnées d’articles traditionnels, expliquant la démarche et les contextualisant. Elles ont en tout cas l’avantage d’explorer des voies et de proposer des réponses venues du terrain à l’augmentation du volume de publications scientifiques. En tant que telles, elles doivent être reconnues et soutenues, tout comme les formes alternatives de peer review.

15Peut-on envisager un avenir de la science, ou du moins des SHS, caractérisé par un ralentissement des publications ? D’une certaine manière, c’est un peu comme vouloir limiter le nombre des naissances par des politiques dénatalistes : c’est autoritaire, moralement discutable et, dans une certaine mesure, voué à l’échec. Il n’en reste pas moins que, si l’on souhaite restaurer des conditions d’exercice de la recherche moins stressantes, si l’on veut constituer un corps d’affirmations valides (du moins dans les limites des paradigmes scientifiques actuels, et jusqu’à plus ample informé), et, surtout, si l’on veut continuer à produire du savoir et non seulement emmagasiner des connaissances, un changement des modes de publication ainsi que des modèles d’évaluation de la recherche s’imposent. Au sein de l’association ENRESSH, nous sommes nombreux à penser qu’une autre organisation de la recherche est nécessaire, abandonnant l’idéologie de l’« accountability » (le fait de rendre compte), ce qui ne signifie pas renoncer à la responsabilité sociale du chercheur et de la recherche. Nous invitons les organismes évaluateurs et les financeurs de la recherche à s’écarter résolument des indicateurs unilatéraux de la qualité (facteurs d’impact, prestige des maisons d’édition), ce qui permettrait d’alléger la pression à publier, en faveur d’une plus grande concentration sur une vision partagée de la qualité de la recherche. Ajoutons que ce serait également inverser le processus d’évaluation, en remettant au centre les pratiques développées et négociées par les pairs, et non plus des incitations extérieures.

Haut de page

Bibliographie

Agachi, Serban, Curaj, Adrian, Dumitrache, Ioan, Filip, Florin, Popa, Gheorghe, Staculescu, Ion, et Szabolcs, Lani, 2006, Sistemul national de cercetare, dezvoltare si inovare în contextul integrarii în aria europeana a cercetarii, Bucarest, Editura Academiei române : <https://uefiscdi.gov.ro/resource-827843>.

Crossick, Geoffrey, 2015, Monographs and Open Access. A report to HEFCE : <https://dera.ioe.ac.uk/21921/1/2014_monographs.pdf>.

Deem, Rosemary, Hillyard et Sam, Reed, Mike, 2007, Knowledge, Higher Education, and New Managerialism: The Changing Management of UK Universities, Oxford, Oxford University Press.

Deutz, Daniela Bayle, Drachen, Thea Marie, Drongstrup, Dorte et Wien, Chalotte, 2021, « Quantitative quality: A study on how performance-based measures may change the publication patterns of Danish researchers », Scientometrics, no 126, p. 3303-3320: <https://doi.org/10.1007/s11192-021-03881-7>.

DuBois, James M., Anderson, Emily E., Chibnall, John, Carroll, Kelly, Gibb, Tyler, Ogbuka, Chiji et Rubbelke, Timothy, 2013, « Understanding research misconduct: A comparative analysis of 120 cases of professional wrongdoing », Accountability in Research, vol. 20, no 5-6, p. 320-338 : <https://doi.org/10.1080/08989621.2013.822248>.

Dyhouse, Carol, 1995, No Distinction of Sex? Women in British Universities 1870–1939, Londres, UCL Press.

Edwards, Marc A. et Roy, Siddhartha, 2017, « Academic research in the 21st century: Maintaining scientific integrity in a climate of perverse incentives and hypercompetition », Environmental Engineering Science, vol. 34, no 1, p. 51–61.

Engels, Tim et Ossenblok, Truyken, 2012, « Changing publication patterns », Scientometrics, vol. 93, no 2 : <https://doi.org/10.1007/s11192-012-0680-2>.

Faria, Rita, 2018, « A criminological agenda for studying research misconduct », dans Research Misconduct as White-Collar Crime, Palgrave Macmillan, Cham : <https://doi.org/10.1007/978-3-319-73435-4_6>.

Good, Barbara, Vermeulen, Niki, Tiefenthaler, Brigitte et Arnold, Erik, 2015, « Counting quality? The Czech performance-based research funding system », Research Evaluation, vol. 24, no 2, p. 91-105 : <https://doi.org/10.1093/reseval/rvu035>.

Greenhalgh, Trisha et Russell, Jill, 2009, « Evidence-based policymaking: A critique », Perspectives in Biology and Medicine, vol. 52, no 2, p. 304-318.

Hammarfelt, Björn, Hammar, Isak et Francke, Helena, 2021, « Ensuring quality and status: Peer review practices in kriterium, a portal for quality-marked monographs and edited volumes in Swedish SSH », Frontiers in Research Metrics and Analitycs, no 6 : 740297 : <https://www.frontiersin.org/articles/10.3389/frma.2021.740297/full>.

Imran, Ali, Sultan, Parves et Aboelmaged, Mohamed, 2021, « A bibliometric analysis of academic misconduct research in higher education: Current status and future research opportunities », Accountability in Research, vol. 28, no 6, p. 372-393.

Korytkowski, Przemysław et Kulczycki, Emanuel, 2019, « Examining how country-level science policy shapes publication patterns: the case of Poland », Scientometrics, no 119, p. 1519-1543 : <https://doi.org/10.1007/s11192-019-03092-1>.

Kulczycki, Emanuel, Engels, Tim C. E., Pölönen, Janne et al., 2018, « Publication patterns in the social sciences and humanities: Evidence from eight European countries », Scientometrics, no 116, p. 463–486 : <https://doi.org/10.1007/s11192-018-2711-0>.

Maiatsky, Michail, Boyarsky, Alexey, Boyarskaya, Natalia, Velmezova, Ekaterina et Piotrowski, Michael, 2018, « VICOGLOSSIA: Annotatable and commentable library as a bridge between reader and scholar (a proof of concept study: early soviet philological culture) », Umanistica Digitale, vol. 2, no 2 : <https://doi.org/10.6092/issn.2532-8816/7253>.

Marlet, Olivier, Zadora-Rio, Elisabeth, Buard, Pierre-Yves, Markhoff, Béatrice et Rodier, Xavier, 2019, « The archaeological excavation report of rigny: An example of an interoperable logicist publication », Heritage, no 2, p. 761-773 : <https://doi.org/10.3390/heritage2010049>.

Moris, Dimitrios, 2020, « Research exceptionalism and opportunism during the Coronavirus pandemic », J BUON, vol. 25, no 6, novembre-décembre, p. 2533-2536.

Murudkar, Shweta, 2021, « Paper mills: A rising concern in the academic community », Enago Academy : <https://www.enago.com/academy/paper-mills-a-rising-concern-in-the-academic-community/>.

Ochsner, Michael et Peruginelli, Ginevra, 2022, « National research evaluation systems and the social sciences », dans Tim C. E. Engels et Emanuel Kulczycki (dir.), Handbook on Research Assessment in the Social Sciences, Cheltenham et Northampton, Edward Elgar Publishing, p. 416-433

Ossenblok, Truyken, Verleysen, Frederik et Engels, Tim, 2012, « Patterns of co-authorship in journal articles in the social sciences and humanities (2000-2010) », STI Conference : <https://www.researchgate.net/publication/236606337_Patterns_of_Co-Authorship_in_Journal_Articles_in_the_Social_Sciences_and_Humanities_2000-2010>

Rezaeian, Mohsen, 2014, « A review on the diverse types of research misconduct », Middle East Journal of Family Medicine, no 12, p. 43-44.

Saltelli, Andrea et Giampietro, Mario, 2017, « What is wrong with evidence based policy, and how can it be improved? », Futures, vol. 91, p. 62-71 : <https://www.sciencedirect.com/science/article/pii/S0016328717300472?via%3Dihub>.

Sidéra, Isabelle et Dassa, Michèle, 2009, « RIBAC : un outil pour caractériser et quantifier l’activité des acteurs de la recherche en SHS », Perspectives, vol. 46, p. 67-68.

Sile, Linda, 2022, « The dark and the bright side of national databases », dans Tim C. E. Engels et Emanuel Kulczycki (dir.), Handbook on Research Assessment in the Social Sciences, Cheltenham et Northampton, Edward Elgar Publishing, p. 136-147.

Sivertsen, Gunnar, 2018, « The Norwegian model in Norway », Journal of Data and Information Science, no 3, p. 2-18 : http://dx.doi.org/10.2478/jdis-2018-0017.

Sivertsen, Gunnar, 2022, « Valuation of books in the SSH », dans L’Évaluation des sciences humaines et sociales en Europe, textes des interventions lors du colloque organisé sous la présidence française de l’Union européenne (Paris, 16-17 mai 2022), rassemblés par Jacques Dubucs et Caroline Hodak.

Tijdink, Joeri K., Verbeke, Reinout, Smulders, Yvo M., 2014, « Publication pressure and scientific misconduct in medical scientists », Journal of Empirical Research on Human Research Ethics, vol. 9, no 5, p. 64-71.

Villoutreix, Bruno O., 2021, « Post-pandemic drug discovery and development: Facing present and future challenges », Frontiers in Drug Discovery, vol. 1 : <https://www.frontiersin.org/articles/10.3389/fddsv.2021.728469/full>.

Williams, Geoffrey, Basso, Antonela, Lipiello, Tiziana et Galleron, Ioana, 2018, « More, less or better: The problem of evaluating books in SSH research », dans Andrea Bonaccorsi (dir.), The Evaluation of Research in Social Sciences and Humanities, Heidelberg, Springer Verlag, p. 133-158.

Haut de page

Notes

1 Cet article a bénéficié de la relecture et des apports de Jon Holm (Conseil norvégien de la recherche) et de Michael Ochsner (Fondation nationale suisse pour la recherche), tous deux spécialistes de l’évaluation des SHS. Qu’ils soient chaleureusement remerciés.

2 European Network for Research Evaluation in the Social Sciences and the Humanities (ENRESSH) est un projet financé par l’association COST de 2016 à 2020. À l’issue de ce projet, le réseau de chercheurs constitué, qui réunit principalement des spécialistes en sociologie des sciences, scientométrie et études politiques, est devenu lui-même une association, portant le même nom que le projet. Les membres continuent à se réunir et à produire, en tant que réseau, des articles scientifiques et de la littérature grise. Pour plus de détails, voir : <https://enressh.eu/>

3 <https://www.ref.ac.uk/>.

4 Pour une vue d’ensemble, voir Ochsner et Peruginelli (2022).

5 Voir par exemple Deutz et al. (2021) sur les conséquences de la liste « Bibliometric Research Indicator » sur la recherche au Danemark.

6 Le cas de la République tchèque est présenté dans Good et al. (2015).

7 Voir le tour d’horizon des principes et pratiques d’évaluation en Europe (mais pas seulement) effectué dans le cadre de l’ENRESSH.

8 Se référer à l’annexe 1 : <http://old.cncs-nrc.ro/wp-content/uploads/2012/03/Sectiunea_2-Standarde-minimale-de-eligibilitate.pdf>.

9 À vrai dire, l’impact de ces différentes exigences sur les pratiques des chercheurs en SHS n’est pas toujours facilement mesurable, en l’absence de bases de données consacrées à la recherche dans les SHS (Sile, 2022), ou bien en raison des limites de ces bases de données (couverture, contrôle de l’accès par des abonnements prohibitifs ou des comptes réservés). Pour n’en donner qu’un exemple, en France, il est difficile d’effectuer des études quantitatives sur les pratiques de publication des chercheurs dans le temps, dans la mesure où seule la production des membres du Centre national de la recherche scientifique (CNRS) est couverte par le « Recueil d’informations pour un observatoire des activités de recherche en SHS » (Sidéra et Dassa, 2009), alors que ce sont les universités qui concentrent la majorité de l’effectif des chercheurs.

10 La décrue concerne en fait deux pays : la Pologne et la Slovénie. Partout ailleurs le nombre de publications a augmenté, et parfois considérablement, ce qui pourrait signifier qu’on produit plus pour avoir une chance de se conformer, par le nombre, aux standards de qualité imposés par les lignes directrices des évaluations. D’autres études confirment l’existence d’une tendance de publication globalement à la hausse dans les SHS, comme en Italie (voir Williams et al., 2018).

11 Voir la campagne « In all languages » : <https://www.helsinki-initiatdffive.org/>.

12 Les recommandations faites aux jeunes chercheurs de publier des articles plutôt que des chapitres de livres multiplient les prétendus avantages des premiers par rapport aux seconds (voir par exemple cette discussion sur Research Gate : <https://www.researchgate.net/post/Book-Chapter-vs-Review-article>). Toutefois, il n’existe pas d’argument définitif disqualifiant une forme de publication par rapport à une autre. On peut soutenir que les articles de revues sont « meilleurs » parce que bénéficiant d’un processus de révision plus transparent et plus approfondi que les chapitres ; de même, des études menées en Norvège tendent à montrer une corrélation entre articles publiés dans les revues de rang 2 et le nombre de citations (voir Sivertsen, 2018). Mais cela n’empêche pas qu’une revue publie de mauvaises contributions, tandis que des actes de colloque, moins valorisés, peuvent apporter des contributions fondamentales.

13 Ces trois derniers types d’outils interviennent dans l’organisation des connaissances disciplinaires, en fixant de façon non ambiguë, ou aussi peu ambiguë que possible, le sens de certains concepts, utilisés dans le balisage et l’indexation des textes et autres objets de recherche. Pour une illustration, voir le thésaurus PACTOLS créé par Frantiq : <https://www.frantiq.fr/pactols/le-thesaurus>.

14 Une étude plus ancienne sur le système roumain (Agachi et al., 2006) semble suggérer que la pression à publier à l’étranger, dans des revues « cotées », donne des résultats relativement modestes : si la part des publications roumaines indexées a augmenté entre 1981 et 2002, cette augmentation reste très en deçà de celle qu’ont connue d’autres pays (ibid. : 25-26). L’étude ne concerne pas les SHS, lesquelles ne sont pas couvertes dans les bases de données à l’époque. Elle ne s’interroge pas sur le stress provoqué dans les rangs des chercheurs, ni sur la baisse de la qualité de vie au travail qu’ils subissent.

15 Liste de revues en SHS, créée en 2014 par la Fondation européenne de la science, et maintenue depuis 2014 par le Centre norvégien pour les données de la recherche (NIFU).

16 Programme-cadre de financement de la recherche, déployé par l’Union européenne de 2014 à 2020.

17 On peut citer le rapport de l’Institut national anglais de recherche sur le cancer (<https://www.ncri.org.uk/fewer-new-cancer-research-projects-funded-during-covid-19/>), qui signale une baisse sensible des fonds affectés aux travaux sur cette maladie dans le contexte du Covid.

18 Par exemple, avant la crise d’approvisionnement déclenchée par la guerre en Ukraine, les programmes invitent à travailler à l’amélioration de l’efficacité énergétique (solution technique) plutôt qu’à la réduction de la consommation d’énergie (solution politique et/ou sociale), voir : <https://ec.europa.eu/info/research-and-innovation/research-area/energy-research-and-innovation_en>.

19 On la rencontre toutefois assez régulièrement dans des blogs (<https://www.journal-publishing.com/blog/number-research-papers-published/>), ou sur des réseaux sociaux spécialisés, comme Research Gate (<https://www.researchgate.net/post/How_many_papers_are_people_expected_to_publish_a_year>).

20 On passe ainsi de 36 276 postes de maître de conférences en 2010-2011 à 35 269 en 2020-2021, sur fond de réduction générale du nombre d’enseignants-chercheurs (56 240 contre 55 369). Données disponibles sur le portail du ministère de l’Enseignement supérieur et de la Recherche : <https://data.esr.gouv.fr/FR/T895/P378/tableau_des_enseignants_chercheurs_de_l_enseignement_superieur_public_niveau_national_-_ressources_humaines#TDB>.

21 Le CNU exige le dépôt des dossiers de demande de qualification sous forme de fichiers pdf, et non pas comme des renseignements dans une base de données, ce qui limite fortement les possibilités d’extraction de l’information.

22 Voir, entre autres, l’ouvrage de Dyhouse (1995).

23 Voir, par exemple, les actes du colloque de 2021 de la société internationale de scientométrie : <https://kuleuven.app.box.com/s/kdhn54ndlmwtil3s4aaxmotl9fv9s329>.

24 Dans certains systèmes d’information, le décompte des publications se fait de manière fractionnée, avec une « prime » accordée au premier auteur, considéré comme le plus important. Pour un tour d’horizon des différentes méthodes possibles, voir Korytkowski et Kulczycki, 2019.

25 « Monographs should not be seen simply as the way in which research findings are communicated, because the act of constructing and writing a book is often a core way to shape the ideas, structure the argument, and work out the relationship between these and the evidence that has emerged from the research process. » (Crossick, 2015 : 15). (Les monographies ne devraient pas seulement être vues comme des canaux de communication des résultats de la recherche, car la conception et la rédaction d’un livre sont le lieu même où les idées prennent forme, les arguments se structurent, tandis que se clarifient la relation entre ces différents éléments et les preuves accumulées au cours du processus de recherche.)

26 Alternativement, on assiste à des discussions lancées sur des listes de diffusion, ou bien via des réseaux de socialisation spécialisés comme Research Gate ou Academia.edu.

27 Citons le site de l’université de Cambridge, qui déconseille le renvoi à des blogs comme sources scientifiques : <https://www.research-integrity.admin.cam.ac.uk/research-integrity/guidance/citing-blogs-reference-sources>.

28 Tel est le cas, par exemple, en Suisse, où l’initiative du recueil des travaux des chercheurs est laissée aux universités.

29 Voir par exemple l’instrument Quality and Relevance in the Humanities (QRIH), mis en place au Pays-Bas, censé être dorénavant utilisé dans les évaluations SEP : <https://www.qrih.nl/en>.

30 Voir <https://research-and-innovation.ec.europa.eu/system/files/2022-07/rra-agreement-2022.pdf>

31 Cette association réunit différents acteurs des SHS : académies, sociétés savantes, réseaux d’instituts de recherche, etc. Elle entend porter la voix des chercheurs en SHS et peser sur les politiques publiques d’orientation et de financement de la recherche. Pour plus de détails, voir : <https://eassh.eu/>.

32 À noter la décision récente de plusieurs universités chinoises de se retirer de tous les classements internationaux (voir, entre autres : <https://www.universityworldnews.com/post.php?story=20220511170923665>. Le fait est d’autant plus significatif que le succès des rankings a été initié avec le fameux classement de Shanghai, à propos duquel on peut rappeler que l’algorithme défavorise de facto les universités à forte composante SHS.

33 <https://operas.hypotheses.org/>.

34 Voir <https://publicationethics.org/>.

35 Voir la présentation du Kriterium par Hammarfelt et al. (2021).

36 <https://intra.tsv.fi/en/services/label-for-peer-reviewed-scholarly-publications>.

37 Données non soumises à une licence, décrites au moyen de triplets RDF (ressource description framework).

38 Voir <https://nanopub.org/wordpress/>.

Haut de page

Pour citer cet article

Référence papier

Ioana Galleron, « De « faire nombre » à communiquer autrement »Socio, 17 | 2023, 47-65.

Référence électronique

Ioana Galleron, « De « faire nombre » à communiquer autrement »Socio [En ligne], 17 | 2023, mis en ligne le 24 novembre 2022, consulté le 25 février 2024. URL : http://journals.openedition.org/socio/14147 ; DOI : https://doi.org/10.4000/socio.14147

Haut de page

Auteur

Ioana Galleron

Ioana Galleron est professeure de littérature française à la Sorbonne-Nouvelle, ou elle est responsable du master humanités numériques. Elle a publié de nombreux articles ainsi que quatre numéros spéciaux de revues et neuf livres, parmi lesquels Dix ans avec CAHIER : des corpus d’auteurs pour les humanités à leur exploitation numérique, coédité avec Fatiha Idmhand (Éditions des archives contemporaines, 2022). Dans le cadre de l’association « European Network for Evaluation of Social Sciences and Humanities », elle a également mené plusieurs études et coécrit des articles sur la bibliométrie dans les SHS, la valorisation des SHS, etc.

Haut de page

Droits d’auteur

CC-BY-NC-ND-4.0

Le texte seul est utilisable sous licence CC BY-NC-ND 4.0. Les autres éléments (illustrations, fichiers annexes importés) sont « Tous droits réservés », sauf mention contraire.

Haut de page
Rechercher dans OpenEdition Search

Vous allez être redirigé vers OpenEdition Search