Navigation – Plan du site
Actualité de la recherche
Débats. L’évaluation des publications scientifiques en débat

Introduction

L’évaluation des publications scientifiques en débat
Introducción
Introduction
Denis Menjot
p. 281-285

Résumés

Parmi les multiples évaluations auxquelles de nos jours la monde de l’enseignement supérieur et de la recherche se trouve soumis, celle des publications scientifiques est essentielle par son impact sur la recherche individuelle et collective que l’on cherche à mesurer par des indicateurs. Toutes les agences et instances d’évaluation s’en préoccupent mais les modalités de l’évaluation diffèrent plus ou moins profondément entre les pays, aussi bien en ce qui concerne les évaluateurs, les procédures que les critères utilisés. Elles peuvent varier également en fonction des disciplines. Elles ont toutes des avantages et des inconvénients et sont l’objet de controverses. L’objectif de ce dossier consiste à expliciter les pratiques en vigueur dans un ensemble de pays européens : Angleterre, France, Allemagne, Espagne, Italie, Portugal et en contrepoint aux USA et de débattre de leurs intérêts respectifs. Les contributeurs, professeurs dans des universités de leur pays ont tous exercé d’importantes responsabilités dans des instances d’évaluation et comme peer reviewer.

Haut de page

Texte intégral

1Le monde de l’enseignement supérieur et de la recherche se trouve actuellement soumis à de multiples évaluations. Celle des publications scientifiques, qui constituent l’un des principaux produits de la recherche, est essentielle du fait de son incidence sur la carrière des personnes évaluées, le financement de leur recherche, l’orientation et les pratiques de celle-ci, mais aussi sur la vie et le devenir des unités de recherche. Son impact sur la recherche individuelle et collective est considérable et dépasse même largement le monde académique pour atteindre les milieux socio-économiques et culturels. C’est ce qui explique que toutes les agences et instances d’évaluation nationales ou privées des différents pays évaluent les publications pour garantir et améliorer leur qualité et mesurer leur impact.

2Toute publication scientifique est d’abord le résultat d’une évaluation positive par des experts du comité de lecture de la collection ou de la revue dans laquelle elle paraît. Elle est ensuite, dès lors qu’elle est publiée, soumise à une évaluation immédiate et personnelle qui s’exprime à travers des commentaires et des comptes rendus présentés dans d’autres publications. Elle est aussi périodiquement soumise à des évaluations formalisées conduites par les établissements et les institutions de recherche auxquels l’auteur appartient pour l’obtention de promotions, de crédits et de projets de recherche et dans le cadre d’un processus d’examen institutionnel de la qualité de la recherche par les agences nationales.

  • 1 Les instances d’évaluation nationales jouent la transparence et indiquent sur leurs sites web le pr (...)

3L’objectif de ce dossier consiste à expliciter les pratiques d’évaluation des publications scientifiques actuellement en vigueur dans différents pays européens : Royaume-Uni, France, Allemagne, Espagne, Italie et, en contrepoint, aux USA, en dépassant la simple description pour porter un jugement sur les procédures mises en œuvre et sur leur impact sur la recherche1. Les contributeurs à ce dossier, professeurs et chercheurs dans des universités et des institutions de recherche de leur pays, ont tous exercé d’importantes responsabilités dans des instances d’évaluation, voire dans leur mise en place, et comme évaluateurs au sein de comités de lecture. Ils nous livrent six expériences internationales.

4Chaque contribution aborde les modalités de l’évaluation qui diffèrent plus ou moins profondément entre les pays et les disciplines, aussi bien en ce qui concerne les évaluateurs (composition des comités, nombre de membres, proportion des étrangers), les procédures (lecture ou non des productions), les bases de données et les indicateurs bibliométriques employés. Utilisées pour faire progresser la recherche, ces différentes méthodes d’évaluation ont toutes des avantages et des inconvénients et sont l’objet de controverses et de polémiques parfois irrationnelles.

5Longtemps, ces évaluations ont été confiées à des experts qui se livraient à une analyse uniquement qualitative. Jugée néanmoins trop subjective, trop lente, incapable de permettre des comparaisons et l’élaboration de classements et de palmarès — aujourd’hui très à la mode —, elle a été alors complétée ou remplacée par une expertise bibliométrique qui s’est imposée en vertu d’une croyance naïve en l’objectivité du nombre, et à son caractère indispensable pour conférer un caractère scientifique à un écrit. De nos jours, aucune évaluation ne fait l’économie d’indicateurs bibliométriques érigés en étalon de la performance.

  • 2 Eugene Garfield, Citation Indexing: Its Theory and Application in Science, Technology and Humanitie (...)

6L’un des enjeux essentiels soulevés par les différentes contributions est celui du choix de la base de données bibliographiques à partir de laquelle ces indicateurs sont élaborés. Historiquement, la bibliométrie s’est largement développée autour d’une base bibliographique particulière, née dans les années 1960 : le Science Citation Index du linguiste américain Eugène Garfield2, plus connue maintenant sous le nom de Web of Science (WOS), commercialisé par Thomson Reuters. Le WOS est devenu rapidement un outil de référence de fait en bibliométrie, sur la base de la notion d’impact, évalué par les citations censées refléter l’utilité des nouvelles connaissances présentées dans un article.

7Les faiblesses de cette base, même si elle a été enrichie depuis son apparition, ont été bien mises en lumière : sa couverture, c’est-à-dire la représentativité des revues dépouillées, la qualité des données, l’indexation — notamment des publications inter, pluri ou transdisciplinaire —, l’absence de prise en compte des ouvrages et la domination écrasante des publications en langue anglaise. Ces faiblesses la rendent inopérante tout particulièrement en sciences humaines et sociales (SHS) qui rassemblent pourtant la majorité des chercheurs, la plupart publiant dans leur langue et en majorité des livres. Pour pallier ces insuffisances, d’autres bases de données sont apparues, ainsi Scopus d’Elsevier (2004) ou Google Scholar (2004), auxquelles il faut ajouter des bases d’archives ouvertes et des portails de revues en ligne. Elles ont simplement réduit ces faiblesses, Google Scholar ayant par exemple intégré davantage de revues de SHS. La European Science Foundation (ESF) et la Humanities in the European Research Area (HERA) ont élaboré un European Index for the Humanities (ERIH) qui classe les revues européennes des disciplines des sciences humaines et sociales. Il privilégie outrageusement les revues de langue anglaise de sorte que plusieurs disciplines dans différents pays ont élaboré leurs propres listes de revues à partir de leurs propres éléments de caractérisation et établi des classements ou de simples périmètres scientifiques. Elles ont aussi catégorisé les ouvrages scientifiques, voire constitué des index d’éditeurs, classés ou non.

  • 3 Development of Bibliometric Indicators of Research Quality. A Report to HEFCE by the Centre for Sci (...)
  • 4 Richard Van Noorden, « Profusion of measures », Nature, 465 (17), juin 2010, pp. 864-866.

8En permettant un accès facile et rapide à l’information scientifique, toutes ces bases ont contribué durant la dernière décennie au développement vigoureux de la bibliométrie et de l’évaluation quantitative3, et à la construction selon une logique statistique comparative d’une « profusion de mesures4 ».

  • 5 Laurence Coutrot, « Sur l’usage récent des indicateurs bibliométriques comme outil d’évaluation de (...)

9La traque aux citations s’est accentuée et des indicateurs ont été élaborés pour mesurer le facteur d’impact des revues (IF introduit en 1963), la productivité scientifique et l’impact d’un scientifique ou d’un groupe en fonction du niveau de citation de ses publications (h-index introduit en 2005) ou de ses articles les plus cités (g-index suggéré en 2006). Les spécialistes en bibliométrie ont inventé toute une palette d’algorithmes avec des variantes — pas moins de douze pour le facteur h ! Ils sont largement adoptés par les décideurs pour des raisons d’économie, par défiance vis-à-vis de l’évaluation « qualitative », et parce que les indicateurs permettent de décrire et d’analyser l’activité scientifique et ainsi de définir des stratégies de positionnement5.

  • 6 Alain Supiot, Grandeur et misère de l’État social, Paris, Fayard – Collège de France, coll. « Leçon (...)
  • 7 L’évaluation bibliométrique a donné lieu à des excès et à de nombreuses dérives qui ne respectent p (...)

10Ces contributions posent aussi la question de l’utilisation des évaluations bibliométriques pour l’établissement de classements surtout depuis que les fameux rankings académiques des universités mondiales de Shanghai, dont le premier a été publié en 2003, ont fait de la « gouvernance par les nombres » la nouvelle référence de mobilisation des pouvoirs6, obsédés au-delà du raisonnable par la performance au point de privilégier l’évaluation utilitaire et superficielle au détriment de l’évaluation qualitative plus complexe et qui exige davantage de temps7.

11Les nombreux problèmes soulevés par les évaluations et leur impact sont également abordés par les contributeurs. Si certains considèrent que les rankings par performance fondés sur des indicateurs bibliométriques font progresser la science, d’autres jugent au contraire qu’ils l’uniformisent, l’orientent vers des sujets à la mode, tuent l’innovation — la nouveauté n’entrant dans aucune case —, encouragent la course à la publication et à l’autocitation, rendent très difficile de publier dans des revues classées A, engorgées, et mettent en péril des revues spécialisées moins cotées. Les indicateurs induisent aussi des comportements structurants : « travailler pour l’indicateur ».

  • 8 Sune Lehmann, Andrew D. Jackson et Benny E. Lautrup, « Measures for measures », Nature, 444 (21-28) (...)
  • 9 Barbara Cassin (dir.), Derrière les grilles. Sortons du tout-évaluation, Paris, Mille et Une nuits, (...)

12Ces contributions conduisent à nous interroger sur les limites de l’évaluation quantitative des publications et de la recherche qui apparaît maintenant souvent comme une illusion, non seulement à cause des difficultés d’application des algorithmes, de leurs nombreux biais et inconvénients mais aussi de la mise en doute de leur utilité véritable et de leur pertinence. Mesurer pour mesurer n’est plus de mise8. Il faut arrêter d’opposer évaluation bibliométrique, « quantitative », et évaluation par les pairs, « qualitative ». Les deux doivent être complémentaires. Les indicateurs bibliométriques bien maîtrisés sont des outils qui doivent être utilisés comme des éléments d’information en appui à l’expertise, avec rigueur et esprit critique. Ils doivent être contextualisés. La citation d’une publication n’est pas forcément en lien direct avec sa qualité. Il faut réfléchir à la façon de « sortir du tout-évaluation9 ».

13L’évaluation est un marché porteur, et l’édition de bases de données une industrie que leurs concepteurs veulent promouvoir : Thomson, Google Challengers (ArXiv, CiteSeer, Citebase, Paracite), ce qui peut faire douter de leur fiabilité. Il serait préférable d’encourager la collecte de données par les établissements (HAL, Graal, Labintel, SIGAPS…) et la construction d’une base européenne par les chercheurs des différentes disciplines selon une logique de bottom up, en établissant si possible des classements consensuels de revues, ce qui est essentiel pour la crédibilité de ces bases disciplinaires.

14Par ailleurs, l’utilité de ces bases de données qui classifient en prenant en compte la fréquence des citations est en train d’être remise en question par la multiplication des publications on line. Pourquoi ne pas aussi se fonder sur les statistiques de consultation des textes téléchargés ? La Public Library of Science en offre, comme le portail Cairn ou le réseau social Academia.edu. Elles ont l’avantage de faire connaître l’impact de l’article sur tous les publics et pas uniquement sur les spécialistes de la discipline et permettent de dégager l’article central dans un réseau d’activités. Pourra-t-on aussi ignorer encore longtemps les publications sur les blogs et leur impact instantané ?

  • 10 Ghislaine Filliatreau, « Bibliométrie et évaluation en sciences humaines et sociales : une brève in (...)

15Les contributions rassemblées dans ce dossier font apparaître des divergences assez sensibles entre les pays et les disciplines, preuve qu’il n’existe pas encore de consensus et qu’il reste encore un long chemin à faire pour une harmonisation européenne, même si l’ENQA, l’European Association for Quality Assurance in Higher Education, institué en 2000 pour le maintien et l’amélioration de la qualité de l’enseignement supérieur, s’y emploie avec la lenteur qui caractérise les institutions européennes. Les contributions font la part belle aux sciences humaines et sociales, où l’évaluation pose le plus de problèmes car les indicateurs pertinents sont à construire, les méthodologies à développer et les bases de données, qui doivent prendre en compte toutes les publications, dont les ouvrages et les actes de colloques, et dans d’autres langues que l’anglais, à élaborer10.

Haut de page

Notes

1 Les instances d’évaluation nationales jouent la transparence et indiquent sur leurs sites web le processus d’évaluation, le référentiel, les indicateurs, les noms et les CV des évaluateurs, mais n’explicitent au mieux que très sommairement les raisons du choix de leurs méthodologies.

2 Eugene Garfield, Citation Indexing: Its Theory and Application in Science, Technology and Humanities, Wiley, New York, 1979.

3 Development of Bibliometric Indicators of Research Quality. A Report to HEFCE by the Centre for Science and Technology Studies, Leiden, Leiden University, 2008.

4 Richard Van Noorden, « Profusion of measures », Nature, 465 (17), juin 2010, pp. 864-866.

5 Laurence Coutrot, « Sur l’usage récent des indicateurs bibliométriques comme outil d’évaluation de la recherche scientifique », Bulletin de méthodologie sociologique, 100, octobre 2008, pp. 45-50.

6 Alain Supiot, Grandeur et misère de l’État social, Paris, Fayard – Collège de France, coll. « Leçons inaugurales du Collège de France », 2013, qui reprend la première année de cours au Collège de France intitulé, « Du gouvernement par les lois à la gouvernance par les nombres ».

7 L’évaluation bibliométrique a donné lieu à des excès et à de nombreuses dérives qui ne respectent pas les conditions de validité et de pertinence des indicateurs telles que la bibliométrie les a construits de manière rigoureuse. Elles ont été souvent dénoncées, notamment par Yves Gingras, Les dérives de l’évaluation de la recherche. Du bon usage de la bibliométrie, Paris, éd. Raisons d’Agir, 2014 ; l’utilisation de l’Impact Factor pour évaluer les publications individuelles est la plus pernicieuse.

8 Sune Lehmann, Andrew D. Jackson et Benny E. Lautrup, « Measures for measures », Nature, 444 (21-28), décembre 2006, pp. 1003-1004.

9 Barbara Cassin (dir.), Derrière les grilles. Sortons du tout-évaluation, Paris, Mille et Une nuits, 2014.

10 Ghislaine Filliatreau, « Bibliométrie et évaluation en sciences humaines et sociales : une brève introduction », Revue d’histoire moderne et contemporaine, 2008/5, 55 (supplément 4 bis), 2008, p. 62.

Haut de page

Pour citer cet article

Référence papier

Denis Menjot, « Introduction »,Mélanges de la Casa de Velázquez, 44-2 | 2014, 281-285.

Référence électronique

Denis Menjot, « Introduction », Mélanges de la Casa de Velázquez [En ligne], 44-2 | 2014, mis en ligne le 01 janvier 2018, consulté le 18 juillet 2018. URL : http://journals.openedition.org/mcv/5848

Haut de page

Auteur

Denis Menjot

Denis Menjot est professeur d’histoire médiévale à l’université Lyon 2 et a été membre du conseil de l’Agence d’évaluation de la recherche et de l’enseignement supérieur (2007-2013).

Articles du même auteur

Haut de page

Droits d’auteur

Licence Creative Commons
La revue Mélanges de la Casa de Velázquez est mise à disposition selon les termes de la Licence Creative Commons Attribution - Pas d’Utilisation Commerciale - Pas de Modification 3.0 France.

Haut de page
  • Logo Casa de Velázquez
  • OpenEdition Journals