1Comme l’indiquent son titre et son sous-titre, le petit ouvrage d’Yves Gingras vise à séparer le bon grain de l’ivraie en matière d’évaluation de la recherche et de bibliométrie. Pour ce faire, l’auteur définit chacun des deux termes et montre que leur recoupement est très limité. En effet, dans son premier chapitre, il retrace l’histoire de la bibliométrie, en décrivant comment elle a émergé à partir des sciences documentaires dans l’entre-deux-guerres, a bâti ses instruments propres à partir des années 1960 et ne s’est que tardivement retrouvée en première ligne de l’évaluation de la recherche. Poursuivant sa distinction dans le second chapitre, il entre plus en détail dans la matérialité des outils de la bibliométrie, et notamment ceux développés par l’Institute for Scientific Information (ISI), que ce soit sur le plan des bases de données (Science Citation Index, Web of Science) ou sur celui des indicateurs (facteur d’impact des revues). Il montre comment ces outils ont été utilisés en histoire et en sociologie des sciences pour analyser l’évolution du nombre d’auteurs par article, l’internationalisation de la science, les phénomènes de co-citation ou les dynamiques de certaines disciplines.
2Il bascule ensuite, dans le troisième chapitre, vers l’évaluation de la recherche, rappelant la multitude de dispositifs d’évaluation (publications, financements, recrutements, promotions) et l’ancienneté de ces pratiques évaluatives. En effet, en remontant à l’instauration même des revues scientifiques au milieu du XVIIe siècle, il réaffirme que les pratiques de jugement par les pairs sont au cœur de la pratique scientifique. Il identifie alors un tournant, au début des années 1990, où le succès grandissant des outils de l’ISI aurait détourné ceux-ci de leur usage initial, le facteur d’impact des revues servant désormais à évaluer les chercheurs, voire à déterminer des primes pour publication. Sur cette base, une logique de quantification s’est développée dans l’évaluation des laboratoires et départements, conduisant à mettre en équivalence évaluation et classement, ce dernier étant à tort confondu avec la bibliométrie.
3Contre cette dérive, l’auteur décrit point par point, dans le quatrième chapitre, les critères devant selon lui présider à une bonne évaluation fondée sur de la bibliométrie. Après avoir rappelé les limites des bases de données existantes et celles des indicateurs bibliométriques, il s’inscrit fermement contre la réduction de l’évaluation à une seule dimension et donc, in fine, à un seul nombre. Il dépeint ensuite les trois caractéristiques essentielles d’un bon indicateur : l’adéquation à l’objet, l’homogénéité de la mesure et l’inertie propre à l’objet. Il développe enfin l’exemple des classements d’universités, et tout particulièrement celui de Shanghai, pour montrer combien ils ne respectent pas ces critères. Il conclut en affirmant la valeur de la bibliométrie pour cartographier des dynamiques de recherche, tout en appelant à une extrême prudence dans ses usages pour l’évaluation de la recherche, surtout lorsque les outils apparaissent sous forme de boîte noire aux utilisateurs.
4Y. Gingras est un spécialiste internationalement reconnu de scientométrie et dirige depuis de nombreuses années l’Observatoire des sciences et techniques de l’UQAM. Sa maîtrise de la littérature lui permet de s’appuyer sur de nombreuses références, renvoyées en fin d’ouvrage, tout en produisant une narration claire et pédagogique pour des lecteurs peu familiers de ce champ de recherche. Tout au long de l’ouvrage, il développe des exemples précis, que ceux-ci soient fondés sur un raisonnement logique ou sur une casuistique, afin de démontrer l’étendue des « dérives » de l’évaluation de la recherche ou, plus simplement, les erreurs d’interprétation produites par une lecture peu informée des outils bibliométriques. Ainsi, il rappelle qu’en raison de dynamiques de publication plus lentes, les revues de sciences sociales ont des facteurs d’impact généralement beaucoup plus faibles que celles des sciences biotechniques. Mais cela découle de la fenêtre temporelle choisie, deux ans après publication seulement, alors qu’une durée bien plus longue donnerait des résultats fort différents (p. 66). De même, donner le facteur d’impact d’une revue avec trois chiffres significatifs a pour seul intérêt de permettre un classement des revues, la mesure elle-même étant bien trop instable pour amener à une telle précision (p. 71). Ces rappels éclairants, tout comme l’exposition de grands résultats de la bibliométrie, constituent donc un apport indispensable pour le public des évalués, les chercheurs considérant rarement l’évaluation comme un objet d’investigation scientifique.
- 1 Special Discussion Issue on Journal Impact Factors. Scientometrics 92 (2), 2012. Pour une analyse s (...)
5S’il constitue donc une bonne introduction, on peut néanmoins pointer une triple limite de l’ouvrage, venant de son positionnement même. Premièrement, en séparant les « bons usages » des mauvais, et les « dérives » d’un fonctionnement normal, l’auteur assume une forme de positivisme. En conséquence, s’il ne cesse de rappeler les multiples usages stratégiques qui apparaissent dès qu’un indicateur devient un enjeu (auteurs rajoutés, autocitations d’auteurs ou de revues, manipulation des données, etc.), il en réduit la portée en considérant qu’il s’agit de pratiques marginales, et donc qu’une agrégation suffisamment importante permettrait d’en gommer les effets. Or, la multiplication des affaires à l’échelle internationale, qu’elles concernent des établissements, des revues ou des auteurs, tend plutôt à montrer le caractère structurel de ces pratiques, généré par ce que Paul Wouters (1999) appelle la culture de la citation, mettant en péril les données mêmes sur lesquelles s’appuie la bibliométrie. Deuxièmement, Y. Gingras sépare nettement des instruments et des indicateurs par nature problématiques, comme l’indice h « mal construit » (p. 63) ou la base de données Google Scholar « dont le contenu est non contrôlé » (p. 85), et ceux qui ne poseraient que des problèmes d’usage. Or, ces derniers ont fait l’objet récemment d’intenses polémiques dans le champ de la scientométrie, et notamment le facteur d’impact, qualifié de mesure « dépassée » dans un numéro spécial de Scientometrics1. Troisièmement, l’auteur note incidemment que l’apparition d’un concurrent à l’ISI, Scopus, a conduit l’entreprise à modifier les critères d’inclusion des revues dans sa base (p. 87). Mais, plus fondamentalement, depuis les premiers financements obtenus par Eugène Garfield ou Francis Narin dans les années 1960, cette dimension évaluative est constitutive de la construction des outils. Encore aujourd’hui, si des établissements de recherche et des universités s’abonnent à prix fort à ce genre d’outils, ce n’est généralement pas pour faire de la sociologie des sciences mais bien pour s’équiper dans l’évaluation de leurs chercheurs, de leurs laboratoires et départements. Pour ces trois raisons, on peut douter de la possibilité d’éradication des « mauvais usages » appelée par l’ouvrage alors que les outils bibliométriques ont largement essaimé sur cette base même. En complément, il faudrait alors développer une autre sociologie de la bibliométrie pour décrire et analyser ses modalités de développement et d’usage.