Navigation – Plan du site

AccueilNumérosVol. 56 - n° 3Comptes rendusLes dérives de l’évaluation de la...

Comptes rendus

Les dérives de l’évaluation de la recherche. Du bon usage de la bibliométrie, Y. Gingras

Raisons d’agir, Paris (2014). 122 p.
Didier Torny
p. 404-406
Référence(s) :

Yves Gingras, Les dérives de l’évaluation de la recherche. Du bon usage de la bibliométrie, Raisons d’agir, Paris, 2014, 122 p.

Texte intégral

1Comme l’indiquent son titre et son sous-titre, le petit ouvrage d’Yves Gingras vise à séparer le bon grain de l’ivraie en matière d’évaluation de la recherche et de bibliométrie. Pour ce faire, l’auteur définit chacun des deux termes et montre que leur recoupement est très limité. En effet, dans son premier chapitre, il retrace l’histoire de la bibliométrie, en décrivant comment elle a émergé à partir des sciences documentaires dans l’entre-deux-guerres, a bâti ses instruments propres à partir des années 1960 et ne s’est que tardivement retrouvée en première ligne de l’évaluation de la recherche. Poursuivant sa distinction dans le second chapitre, il entre plus en détail dans la matérialité des outils de la bibliométrie, et notamment ceux développés par l’Institute for Scientific Information (ISI), que ce soit sur le plan des bases de données (Science Citation Index, Web of Science) ou sur celui des indicateurs (facteur d’impact des revues). Il montre comment ces outils ont été utilisés en histoire et en sociologie des sciences pour analyser l’évolution du nombre d’auteurs par article, l’internationalisation de la science, les phénomènes de co-citation ou les dynamiques de certaines disciplines.

2Il bascule ensuite, dans le troisième chapitre, vers l’évaluation de la recherche, rappelant la multitude de dispositifs d’évaluation (publications, financements, recrutements, promotions) et l’ancienneté de ces pratiques évaluatives. En effet, en remontant à l’instauration même des revues scientifiques au milieu du XVIIe siècle, il réaffirme que les pratiques de jugement par les pairs sont au cœur de la pratique scientifique. Il identifie alors un tournant, au début des années 1990, où le succès grandissant des outils de l’ISI aurait détourné ceux-ci de leur usage initial, le facteur d’impact des revues servant désormais à évaluer les chercheurs, voire à déterminer des primes pour publication. Sur cette base, une logique de quantification s’est développée dans l’évaluation des laboratoires et départements, conduisant à mettre en équivalence évaluation et classement, ce dernier étant à tort confondu avec la bibliométrie.

3Contre cette dérive, l’auteur décrit point par point, dans le quatrième chapitre, les critères devant selon lui présider à une bonne évaluation fondée sur de la bibliométrie. Après avoir rappelé les limites des bases de données existantes et celles des indicateurs bibliométriques, il s’inscrit fermement contre la réduction de l’évaluation à une seule dimension et donc, in fine, à un seul nombre. Il dépeint ensuite les trois caractéristiques essentielles d’un bon indicateur : l’adéquation à l’objet, l’homogénéité de la mesure et l’inertie propre à l’objet. Il développe enfin l’exemple des classements d’universités, et tout particulièrement celui de Shanghai, pour montrer combien ils ne respectent pas ces critères. Il conclut en affirmant la valeur de la bibliométrie pour cartographier des dynamiques de recherche, tout en appelant à une extrême prudence dans ses usages pour l’évaluation de la recherche, surtout lorsque les outils apparaissent sous forme de boîte noire aux utilisateurs.

4Y. Gingras est un spécialiste internationalement reconnu de scientométrie et dirige depuis de nombreuses années l’Observatoire des sciences et techniques de l’UQAM. Sa maîtrise de la littérature lui permet de s’appuyer sur de nombreuses références, renvoyées en fin d’ouvrage, tout en produisant une narration claire et pédagogique pour des lecteurs peu familiers de ce champ de recherche. Tout au long de l’ouvrage, il développe des exemples précis, que ceux-ci soient fondés sur un raisonnement logique ou sur une casuistique, afin de démontrer l’étendue des « dérives » de l’évaluation de la recherche ou, plus simplement, les erreurs d’interprétation produites par une lecture peu informée des outils bibliométriques. Ainsi, il rappelle qu’en raison de dynamiques de publication plus lentes, les revues de sciences sociales ont des facteurs d’impact généralement beaucoup plus faibles que celles des sciences biotechniques. Mais cela découle de la fenêtre temporelle choisie, deux ans après publication seulement, alors qu’une durée bien plus longue donnerait des résultats fort différents (p. 66). De même, donner le facteur d’impact d’une revue avec trois chiffres significatifs a pour seul intérêt de permettre un classement des revues, la mesure elle-même étant bien trop instable pour amener à une telle précision (p. 71). Ces rappels éclairants, tout comme l’exposition de grands résultats de la bibliométrie, constituent donc un apport indispensable pour le public des évalués, les chercheurs considérant rarement l’évaluation comme un objet d’investigation scientifique.

  • 1 Special Discussion Issue on Journal Impact Factors. Scientometrics 92 (2), 2012. Pour une analyse s (...)

5S’il constitue donc une bonne introduction, on peut néanmoins pointer une triple limite de l’ouvrage, venant de son positionnement même. Premièrement, en séparant les « bons usages » des mauvais, et les « dérives » d’un fonctionnement normal, l’auteur assume une forme de positivisme. En conséquence, s’il ne cesse de rappeler les multiples usages stratégiques qui apparaissent dès qu’un indicateur devient un enjeu (auteurs rajoutés, autocitations d’auteurs ou de revues, manipulation des données, etc.), il en réduit la portée en considérant qu’il s’agit de pratiques marginales, et donc qu’une agrégation suffisamment importante permettrait d’en gommer les effets. Or, la multiplication des affaires à l’échelle internationale, qu’elles concernent des établissements, des revues ou des auteurs, tend plutôt à montrer le caractère structurel de ces pratiques, généré par ce que Paul Wouters (1999) appelle la culture de la citation, mettant en péril les données mêmes sur lesquelles s’appuie la bibliométrie. Deuxièmement, Y. Gingras sépare nettement des instruments et des indicateurs par nature problématiques, comme l’indice h « mal construit » (p. 63) ou la base de données Google Scholar « dont le contenu est non contrôlé » (p. 85), et ceux qui ne poseraient que des problèmes d’usage. Or, ces derniers ont fait l’objet récemment d’intenses polémiques dans le champ de la scientométrie, et notamment le facteur d’impact, qualifié de mesure « dépassée » dans un numéro spécial de Scientometrics1. Troisièmement, l’auteur note incidemment que l’apparition d’un concurrent à l’ISI, Scopus, a conduit l’entreprise à modifier les critères d’inclusion des revues dans sa base (p. 87). Mais, plus fondamentalement, depuis les premiers financements obtenus par Eugène Garfield ou Francis Narin dans les années 1960, cette dimension évaluative est constitutive de la construction des outils. Encore aujourd’hui, si des établissements de recherche et des universités s’abonnent à prix fort à ce genre d’outils, ce n’est généralement pas pour faire de la sociologie des sciences mais bien pour s’équiper dans l’évaluation de leurs chercheurs, de leurs laboratoires et départements. Pour ces trois raisons, on peut douter de la possibilité d’éradication des « mauvais usages » appelée par l’ouvrage alors que les outils bibliométriques ont largement essaimé sur cette base même. En complément, il faudrait alors développer une autre sociologie de la bibliométrie pour décrire et analyser ses modalités de développement et d’usage.

Haut de page

Bibliographie

Pontille, D., Torny, D., 2013. La manufacture de l’évaluation scientifique. Algorithmes, jeux de données et outils bibliométriques. Réseaux 177, 23-61.

Wouters, P.F., 1999. The Citation Culture. Thèse de science, Université d’Amsterdam. En ligne : http://dare.uva.nl/document/487448

Haut de page

Notes

1 Special Discussion Issue on Journal Impact Factors. Scientometrics 92 (2), 2012. Pour une analyse sociologique de la profusion récente des indices bibliométriques et de son effet sur la critique du facteur d’impact voir Pontille et Torny, 2013.

Haut de page

Pour citer cet article

Référence papier

Didier Torny, « Les dérives de l’évaluation de la recherche. Du bon usage de la bibliométrie, Y. Gingras »Sociologie du travail, Vol. 56 - n° 3 | 2014, 404-406.

Référence électronique

Didier Torny, « Les dérives de l’évaluation de la recherche. Du bon usage de la bibliométrie, Y. Gingras »Sociologie du travail [En ligne], Vol. 56 - n° 3 | Juillet-Septembre 2014, mis en ligne le 14 juillet 2014, consulté le 28 mai 2022. URL : http://journals.openedition.org/sdt/3555 ; DOI : https://doi.org/10.4000/sdt.3555

Haut de page

Auteur

Didier Torny

Risques, travail, marché, État (RiTME), UR INRA 1323
65, boulevard de Brandebourg, 94205 Ivry-sur-Seine Cedex
didier.torny[at]ivry.inra.fr

Articles du même auteur

Haut de page
  • Logo Association pour le développement de la sociologie du travail
  • Logo La revue Sociologie du travail mobilisée
  • Revue soutenue par l’Institut des sciences humaines et sociales du CNRS
    CNRS - Institut national des sciences humaines et sociales
  • OpenEdition Journals
Rechercher dans OpenEdition Search

Vous allez être redirigé vers OpenEdition Search