Navigation – Plan du site

AccueilNumérosTome X - n°2DOSSIER : Les outils documentaire...Recensements et mesures de la pub...

DOSSIER : Les outils documentaires de la science

Recensements et mesures de la publication scientifique : l’article scientifique comme donnée

Referencing and metrics of the scientific publication : The scholarly publication as data.
Daniel Egret

Résumés

Au cours du XIXe siècle, et au début du XXe, le recensement et le catalogage des articles s’accompagnent d’une indexation par auteur de la production scientifique. C’est l’utilisation de la citation comme indicateur d’influence, qui ouvrira la voie à la bibliométrie, et aux études quantitatives de la science. Nous présentons les principaux éléments du débat relatif aux taux de citation et des facteurs d’impact, et à l’usage d’indicateurs numériques dans les processus d’évaluation. Le développement de la Science Ouverte ouvre une nouvelle étape, avec l’exigence d’une utilisation responsable de la bibliométrie et des données quantitatives.

Haut de page

Texte intégral

La communication scientifique : l’avènement de l’article scientifique

1On fait habituellement remonter les premiers articles scientifiques au Journal des Sçavans dont le premier numéro parait à Paris en 1665, sous le regard bienveillant de Colbert, un an avant la création de l’Académie des Sciences. Quelques mois plus tard, à Londres, parait le premier numéro des Philosophical Transactions. À l’origine, l’objectif principal n’est pas de publier des articles, mais plutôt de signaler aux lecteurs la parution d’ouvrages et les annonces de découverte. Le livre reste encore le support privilégié, suivant les exemples emblématiques de Copernic (De Revolutionibus, imprimé à Nuremberg 1543) ou de Galilée (Le Dialogue sur les deux grands systèmes du Monde, imprimé à Florence en 1632).

2Au siècle des Lumières, les projets d’Encyclopédie cherchent à répondre à l’accroissement des connaissances scientifiques et à la nécessité d’en présenter des synthèses, en explicitant les liens entre les différents chapitres de la connaissance.

3Mentionnons aussi, comme jalon dans ce très rapide survol de la publication scientifique, la décision, en 1835, de François Arago, alors secrétaire perpétuel de l’Académie des sciences, de faire publier sur une base régulière les comptes-rendus de l’Académie, actant la nécessité de rendre compte au public du travail des savants.

4En 1842, un comité de l’Association britannique pour l’avancement des sciences déclare la Loi de priorité (Law of Priority), qui stipule que le nom légal d’une espèce zoologique est le premier nom paru en version imprimée, donnant ainsi une importance nouvelle aux publications périodiques (Csiszar, 2017a). Nous ne traiterons pas ici la question importante du rôle de la revue scientifique (ou du journal) dans le processus de publication : on se réfèrera pour cela à l’article de Chérifa Boukacem Zeghmouri dans ce même dossier.

Répertorier, Cataloguer la publication scientifique

5Au XIXe siècle, le savant peut encore prétendre lire tout ce qui parait dans son domaine de recherche, dès lors qu’il comprend la langue dans laquelle l’article est écrit. Mais il a besoin pour cela de s’appuyer sur les revues, répertoires et catalogues qui lui signalent les parutions nouvelles.

  • 1 https://history.paratext.com/ncm/landing/ncm-sources-detail.php ?id =10

6La Royal Society, à Londres, va entreprendre le projet gigantesque de cataloguer les articles scientifiques parus dans les principaux journaux scientifiques de tous les pays (quelle que soit leur langue) : c’est le Catalogue of Scientific Papers (1800-1900) en 19 volumes, indexé par auteur. On estime à 850 000 le nombre d’articles ainsi référencés1 pour la période 1800-1900, soit une moyenne de 8 500 articles par an.

7L’indexation par auteur du Catalogue of Scientific Papers (CSP) – la version indexée par sujets ne paraitra que bien plus tardivement et de façon incomplète – va donner immédiatement une visibilité particulière aux auteurs les plus prolifiques. Très vite, le fait d’être référencé dans le CSP devient, pour le savant, un gage de reconnaissance et de notoriété, alors même que l’éminence académique reste traditionnellement liée à la publication d’ouvrages et de monographies.

« The following Catalogue is intended to contain the Title of every Scientific Memoir which appears in the various Transactions and Proceedings of Scientific Societies, and in the Scientific Journals published within the time which it comprehends ; with the Reference, the Date, the Author’s name, and the number of pages in the Memoir”2

D.R.

8Cette entreprise est complétée par d’autres, souvent centrées sur des domaines thématiques. On peut citer ici, par exemple, le Répertoire Bibliographique des Sciences Mathématiques entamé en 1885 (voir Rollet & Nabonnand, 2002) : « Placée sous la présidence d’Henri Poincaré, cette entreprise bibliographique de longue haleine prit rapidement une envergure internationale : pendant 27 ans, une cinquantaine de mathématiciens disséminés dans 16 pays différents dépouillèrent plus de 180 revues. Au final, entre 1894 et 1912, près de 20 000 travaux mathématiques furent identifiés, répertoriés et présentés suivant un classement systématique et méthodique. »

L’article comme enjeu et objet d’étude

9Avant même l’irruption du numérique qui va modifier fondamentalement le rapport à la publication, c’est l’accroissement exponentiel du nombre d’articles au cours du XXe siècle qui impose des modes d’organisation nouveaux pour recenser, repérer, cataloguer la publication des articles scientifiques. Ainsi, l’article détrône le livre en tant que vecteur dominant de la communication scientifique et devient lui-même un nouvel objet d’étude : une donnée, dont la circulation et l’usage (mesurés par la citation, en particulier) renseignent sur le cheminement des connaissances et tissent de nouveaux réseaux de circulation du savoir.

Helmut Abt devant l’inflation des volumes annuels de l’Astrophysical Journal

Helmut Abt devant l’inflation des volumes annuels de l’Astrophysical Journal

Dans cette photographie, qui date de 1995, Helmut Abt, qui fut éditeur de l’Astrophysical Journal de 1971 à 1999, illustre de façon concrète l’explosion de la publication scientifique au cours du XXe siècle, par la comparaison à 20 ans d’intervalle, du nombre de pages publiées annuellement dans la revue. En 1995, le journal introduira une version en ligne qui deviendra la version de référence à partir de 2000 ; l’édition papier sera arrêtée en 2015.

Carlos Jaschek

La création des grandes bases de données

10C’est en 1958, qu’Eugene Garfield crée, avec le soutien de l’administration américaine de la recherche et l’appui de sociologues comme Robert Merton, l’Institute for Scientific Information (ISI) avec pour objectif une indexation de la littérature scientifique, basée sur l’analyse des citations : le Science Citation Index verra le jour en 1964.

11Les bases numérisées, répertoriant de façon systématique les articles et communications, ainsi que leurs références, vont alors devenir un outil indispensable pour le calcul des citations, et plus généralement d’un ensemble d’indicateurs permettant de caractériser et de repérer les publications. Le Web of Science, héritier du Science Citation Index, est disponible en ligne en 1997, mettant fin à une première époque de distribution de l’index sur supports magnétiques. Depuis, d’autres acteurs ont pris place sur le marché.

12Les grands acteurs du domaine sont actuellement Clarivate avec le Web of Science (Birkle et al. 2020) et Elsevier avec Scopus (Baas et al. 2020), apparu en 2004. Mais il existe d’autres ressources, soit généralistes (par exemple Dimensions : Hertzog et al., 2020 ; Microsoft Academic Graph : Wang et al., 2020), soit couvrant un domaine particulier (par exemple, pour l’astronomie : NASA/ADS ; pour la médecine et la biologie : PUBMED). Mentionnons également Google Scholar, lancé lui aussi en 2004, moteur extrêmement puissant et très populaire d’exploration de la littérature scientifique, incluant un index de citations, mais qui apparait toutefois moins riche en fonctionnalités bibliométriques que les bases mentionnées plus haut (voir Gusenbauer, 2018). Par ailleurs le mouvement récent en faveur de la science ouverte a vu le développement de projets en faveur de sources libres, qui permettraient à terme de s’affranchir du coût élevé d’abonnement nécessaire pour accéder à la plupart des ressources bibliométriques : on peut mentionner ici CrossRef, ou OpenCitation.

13Les acteurs sont essentiellement internationaux, même si des démarches nationales permettent, en complément, de recenser les publications françaises et francophones (voir l’article de Christine Berthaud, Daniel Charnay et Nathalie Fargier dans ce dossier).

Une vision d’ensemble de la publication scientifique mondiale ou nationale

14La Figure ci-jointe permet de percevoir plus concrètement l’évolution du nombre d’articles scientifiques (catégories : Articles et Reviews ; les actes de colloque, livres et chapitres de livre ne sont pas décomptés ici) avec participation française (l’auteur ou l’un des auteurs a son affiliation en France).

15Le diagramme illustre la très forte croissance du nombre d’articles référencés, au cours d’un demi-siècle.

16Cette figure est le résultat de trois effets complémentaires :

Un référencement de plus en plus approfondi par les bases WoS et Scopus de l’ensemble de la littérature scientifique (en particulier à partir de 1995, et à des rythmes différents pour les deux bases).

  • 3 L’effectif de recherche publique passe de 58000 à 116000 ETP entre 1985 et 2017. Source INSEE et ME (...)

Une augmentation sensible du nombre de chercheurs et enseignants-chercheurs de la recherche publique française (l’effectif des chercheurs, en équivalent temps plein, double entre 1985 et 2017 selon l’INSEE3).

  • 4 La part des articles signés par un seul auteur est de 22 % en 1981 ; elle n’est plus que de 8 % en (...)
  • 5 La part des articles comportant au moins un co-signataire d’un autre pays est de 12 % en 1981 ; 52  (...)

Un changement majeur des pratiques de publication avec un fort accroissement de la co-publication4 et de l’internationalisation5 : les publications sont plus fréquentes, et plus souvent signées avec de nombreux co-auteurs. Les collaborations internationales deviennent prépondérantes.

Le partage des données : la liaison entre données et bibliographie.

17Le rôle central que nous accordons ici à l’article scientifique, ne doit pas occulter que ce n’est pas là le seul vecteur de partage de l’information scientifique et technique : il existe d’autres supports de communication, le livre bien sûr, et bien d’autres médias, qu’ils s’adressent au monde de la recherche ou à la société en général. Nous n’aborderons pas ici ce sujet, qui déborde le cadre du présent article.

18En revanche il nous faut dire quelques mots ici des données scientifiques : le partage des données scientifiques est un enjeu considérable pour de nombreuses communautés scientifiques. Nous illustrerons cet aspect, par une brève histoire du partage international des données d’observation en astronomie, domaine dans lequel les chercheurs Français ont joué un rôle important, et qui met en évidence le lien entre données et publication scientifique.

Organiser les liens entre données et publications : le cas du Centre de Données astronomiques de Strasbourg (CDS)

L’histoire du CDS est relatée par Genova & Allen (2021). Prenant acte des capacités nouvelles d’enregistrement et de partage des données numériques qui apparaissent dès les années 1970, l’astronomie française se dote d’un centre dédié aux données stellaires (qui sera étendu ultérieurement aux données relatives à tous les astres, étoiles et galaxies, en dehors du système solaire). L’enjeu pour l’astronomie est l’identification croisée des objets qui ont été enregistrés par différentes campagnes d’observation (au début il s’agit le plus souvent de campagnes photographiques, de type Carte du Ciel, mais les enjeux de l’astrophysique, et le développement de sondes spatiales, font rapidement émerger le besoin de corréler des observations obtenues par différents télescopes, dans différentes longueurs d’onde, et à différentes époques). Le CDS va intégrer deux approches : le croisement de listes d’observations (on parle de catalogues), et le dépouillement de la littérature astronomique permettant de relier un objet astronomique à tous les articles scientifiques qui le mentionnent (soit pour publier une observation, soit pour en proposer une analyse astrophysique). Cet effort donne en 1981 naissance à la base de données Simbad (Egret, 1983 ; Wenger et al., 2000).

L’originalité des services offerts par Simbad est de permettre une interrogation par objet astronomique donnant accès à tous les catalogues d’observation qui le répertorient et à tous les articles scientifiques qui le mentionnent. La base sera interopérée avec le service bibliographique ADS (Kurtz et al., 2000), créé en 1988 à l’initiative de la NASA, et qui a adopté le même système de codage des références scientifiques. En août 2020, la base Simbad répertorie plus de 22 millions de liens entre les articles et les objets que ceux-ci citent.

Un autre service du CDS gère l’ensemble des catalogues et listes d’observation en liaison avec les éditeurs des principales revues scientifiques du domaine et avec les grands producteurs de données (les centres de pilotage des grands télescopes au sol ou dans l’espace). En complément, un atlas interactif donne accès à l’ensemble des images du ciel partagées par l’astronomie, dans le cadre d’une alliance internationale, l’Observatoire Virtuel6 qui organise et fédère à l’échelle mondiale les partages de données d’observation pour l’astronomie et l’astrophysique.

De la bibliométrie à la scientométrie

19La mise à disposition, sous forme numérique, des index détaillés des publications scientifiques, à partir de 1950, va ouvrir la voie à de nouvelles applications, à une nouvelle science de la science (la scientométrie) exploitant les mesures quantitatives de la production scientifique. Outre Eugene Garfield, déjà cité (voir pour un historique de son apport : Wouters, 2006), c’est Derek John de Solla Price (1963) qui théorise cette nouvelle approche quantitative de l’activité de recherche. En 1978, le chimiste hongrois Tibor Braun crée le premier journal dédié à ce domaine : Scientometrics.

20Notons ici que la France apparait peu présente sur ces fronts de recherche. Dans ces domaines les publications francophones viennent le plus souvent du Canada. La scientométrie va toutefois bénéficier de l’apport d’une nouvelle école de sociologie, la sociologie de la traduction (embryon de la théorie de l’acteur-réseau), représentée en France par l’équipe de Michel Callon et Bruno Latour à l’École des Mines de Paris. En scientométrie appliquée, ce courant va donner son essor à des méthodes de cartographie des thèmes scientifique, alternatives aux méthodes de citations.

  • 7 https://hal.archives-ouvertes.fr/COUPERIN/hal-03148285v1 Rapport, mars 2021 : « Les outils WoS et S (...)

21Dans la période récente, la démarche nationale de Science Ouverte semble mobiliser une communauté plus large, qui pourrait donner à terme une place accrue aux thématiques de recherche utilisant l’article comme donnée. Toutefois, une enquête de Couperin7 en 2021 note la sous-utilisation en France des outils de métrique des publications.

Les indicateurs quantitatifs

22Évaluer les universitaires selon leur nombre d’articles publiés ? Ne serait-ce pas la qualité des articles qui devrait primer sur le nombre ? Dès 1867, avec la publication du CSP, ce débat est lancé ! Il se poursuit encore aujourd’hui…

  • 8 Campbell, N. R. Nature 129, 362–363 (1932)

23Csiszar (2017b) relate ainsi qu’une lettre à Nature8 en 1932 déplorait la pratique croissante des candidats soumettant une « liste de publications strictement techniques » à la Royal Society, aboutissant au résultat que « nos journaux sont remplis de masses de déchets illisibles » publiés par des universitaires ambitieux souhaitant avant tout renforcer leurs candidatures.

24C’est dans ce contexte que va émerger, au XXe siècle, le mot d’ordre « publish or perish » : il s’agit de la pression forte pour publier, publier toujours plus, qui s’exerce, de nos jours encore, en particulier sur les jeunes chercheurs avant leur recrutement ou leur promotion comme professeur. La plupart des réflexions contemporaines s’accordent à critiquer ce modèle, sans toutefois que des pas décisifs vers une nouvelle approche de la communication scientifique aient, semble-t-il, été franchis au cours des dernières décennies.

La citation comme mesure d’impact

25Lorsqu’Eugene Garfield, dans les années 1950, développe l’idée que le taux de citation des articles est un indicateur pertinent de leur qualité, il cherche à sortir de la logique du seul dénombrement des articles, pour aller vers une évaluation de l’influence que ces articles ont eu sur l’avancement de la connaissance.

26Pourtant, là aussi, avec le recul des années, on pourra constater un usage abusif des taux de citation et des facteurs d’impact, sur lesquels nous reviendrons – au détriment de la nécessaire lecture et évaluation par les pairs, en particulier lorsqu’il s’agit de mesurer l’impact de la production scientifique d’un chercheur ou d’une équipe.

27Rappelons ici les termes du débat : le décompte des citations pour un article (citations par des articles parus ultérieurement et mentionnant ledit article parmi leurs références) accompagne la démarche scientifique pour laquelle il est d’usage de mentionner soigneusement les travaux précédents sur lesquels on s’est appuyés pour faire progresser la connaissance. La mesure de citations permet donc d’approcher la notion d’influence d’un article, même si l’article est parfois cité pour le réfuter. Ce dernier point est souvent mentionné par les détracteurs de la méthode qui rappellent que la citation n’est pas forcément un gage de qualité : et en effet, on en arrive au paradoxe que certains articles rétractés continuent à être abondamment cités (Bar-Ilan & Halevi, 2017). À ce titre il est donc plus exact de parler de mesure d’influence que de mesure de qualité.

28Certains auteurs, à la suite de Merton (1968), évoquent également l’effet Mathieu selon lequel on tend à citer plus fréquemment les auteurs déjà abondamment cités. Il peut, par exemple, être considéré plus valorisant pour le signataire d’un article de citer des grands auteurs ou des prix Nobel, que des auteurs moins connus.

Le facteur d’impact

29Une autre mesure fait, elle aussi, l’objet de controverses : le facteur d’impact des revues. Cet indicateur, introduit par Eugene Garfield en 1955, fut mis en œuvre dans le Science Citation Index dans les années 1960. Il consiste à comptabiliser par revues (ou journaux) le total de citations obtenues, pendant une année donnée, par les articles parus dans cette revue au cours des deux années précédentes. Un historique détaillé du concept et de ses mises en œuvre a été présenté par Archambault & Larivière (2009). Originellement développé pour aider les bibliothécaires à identifier les revues les plus influentes, cet indicateur a été ensuite largement utilisé comme indicateur d’évaluation de la qualité d’un article : un article est considéré comme de bonne qualité dès lors qu’il est publié dans un journal au haut facteur d’impact. On voit bien le glissement ici : un article paru dans une revue prestigieuse bénéficiera du haut facteur d’impact de cette revue, même si l’article lui-même est peu cité par la suite.

30On notera que la probabilité pour un article d’être cité diffère grandement selon le champ disciplinaire, à la fois pour des raisons de pratiques de citation (un article de recherche biomédicale inclut beaucoup plus de références, en moyenne, qu’un article de physique) et de taille des communautés scientifiques (un article de cosmologie est lu, et donc potentiellement cité, par une communauté de lecteurs bien plus grande qu’un article de mécanique céleste, par exemple, dont la communauté d’expertise est plus étroite).

31Apprécié des éditeurs de revues très sélectives, le facteur d’impact est spécifiquement remis en cause dans la déclaration de San Francisco DORA (2012), qui est une pierre angulaire de la réflexion actuelle sur le mauvais usage des métriques pour l’évaluation individuelle des chercheurs : « Recommandation 1 : Ne pas utiliser les indicateurs basés sur les revues, tels que les facteurs d’impact, comme succédané d’appréciation de la qualité des articles de recherche individuels, pour évaluer les contributions d’un scientifique en particulier ou pour prendre des décisions en matière de recrutement, de promotion ou de financement. »

32Si le facteur d’impact des revues ou, dans un autre domaine, l’indice h, font l’objet de critiques y compris au niveau institutionnel, l’usage de la citation comme indicateur d’influence s’est, elle, largement imposée (pour une revue détaillée, voir : Waltman, 2016). L’indication de citation apparait, pour le lecteur consultant un corpus d’articles, comme une façon de distinguer les articles potentiellement les plus remarquables, parmi le tsunami d’articles paraissant chaque jour.

  • 9 On peut avoir une idée de la demi-vie des citations d’un article (le temps qu’il faut à un article (...)

33Notons toutefois que les citations, par construction, n’apparaissent le plus souvent que plusieurs mois, voire plusieurs années, après la parution de l’article qui est cité. Avec des exceptions notables lorsque le domaine de recherche est particulièrement actif (cas de la pandémie COVID-19 en 2020 au cours de laquelle un article pouvait accumuler plusieurs centaines de citations en quelques semaines). C’est donc une règle de base : l’influence d’un article se mesure avec le temps9. Cette nécessité d’attendre plusieurs années pour mesurer l’influence d’un article explique le succès des facteurs d’impact qui s’apprécient, eux, dès la parution de l’article.

34D’autres indicateurs d’impact sont désormais proposés en complément des taux de citation : le nombre de consultations (sur les plateformes des éditeurs), et les mentions dans les réseaux sociaux (Altmetrics10, voir : Bornmann 2014).

Indice h : proposé par Jorge Hirsch (2005) l’indice h consiste à mesurer l’influence d’un auteur par le nombre de ses publications très citées. Un indice h de n caractérise un auteur qui a publié au moins n articles qui ont attiré chacun plus de n citations. Cet indicateur prétend donc combiner à la fois le nombre et l’influence : un seul article extrêmement cité ne suffit pas à faire progresser l’indice h. Seul un cumul d’articles suffisamment cités fait monter l’indice. On peut noter que cet indice ne pourra qu’augmenter au cours de la carrière du chercheur. Dès sa parution, l’usage de cet indicateur s’est répandu auprès des comités en charge de recrutements ou d’évaluation individuelle des chercheurs. Mais rapidement de nombreuses critiques ont amené à considérer avec méfiance l’usage abusif qui peut en être fait (Waltman & van Eck, 2012 ; Gingras, 2015). On note en particulier que, pour les raisons déjà évoquées plus haut, cet indice ne doit pas être utilisé pour comparer des chercheurs de discipline scientifique différente (Bornmann & Daniel, 2008).

35Notons que le fait pour deux articles de partager des références en commun, ou à l’inverse d’être cités ensemble par un article paru postérieurement, définit une relation de proximité, qui ouvre la voie à une cartographie de la connaissance, sujet abordé plus largement dans l’article de Renaud Fabre et Joachim Schöepfel de ce dossier. Des indicateurs récursifs ont également été proposés, qui donnent plus de poids aux citations provenant d’articles qui sont eux-mêmes très cités, une idée qui est à la base de l’algorithme PageRank utilisé par Google.

Une distribution inégale des citations

36Un article récent de Nielsen & Andersen (2020) rappelle que la science est un système hautement stratifié où la distribution de la reconnaissance scientifique est très inégale : leur étude, basée sur 26 millions d’articles publiés entre 2000 et 2015 montre que l’inégalité de citation tend à s’accroitre dans la période récente au bénéfice des 1 % de chercheurs les plus cités, dont la part de publications et de citations va croissante (passant de 14 % à 21 % en 15 ans pour la part de citations). Ces résultats concordent avec d’autres études révélant une concurrence internationale intensifiée et des disparités croissantes.

37On doit rappeler enfin la distribution très asymétrique, de façon générale, des citations (peu d’articles très cités, beaucoup d’articles peu lus ou peu cités) : cet argument est souvent mis en avant pour réfuter l’usage de la moyenne dans le calcul du taux de citations (Adler et al., 2009).

Indicateurs bibliométriques et classements internationaux

38Les classements universitaires internationaux font un usage important des indicateurs bibliométriques (nombres de publications, nombres d’articles très cités, nombre de chercheurs très cités, etc.) rapportés à une institution (en général Université ou École) et pondérés ou non par la taille de l’établissement. Comme souvent, les usages des indicateurs génèrent des pratiques nouvelles, parfois encouragées par les établissements soucieux de progresser dans les classements. Ceci peut avoir un effet vertueux (choisir de publier dans des journaux de plus grande audience) mais contribue aussi au publish or perish dont on sait qu’il génère des effets pervers, avec la prolifération des articles et l’accroissement global des co-publications (plus de signataires pour chaque article).

39Les classements universitaires connaissent un important écho médiatique en France, plus que dans bien d’autres pays (Barats, 2017). Les décideurs politiques, en particulier, font appel aux classements pour étayer des décisions concernant l’évolution de l’enseignement supérieur français. C’est dans ce contexte que des critiques des classements se sont développées (voir par exemple, à propos du classement de Shanghai : Billaut et al. 2010), Des voix se font entendre (Gadd, 2021) pour remettre en cause l’opacité des classements et réclamer des indicateurs mieux corrélés avec les missions des établissements.

Conclusion : vers un usage responsable des indicateurs ?

  • 11 Du bon usage de la Bibliométrie pour l’évaluation individuelle des chercheurs. Rapport de l’Académi (...)

40L’exigence d’un usage responsable des indicateurs doit être replacée dans le contexte plus général de l’utilisation des indicateurs dans les politiques publiques (Paradeise, 2012). On peut mentionner, en ce qui concerne la France, le rapport de l’Académie des Sciences en 201111 :, qui présente une analyse encore d’actualité sur les bons usages et les mésusages de la bibliométrie dans l’évaluation.

41L’objectif de science ouverte, présenté par Michèle Dassa et Christine Kosmopoulos dans de dossier, peut servir de levier pour apporter un frein aux dérives constatées dans un usage non éclairé des métriques de publication. La déclaration de San Francisco (DORA), le manifeste de Leiden (Hicks et al. 2015) ont été repris et endossés par les principales institutions d’enseignement supérieur et de recherche. Toutefois cet engagement gagnerait à être accompagné, en France, par une réflexion partagée au niveau national sur l’usage des outils et techniques de la scientométrie.

Haut de page

Bibliographie

Adler, R., Ewing, J., & Taylor, P., “Citation Statistics : A Report from the International Mathematical Union (IMU) in Cooperation with the International Council of Industrial and Applied Mathematics (ICIAM) and the Institute of Mathematical Statistics (IMS)”, Statistical Science, 24(1), 2009, p. 1-14, consulté le 12 septembre 2021. http://www.jstor.org/stable/20697661

Archambault, É., Larivière, V., “History of the journal impact factor : Contingencies and consequences”, Scientometrics, 79, p. 635–649, 2009. https://doi.org/10.1007/s11192-007-2036-x

Baas, J., Schotten, M., Plume, A., Côté, G., & Karimi, R., “Scopus as a curated, high-quality bibliometric data source for academic research in quantitative science studies”, QuantitativeScienceStudies, 1(1), p. 377-386, 2020. https://doi.org/10.1162/qss_a_00019

Babbage Charles. “Reflections on the Decline of Science in England, and on Some of Its Causes”, B. Fellowes, London, 1830.

Bar-Ilan, J., & Halevi, G., “Post retraction citations in context : a case study”, Scientometrics, 113, 2017, p. 547-565. https://doi.org/10.1007/s11192-017-2242-0

Barats, Christine, « Diffusion d’un classement académique en France : analyse des logiques sociales et des discours de presse sur le classement dit « de Shanghai » », Éducation et sociétés plurilingues, 43, 2017, p. 97-106. https://doi.org/10.4000/esp.1729

Billaut, J.C., Bouyssou, D., & Vincke, P., « Faut-il croire le classement de Shangaï ? », Revue de la régulation, [En ligne], 8, 2e semestre / Automne 2010. https://doi.org/10.4000/regulation.9016

Birkle, C., Pendlebury, D. A.,Schnell, J., & Adams, J., “Web of Science as a data source for research on scientific and scholarly activity”. Quantitative Science Studies,1 (1), 2020, p. 363–376. https://doi.org/10.1162/qss_a_00018

Bornmann Lutz, “Do altmetrics point to the broader impact of research ? An overview of benefits and disadvantages of altmetrics”, Journal of Informetrics, 8, 4, 2014, p. 895-903. https://doi.org/10.1016/j.joi.2014.09.005.

Bornmann, L., & Daniel, H., “What do citation counts measure ? A review of studies on citing behavior”, Journal of Documentation, 64 (1), 2008, p. 45-80. https://doi.org/10.1108/00220410810844150

Catalogue of Scientific Papers (1867), Royal Society, London.

Csiszar, A. (2017a), “The catalogue that made metrics, and changed science”. Nature 551, 2017, p. 163–165. https://doi.org/10.1038/551163a

Csiszar, A. (2017b), “How lives became lists and scientific papers became data : cataloguing authorship during the nineteenth century”, The British Journal for the History of Science, 50(1), 2017, p. 23-60. https://doi.org/10.1017/S0007087417000012

De Solla Price, D. J., « Science et suprascience [Little Science, Big Science] », trad. Par G. Lévy, Paris, Fayard, 1972 [1963].

Egret Daniel, “SIMBAD Story : A description of the data base of the Strasbourg Stellar Data Center”, Bull. Inform. CDS 24, 1983, p. 109-123. http://articles.adsabs.harvard.edu/pdf/1983BICDS..24..109E

Gadd, Elizabeth, “Mis-Measuring Our Universities : Why Global University Rankings Don’t Add Up”, Frontiers in Research Metrics and Analytics, 6, 2021, p. 57-64. https://doi.org/10.3389/frma.2021.680023

Garfield, Eugene, “Citation indexes for science : a new dimension in documentation through association of ideas”, Science, 122 (3159), 1955, p. 108–111. https://doi.org/10.1073/pnas.2012208118

Garfield, Eugene, “Science Citation Index — A new dimension in indexing science”, Science, 144(361), 1964, p. 649–654. https://doi.org/10.1126/science.144.3619.649

Genova, Françoise, & Allen, Mark G., « Le Centre de Données astronomiques de Strasbourg (CDS) », Chapitre de livre, à paraître (2021).

Gingras Yves, « Dérives et effets pervers de l’évaluation quantitative de la recherche : sur les mauvais usages de la bibliométrie », Recherche en soins infirmiers 2015/2 (N° 121), pp. 72-78. https://doi.org/10.3917/rsi.121.0072

Gusenbauer, M. “Google Scholar to overshadow them all ? Comparing the sizes of 12 academic search engines and bibliographic databases”, Scientometrics 118, 2019, pp. 177–214. https://doi.org/10.1007/s11192-018-2958-5

Hendricks, G., Tkaczyk, D., Lin, J., & Feeney, P., “Crossref : The sustainable source of community-owned scholarly metadata”, Quantitative Science Studies, 1(1), 2020, pp. 414–427. https://doi.org/10.1162/qss_a_0002

Herzog, C., Hook, D., & Konkiel, S.,”Dimensions : Bringing down barriers between scientometricians and data”, Quantitative Science Studies, 1(1), 2020, pp. 387–395. https://doi.org/10.1162/qss_a_00020

Hicks, D., Wouters, P., Waltman, L., de Rijcke, S., & Rafols, I., “Bibliometrics : The Leiden Manifesto for research metrics”, Nature, 520(7548), 2015, pp. 429–431. https://doi.org/10.1038/520429a

Hirsch Jorge E., “An index to quantify an individual’s scientific research output”, Proceedings of the National academy of Sciences, 102(46), 2005, pp. 16569–16572. https://doi.org/10.1073/pnas.0507655102

Kurtz, M.J., Eichhorn, G., Accomazzi, A., Grant, C.S., Murray, S. S., & Watson, J. M. “The NASA Astrophysics Data System : Overview”, Astron. Astrophys. Suppl. Ser., 143, 2000, pp. 41-59. http://dx.doi.org/10.1051/aas:2000170

Larivière, Vincent & Sugimoto, Cassidy R., « Mesurer la science ». Montréal PUM, Collection « Libre Accès », ISBN 9782760639515, septembre 2018, 176 pages.

Merton, R. K. “The Matthew Effect in science« , Science, 159 (3810), 1968, pp. 56–63. https://doi.org/10.1126/science.159.3810.56

Nielsen, M. W., & Andersen, J. P., “Global citation inequality is on the rise”, Proceedings of the National Academy of Sciences, Feb 2021, 118 (7) e2012208118. https://doi.org/10.1073/pnas.2012208118

Paradeise Catherine,  »Le sens de la mesure. La gestion par les indicateurs est-elle gage d’efficacité ?« , Revue d’économie du développement, 20, 2012, pp. 67-94. https://doi.org/10.3917/edd.264.0067

Rollet, L., & Nabonnand, P.,  »Une bibliographie mathématique idéale ? Le Répertoire Bibliographique des Sciences Mathématiques« . Gazette des Mathématiciens, Société Mathématique de France, 92, 2002, pp. 11-25. hal-01083753

San Francisco Declaration on Research Assessment (DORA) (2012). Available at : http://www.ascb.org/dora. Accessed 10 November 2020.

Waltman, L., & Van Eck, N.J., “The inconsistency of the h-index”. J. Am. Soc. Inf. Sci., 63, 2012, pp. 406-415. https://doi.org/10.1002/asi.21678

Waltman Ludo, “A review of the literature on citation impact indicators”. Journal of Informetrics, 10 (2), 2016, pp. 365-391. https://doi.org/10.1016/j.joi.2016.02.007.

Wenger M., Ochsenbein F., Egret D., Dubois P., Bonnarel F., Borde S., Genova F., Jasniewicz G., Laloë S., Lesteven S., & Monier R., “The SIMBAD astronomical database - The CDS reference database for astronomical objects”, Astron. Astrophys. Suppl. Ser., 143 1, 2000, pp. 9-22. https://doi.org/10.1051/aas :2000332

Wouters Paul, “Aux origines de la scientométrie. La naissance du Science Citation Index ». Actes de la recherche en sciences sociales, 2006/4, 164, pp. 11-22. https://doi.org/10.3917/arss.164.0011.

Haut de page

Notes

1 https://history.paratext.com/ncm/landing/ncm-sources-detail.php ?id =10

2 “Introduction,” Catalogue of Scientific Papers (1800 – 1863.) Compiled and Published by the Royal Society of London, vol. I (London : George Edward Eyre and William Spottiswoode, 1867), vii.

3 L’effectif de recherche publique passe de 58000 à 116000 ETP entre 1985 et 2017. Source INSEE et MESRI/SIES : https://www.insee.fr/fr/statistiques/4277848 ?sommaire =4318291

4 La part des articles signés par un seul auteur est de 22 % en 1981 ; elle n’est plus que de 8 % en 2020 (Données Web of Science). La part d’articles co-signés par 10 auteurs ou plus passe de 2,6 % en 1991 à 22,3 % en 2020.

5 La part des articles comportant au moins un co-signataire d’un autre pays est de 12 % en 1981 ; 52 % en 2011 ; 65 % en 2020 (Données Web of Science).

6 https://ivoa.net/

7 https://hal.archives-ouvertes.fr/COUPERIN/hal-03148285v1 Rapport, mars 2021 : « Les outils WoS et Scopus dans leur fonction d’analyse sont majoritairement sous utilisés. Les chercheurs qui les utilisent, mobilisent assez peu les fonctionnalités offertes pour l’analyse de citations ou de construction de cartographies ».

8 Campbell, N. R. Nature 129, 362–363 (1932)

9 On peut avoir une idée de la demi-vie des citations d’un article (le temps qu’il faut à un article pour atteindre la moitié de son nombre total de citations) en regardant les références des articles citant : si la majorité des références datent de moins de deux ans, la demi-vie est courte, alors que si la majorité des articles ont plus de cinq ou dix ans, la demi-vie des citations dans cette communauté scientifique est sans doute beaucoup plus longue.

10 Dénomination originellement introduite par Jason Priem en 2010 : http://altmetrics.org/manifesto/

11 Du bon usage de la Bibliométrie pour l’évaluation individuelle des chercheurs. Rapport de l’Académie des Sciences remis à la Ministre de l’Enseignement Supérieur et de la Recherche le 17 janvier 2011.

Haut de page

Table des illustrations

Crédits D.R.
URL http://journals.openedition.org/hrc/docannexe/image/6388/img-1.png
Fichier image/png, 1,6M
URL http://journals.openedition.org/hrc/docannexe/image/6388/img-2.png
Fichier image/png, 14k
Légende « The following Catalogue is intended to contain the Title of every Scientific Memoir which appears in the various Transactions and Proceedings of Scientific Societies, and in the Scientific Journals published within the time which it comprehends ; with the Reference, the Date, the Author’s name, and the number of pages in the Memoir”2
Crédits D.R.
URL http://journals.openedition.org/hrc/docannexe/image/6388/img-3.png
Fichier image/png, 280k
Titre Helmut Abt devant l’inflation des volumes annuels de l’Astrophysical Journal
Légende Dans cette photographie, qui date de 1995, Helmut Abt, qui fut éditeur de l’Astrophysical Journal de 1971 à 1999, illustre de façon concrète l’explosion de la publication scientifique au cours du XXe siècle, par la comparaison à 20 ans d’intervalle, du nombre de pages publiées annuellement dans la revue. En 1995, le journal introduira une version en ligne qui deviendra la version de référence à partir de 2000 ; l’édition papier sera arrêtée en 2015.
Crédits Carlos Jaschek
URL http://journals.openedition.org/hrc/docannexe/image/6388/img-4.png
Fichier image/png, 71k
URL http://journals.openedition.org/hrc/docannexe/image/6388/img-6.png
Fichier image/png, 30k
Haut de page

Pour citer cet article

Référence électronique

Daniel Egret, « Recensements et mesures de la publication scientifique : l’article scientifique comme donnée »Histoire de la recherche contemporaine [En ligne], Tome X - n°2 | 2021, mis en ligne le 31 décembre 2021, consulté le 26 mars 2023. URL : http://journals.openedition.org/hrc/6388 ; DOI : https://doi.org/10.4000/hrc.6388

Haut de page

Auteur

Daniel Egret

Astronome émérite à l’Observatoire de Paris-PSL, est un expert du partage des données d’observation en astrophysique. Il a présidé l’Observatoire de Paris de 2003 à 2011. Il est chargé de mission à l’Université PSL pour les questions de référencement et de classements internationaux. daniel.egret@psl.eu

Haut de page

Droits d’auteur

Tous droits réservés

Haut de page
  • Logo CNRS
  • Logo CNRS Editions
  • OpenEdition Journals
Rechercher dans OpenEdition Search

Vous allez être redirigé vers OpenEdition Search