- 1 L’indicateur h5 mesure le nombre de citations des articles publiés au cours des 5 années antérieure (...)
1L’ouverture des revues académiques au tout numérique a conduit, depuis ces quinze dernières années, à l’augmentation exponentielle du nombre de revues, chez les éditeurs scientifiques commerciaux comme au sein de nombreuses structures universitaires. Ceux-ci ont vite compris l’intérêt que pouvait revêtir le média internet pour assurer une large diffusion des connaissances. Dans ce mouvement, quelques revues, dont Développement durable et territoires (DD&T), ont été précurseurs, dans la mesure où elles ont été créées au début des années 2000, à une époque où bien peu misaient sur le support exclusivement numérique comme mode de diffusion des articles scientifiques. Pourtant, force est de constater que désormais, le modèle adopté par DD&T, qui apparaissait comme une exception, est en passe de devenir la règle. D’accès entièrement numérique, gratuite et interdisciplinaire, DD&T fait aujourd’hui l’objet d’un intérêt croissant, de la part des organisations en charge de l’évaluation et de la diffusion des contenus scientifiques. Ainsi, après avoir été reconnue au début des années 2010 à l’échelle nationale – au travers des listes de revues référencées par l’AERES (désormais HCERES) puis par le CNRS (section 37, économie et gestion) – la revue DD&T est soutenue depuis 2014 par l’Institut National des Sciences Humaines et Sociales (INSHS) du CNRS. Ceci s’est traduit par un soutien en personnel (secrétariat de rédaction) et, plus récemment, par un soutien financier permettant d’assurer la relecture des textes publiés dans la revue par une relectrice professionnelle et le défraiement des frais de mission des membres des trois comités de la revue pour se rendre aux réunions organisées à Lille. À l’échelle internationale, la revue DD&T est récemment entrée dans des bases de référencement comme le Emerging sources citation index de Clarivate Analytics (ex Thomson-Reuters), ou encore à l’échelle européenne, dans la base de référencement ERIH-PLUS (European Reference Index for the Humanities and Social Sciences). En outre, elle fait l’objet d’un dépouillement de ses titres, résumés et auteurs dans des bases de données bibliographiques comme CAB International et Proquest. En parallèle, Google Scholar Metrics, qui publie depuis quelques années un classement par langues des 100 revues les plus importantes au regard de son indicateur h51, a vu l’entrée, puis la progression de la revue DD&T dans le classement des revues francophones.
2L’indexation, le référencement et la reconnaissance institutionnelle de notre revue sont le fruit du travail réalisé par l’ensemble du comité de rédaction, et notamment les coordinateurs de rubriques et de dossiers thématiques. On peut certes se réjouir de cette reconnaissance de la part de nos pairs, mais il ne faut toutefois pas considérer celle-ci comme un but en soi. Les limites du référencement et de l’indexation des revues académiques sont un champ d’étude et de réflexion déjà bien documenté et nous souhaitons revenir sur certains des arguments souvent avancés, qui permettent de relativiser ce qui apparaît à première vue comme les indicateurs d’une réussite.
3En effet, si l’on s’en tient aux référencements reposant sur une forme ou une autre de « scoring », il est nécessaire de rappeler que les firmes qui promeuvent ce type de démarche (Impact factor du Web of Science pour Clarivate Analytics ; Citescore metrics de Scopus pour Elsevier ; Google Scholar Metrics pour Google) fondent leurs classements et les scores des revues sur des bases de données qui restent partielles et qui ne couvrent pas – loin s’en faut – l’ensemble des revues académiques. La langue demeure un frein à l’entrée des revues dans les bases de données de ces différentes firmes, dans la mesure où les classements reposent sur des bases de données où les revues publiant en anglais demeurent majoritaires. De ce fait, une revue francophone rencontrera des difficultés pour que soit comptabilisé le nombre de citations dans d’autres revues académiques. Pour une large part, ces citations se retrouvent dans les ouvrages et revues publiant dans la même langue. Par ailleurs, le principe même du comptage des citations, qui sert généralement d’indicateur de base pour le calcul des indices proposés par chacune de ces firmes, rencontre un certain nombre de limites. D’une part, rien ne permet d’affirmer que la mention d’une référence dans une bibliographie constitue un gage de qualité. En effet, certains textes qui comportent de nombreuses erreurs d’interprétation sont couramment cités pour souligner précisément les erreurs qu’ils contiennent. L’exemple le plus emblématique de ce point de vue est sans doute le texte de Garrett Hardin (1968), « The Tragedy of the Commons », qui assimile à tort le régime de libre-accès avec un régime de propriété commune et qui disqualifie de ce fait toute forme de régulation communautaire fondée sur la propriété commune. Pourtant, au regard du nombre de ses citations, cet article pourrait apparaître comme un article de référence sur un sujet qui demeure in fine relativement mal cadré par l’auteur. D’autre part, les bases de données mentionnées ci-dessus fonctionnent à l’aide d’algorithmes qui « moissonnent » régulièrement les sites Internet des revues, en recherchant les citations dans les références bibliographiques des textes que ces revues publient. Ce caractère automatisé du repérage des données engendre des erreurs, omettant de retenir certaines références et comptabilisant parfois deux ou trois fois une même référence bibliographique. Ce type d’erreurs est très courant, notamment dans la base de données de Google Scholar Metrics, mais il n’épargne pas non plus les autres indices pourtant généralement plus réputés.
4Si ces indicateurs, avec leurs modes de calcul aussi biaisés ne servaient qu’à évaluer les revues, ce ne serait sans doute pas aussi problématique. Le souci, comme le relève Yves Gingras (2015) dans un texte particulièrement fouillé sur les dérives de la bibliométrie, est que ces classements de revues et les facteurs d’impact qui leur sont associés servent aussi à évaluer les laboratoires, les universités et même les chercheurs et enseignants-chercheurs. Cette tradition est certes beaucoup plus prégnante dans les pays anglo-saxons ou qui s’inspirent de leur modèle universitaire, mais elle tend à s’institutionnaliser également dans la pratique de l’évaluation qui prévaut aujourd’hui en France. Compter dispense alors de lire, puisque le temps disponible pour lire et juger qualitativement de la pertinence d’un texte ou d’un ensemble de textes se réduit chaque jour davantage… Ainsi, sous couvert d’objectivation, les instances d’évaluation utilisent des indices dont on ne remet plus en cause la construction, alors même que cette construction reflète des choix (quelles revues pour quelle base de données ?) qui n’ont parfois rien de très scientifique. À titre d’exemple, mentionnons certains des critères retenus par la base de référencement Scopus auprès de qui DD&T a sollicité une inclusion, à trois reprises au cours de ces sept dernières années. Scopus dispose de critères pour l’insertion de nouvelles revues dans sa base et notamment la publication d’une charte de bonnes pratiques (publication ethics and malpractice statement) permettant de jauger de l’engagement des revues vis-à-vis de critères déontologiques. Lors de notre première candidature auprès de Scopus, en 2012, notre candidature a été rejetée car nous ne disposions pas d’une telle charte accessible sur le site Internet de la revue. Nous nous sommes réunis dans les mois suivants et avons adopté ce type de charte. En 2013, nous déposons une nouvelle candidature, elle aussi rejetée. Si les textes publiés dans notre revue disposaient bien d’un résumé en anglais et d’une liste de mots-clés en anglais, les titres des articles demeuraient rédigés en français, sans qu’une traduction de ces titres en anglais ne soit proposée. Nous décidâmes, quelques années plus tard, de nous lancer dans un vaste programme pour traduire en anglais l’intégralité des titres des articles publiés dans DD&T depuis 2010 (Vol. 1, n° 1). Une fois cette traduction réalisée et chaque article actualisé, nous avons retenté notre chance en 2017 en sollicitant pour la troisième fois une intégration de DD&T à la base Scopus. Plusieurs mois se sont écoulés, sans nouvelles de leur part, jusqu’au jour où nous les avons informés que nous venions d’être intégrés à l’Emerging Sources Citation Index de Clarivate Analytics et que nous souhaitions savoir si le même sort nous était réservé de la part de Scopus. La réponse ne se fit pas attendre, car le jour même, Scopus nous indiqua que notre demande ne pouvait aboutir car la charte de bonnes pratiques de la revue n’était pas traduite en anglais…
5Cet exemple souligne bien à quel point les critères d’inclusion dans ce type de bases de référencement concentrent une série d’exigences qui vont bien au-delà de la qualité scientifique des articles qui sont produits. Elsevier, qui est à l’origine de la base de données Scopus, est une firme disposant d’un bureau à Paris, ce qui devrait lui permettre en théorie de disposer d’agents aux compétences linguistiques suffisantes pour s’assurer du contenu de notre charte de bonnes pratiques. Au-delà, il conviendrait, pour juger de la qualité des articles publiés dans une revue, de faire lire par de « vraies personnes » les articles publiés et ne plus se baser sur des algorithmes pour vérifier l’adéquation d’un contenu à une demande. Cela renvoie à la question du temps passé pour évaluer la qualité des revues comme des articles ou des chercheurs, à la dimension qualitative et humaine de ce travail, qui semble chaque jour s’amoindrir. En témoigne la difficulté croissante que rencontrent les revues pour solliciter des rapporteurs afin de relire et évaluer les articles soumis. Cela demande pour le rapporteur un investissement certain, suppose de disposer d’un temps minimal pour analyser correctement forme et contenu. Pour la revue, cela signifie pouvoir recueillir la participation des spécialistes du champ concerné, d’avoir là encore le temps de solliciter plusieurs experts après avoir soi-même lu attentivement la proposition d’article. L’ensemble de cette démarche étant bien entendu entièrement bénévole, ce qui n’est pas le cas des bases de référencement qui parfois demandent aux revues la possibilité d’exploiter, dans les plateformes qu’elles commercialisent, des numéros mis en ligne gratuitement. Il conviendrait de remettre de l’humain, du contact et de l’échange dans cette course aux étoiles pour être certains de continuer à découvrir de nouveaux talents et non d’alimenter un monde virtuel dénué de sens.
6Dès lors, pour se faire une idée vraiment précise du contenu des publications, il n’existe qu’un moyen que nous vous invitons à suivre : la lecture. Dans le présent numéro, vous retrouverez notamment un dossier thématique sur l’articulation entre communs matériels et immatériels, coordonné par Arnaud Buchs, Catherine Baron, Géraldine Froger et Adrien Peneranda, ainsi qu’un mini-dossier sur la durabilité forte, coordonné par Caroline Lejeune et Clémence Guimont. Bonne lecture à tous !