“Excellent articles frequently appear in journals viewed subjectively as ‘poor’ by the profession, and low-quality work often emerges in ‘excellent’ journals. Nevertheless, there is a pervasive – in our opinion an unfortunate – tendency within the profession to assess the quality of a person’s work all too superficially, giving excessive weight to the journal in which it appears” (Hawkins et al. 1973, p. 1032).
1Peut-on attribuer une qualité constante à une revue scientifique et produire un accord entre les membres d’un milieu professionnel sur cette qualité ? Bien avant la section 37 du CNRS ou l’AERES, Hawkins et al. (1973) ont interrogé des pairs pour répondre à cette question en recueillant leurs jugements sur 87 revues d’économie. Ils ont demandé à 160 économistes de leur attribuer une note entre 0 et 20, en leur précisant bien de ne noter que celles qu’ils connaissaient. À partir des réponses obtenues, ils ont produit deux indices. Premièrement, ils ont calculé la note moyenne obtenue par chaque revue et les ont ordonnées en conséquence. Deuxièmement, ils ont élaboré une note de prestige, produit de cette moyenne et du pourcentage de répondants ayant noté la revue. Ils ont ensuite renvoyé ces résultats agrégés (moyenne, médiane, mode, écart-type) aux mêmes économistes, avec un rappel de leur propre notation, en leur demandant de la confirmer ou de la changer. Plus de 80 % des répondants ont modifié certaines de leurs notes, presque toutes vers le jugement « moyen », diminuant d’autant les écarts-types pour chaque revue.
- 1 Ironiquement, la revue a disparu l’année même de la parution de l’article, scindée entre The Annals (...)
2Cela suffit-il pour produire un consensus sur l’ordonnancement des revues ? Afin de tester son existence, les auteurs ont recueilli des variables professionnelles sur les répondants et les ont classés en quatre groupes selon la taille de leur institution d’appartenance et leur implication dans des responsabilités administratives (notamment doyen ou président du département). Résultat : à l’exception de l’American Economic Review (AER) constamment première, chaque groupe a élaboré son propre classement. Ainsi, The Annals of Mathematical Statistics était classée en deuxième position par les répondants en Business schools et en vingt-septième par ceux en Liberal arts1.
3N’y a-t-il pas pour autant une convergence des jugements sur ce qu’est une bonne revue, même si leurs instanciations diffèrent d’un groupe à l’autre ? Les auteurs ont estimé que plus une revue est considérée comme « théorique » ou « générale », plus sa note de prestige est élevée ; à l’inverse, plus une revue est considérée comme « spécialisée » ou « appliquée », plus sa note de prestige est basse. Afin de donner davantage de poids à leur interprétation, ils ont introduit deux leurres dans la liste des revues : le Journal of Economic and Statistical Theory (JEST) et le Regional Studies and Economic Change (RESC). Alors même que ces revues n’existaient pas, un répondant sur cinq les avait classées et, sans surprise pour les auteurs, JEST apparaissait dans le premier tiers du classement et RESC dans le dernier tiers. Ils ont ainsi montré l’existence de jugements partagés qui ne dépendent pas de la connaissance effective des articles publiés. Sur cette base, ils ont développé une analyse par regroupements qui leur a permis de caractériser des revues au profil similaire. Ils ont distingué les revues classiques très prestigieuses (AER, Econometrica, Oxford Economic Papers…), les revues « moyennes » thématiques (Journal of Economic Education, Journal of Human Resources…), les revues très prestigieuses en gestion (Management Science, Sloan Management Review…), et enfin les revues « régionales » et appliquées (Canadian Journal of Economics, South African Journal of Economics…).
4Peut-on alors trouver un ordonnancement consensuel pour ces groupes de revues, à défaut d’un classement individualisé ? Moore (1972) a répondu positivement à cette question en produisant un classement à cinq niveaux, fondé sur le prestige des affiliations institutionnelles des auteurs d’articles. Il considérait que ce classement, malgré quelques imperfections, devrait remplacer les points de vue partiels et partiaux, afin de permettre une meilleure allocation des ressources sur le marché des revues. En revanche, Hawkins et al. (1973) s’y sont refusés, estimant in fine qu’il n’est pas possible de produire une évaluation objective des revues :
The responses are entirely subjective, and no pretense is made to develop a definitive and objective evaluation of the journals, if indeed this is at all possible (Hawkins et al. 1973, p. 1031).
- 2 La classification du JEL distingue 19 catégories, elles-mêmes divisées en de nombreuses sous-catégo (...)
5Quoi qu’il en soit, leur tentative met très bien en scène les opérations intermédiaires de la fabrique d’un classement de revues par les pairs : désignation des juges compétents, choix des objets à classer, suivi d’une procédure de notation, test de la cohérence des résultats… Si la stratégie des leurres n’a pas eu de descendance, les propositions de classements par les pairs se sont développées par la suite (Ballas & Theoharakis, 2003 ; Benjamin & Brenner, 1974 ; Borde et al., 1999 ; Hult et al., 1997 ; Lowe & Locke, 2005, 2006 ; Malouin & Outreville, 1987 ; Mason et al., 1997). D’autres modalités ont également été considérées : lisibilité des articles (Loveland et al., 1973), taux de présence des résumés dans le Journal of Economic Literature2 (Bennett et al., 1980), taux de présence dans les bibliothèques universitaires (Polonsky et al., 1999), pertinence (Bräuninger & Haucap, 2003), utilisation dans des séminaires doctoraux (Bauerly & Johnson, 2005), taux d’acceptation des articles (Coe & Weinstock, 1984 ; Haensly et al., 2009), nombre de téléchargements (Brown, 2003), prestige de l’affiliation des auteurs (Chen & Huang, 2007 ; Moore, 1972 ; Rupp & McKinney, 2002), diverses méthodes de mesure des citations (Beckmann & Persson, 1998 ; Bush et al., 1974 ; Diamond, 1989 ; Podsakoff et al., 2005 ; Rosenstreich & Wooliscroft, 2009) et, enfin, des combinaisons variées entre ces différentes modalités (DuBois & Reeb, 2000 ; Rousseau, 2008 ; Theoharakis & Hirst, 2002 ; Turban et al., 2004).
6Les articles portant sur les classements de revues en économie ou en gestion constituent ainsi, à partir des années 2000, un sous-domaine académique, qui fourmille de productions de meta-classements (Alexander et al., 2007 ; Amir, 2002 ; Dibb & Simkin, 2005 ; Harris, 2008 ; Mingers & Harzing, 2007 ; Reinstein & Calderon, 2006 ; Schneider & Ursprung, 2008 ; Steward & Lewis, 2010) et d’usages des propriétés théoriques pour produire ou critiquer des classements (Palacios-Huerta & Volij, 2004 ; Sutter & Kocher, 2001). En retour, ces classements, et particulièrement ceux des « meilleures revues », sont utilisés pour mesurer la qualité des departments ou des business schools via le nombre de publications de leurs membres (Baden-Fuller et al., 2000 ; Bairam, 1994 ; Graves et al., 1982 ; Kalaitzidakis et al., 1999, 2003) ou leur présence dans les comités de rédaction (Gibbons & Fish, 1991 ; Kaufman, 1984), ainsi que pour classer des chercheurs (Chung et al., 1993). Ils sont même utilisés pour classer les revues par la mesure des citations dans des « top journals » prédéfinis (Engemann & Wall, 2009 ; Pujol, 2008 ; Sharplin & Mabry, 1985 ; Tahai & Meyer, 1999).
- 3 Le fait qu’un grand nombre d’articles en science politique américaine traite des classements de rev (...)
7Étudier les classements de revues en économie et gestion présente donc un premier intérêt : celui d’observer cette activité dans des disciplines où elle est récurrente. L’existence d’une littérature beaucoup plus vaste que dans d’autres disciplines amène à poser la question de leur singularité : les économistes et gestionnaires déploient-ils des instruments spécifiques, qu’ils soient de l’ordre de la théorie, de la méthodologie ou du calcul ? Ou s’agit-il simplement d’une croyance partagée en la possibilité de valoriser et d’évaluer, de compter et de classer (Vatin, 2009)3 ?
8Mais les classements de revues ne sont plus seulement une occupation savante. En effet, la période contemporaine est marquée par leur circulation bien au-delà des revues spécialisées et par leur usage dans de multiples institutions avec des objectifs fort différents. Par exemple aux Pays-Bas, dès 1991, dans le cadre d’une évaluation des produits de la recherche, un comité disciplinaire a publié une liste de 1 250 revues en économie et gestion classées de A à E. Ces listes ont été utilisées pour évaluer la production scientifique des universités à partir de 1995 (Groot & García-Valderrama, 2006). Évoquons aussi les listes produites par des universités aux États-Unis (Van Fleet et al., 2000), et des écoles de commerce, en Grande-Bretagne (Morris et al., 2009) ou en France, destinées à orienter les publications de leurs enseignants par une incitation financière. Et mentionnons la liste sélectionnée par le Financial Times, utilisée pour classer ces mêmes business schools, ou l’usage de listes dans la production de rapports à destination des pouvoirs publics (Bosquet et al., 2010). Les classements ne sont plus simplement fabriqués, ils sont critiqués et font l’objet d’appropriations multiples.
9Traiter aujourd’hui de la question des classements demande non seulement d’en analyser les opérations déjà présentes dans Hawkins et al. (1973), mais également d’étudier leurs destins dans les différents lieux de leur circulation pour en saisir les usages aussi bien prescrits et anticipés que redoutés ou proscrits. S’ils montraient déjà l’effet de prescription produit par la notation agrégée sur le jugement des experts, on sait désormais que les classements peuvent modifier l’ensemble des pratiques de recherche et de publication (Sauder & Espeland, 2009). Ce phénomène ne surprend guère les économistes et gestionnaires, quel que soit leur modèle théorique : maximisation de l’utilité, force des conventions partagées, puissance des technologies invisibles… et il n’y a aucune raison pour que la production des économistes et gestionnaires y échappe.
10Étudier les classements de revues dans ces disciplines présente donc un deuxième intérêt : celui d’analyser la prise en compte par les acteurs de la dimension performative de ces instruments, qu’elle soit considérée comme une simple explicitation des valeurs déjà partagées ou comme une assignation nouvelle (Callon, 2007). Ils savent donc tous que les classements auront des effets, mais y a-t-il pour autant des effets inattendus, surprenants même pour ces acteurs ? Et, même s’ils mettent en jeu ces capacités projectives, partagent-ils les mêmes anticipations ?
11Comme pour d’autres disciplines des sciences humaines et sociales (SHS), la diversité théorique et méthodologique de ces disciplines est en effet très prononcée. À l’intérieur de l’économie néo-classique, souvent considérée comme un paradigme unifié, des divergences apparaissent lorsque les professionnels sont confrontés à des questions pratiques plutôt que de demeurer dans l’enceinte de leurs spécialités. Ainsi, pour créer un système d’enchères, les théoriciens du jeu et les économistes expérimentaux ont recours à des solutions radicalement différentes (Mirowski & Nik-Khah, 2007). Cette diversité est encore plus grande chez les économistes hétérodoxes, comme le montre la faiblesse des intercitations entre différents courants (Kapeller, 2010). De même, les sous-domaines de la gestion (comptabilité, marketing, recherche opérationnelle…) partagent peu.
12Aussi, étudier les classements de revues dans ces disciplines présente un troisième intérêt : les acteurs concernés mobilisent des savoirs, sinon plus spécialisés, au moins segmentés d’une manière beaucoup plus marquée que dans la plupart des autres SHS. Nous l’avons vu, dans le cas de Hawkins et al. (1973), le type de département universitaire modifiait radicalement la position de certaines revues dans le classement. Comment des acteurs aussi divers peuvent-ils alors bâtir un classement unifié, alors que des tentatives similaires ont souvent échoué (Albers, 2008) ? Cette diversité ne concerne pas seulement le jugement spécialisé des professionnels, elle pose aussi la question du traitement équitable des disciplines et sous-domaines (Barrett et al., 2000). Il est inutile ici de rappeler en détail la domination d’une économie mainstream sur d’autres courants théoriques, mais il faut ajouter l’importance des asymétries entre les productions nord-américaine et européenne, y compris en gestion (Grey, 2010 ; Svensson, 2005). Plus que pour d’autres SHS, les négociations autour des classements de revues mettent en jeu la définition et les limites des groupes professionnels.
13Pour ces trois raisons, l’économie et la gestion sont des milieux où l’explicitation des procédures de fabrication, d’anticipation des usages et de clarification des enjeux est maximale. S’y intéresser permet de rendre compte de l’ensemble des positions possibles, des arguments qui les soutiennent et des dispositifs qui font l’accord ou le désaccord (Boltanski, 1990). Notre objectif n’est donc pas de proposer un nouveau classement s’ajoutant à ceux qui existent déjà, ni même de définir ce que seraient de bons critères de classement ou de bonnes procédures de classification. Nous cherchons ici à rendre précisément compte des opérations déployées dans la fabrique des classements à partir d’une perspective empruntée à l’anthropologie des sciences et des techniques (Akrich et al., 1988a, 1988b). De ce point de vue, nous étudierons la trajectoire d’une innovation – le classement de revues de la section 37 du CNRS – sans préjuger des conditions de son succès ou de son échec et en étant particulièrement attentifs à la variété de ses usages.
14L’analyse de cette trajectoire s’appuiera principalement sur des sources écrites : l’ensemble des documents publics (rapports, comptes rendus de réunions, classements de revues, présentation powerpoint…) produits et archivés par la section 37 du CNRS, des textes publiés dans des revues scientifiques (prises de position de chercheurs et éditos de revues), des articles parus dans la presse (Le Monde, L’Express, L’Étudiant…) à propos de ce classement de revues (points de vue, pétitions, usages), ainsi que divers documents accessibles sur des pages web de chercheurs, de sociétés savantes, ou d’instances officielles (Sénat, AERES). Elle se fondera également sur des entretiens complémentaires, réalisés avec des acteurs directement engagés dans la fabrique, la révision ou la critique de ce classement, qui nous ont permis d’accéder à des documents non publics (documents de travail, versions intermédiaires, lettres adressées à la section 37 par des revues), aux points de vue des concepteurs sur les usages convenables et les valeurs morales qu’ils attribuent au classement, et à des récits sur l’organisation du travail et les procédures élaborées lors de sa fabrique ou de sa révision.
15Nous procéderons en trois temps. Nous centrerons d’abord l’analyse sur la fabrique d’un premier classement en 2003, les fortes critiques qu’il a suscitées, et sa stabilisation relative. Nous étudierons ensuite sa lente institutionnalisation qui passe par des séries d’usages, prévus et imprévus, et un lourd processus de révision achevé en 2007. Enfin, nous examinerons sa réappropriation par l’entrée en scène du nouvel acteur officiel de l’évaluation de la recherche : l’AERES.
- 4 Section 37 du CNRS, compte rendu de la « commission revues », 14.02.2001.
16Dans un contexte où les classements de revues se sont multipliés, la section 37 du CNRS, composée d’économistes et de gestionnaires, s’est lancée dans la production de son propre classement. Poursuivant un travail non abouti durant la mandature 1997-2000, la section a formé en 2001, sous l’impulsion du président de la nouvelle mandature, une « commission revues » dont l’objectif était sans équivoque : produire un classement à usage interne, pour l’évaluation des candidats aux concours et des unités de recherche, prenant donc la forme d’un « outil d’aide à la décision plus que celle d’un outil absolu de classement qui donne des résultats aberrants et ôte tout besoin d’une instance d’évaluation et de jugement scientifique »4.
17La section a amorcé un processus de consultation au printemps 2001 en envoyant une lettre à l’ensemble des directeurs d’unités (DU) affiliés. Il s’agissait de les informer sur l’élaboration en cours d’un classement de revues, mais aussi de les solliciter pour tenir compte de la diversité des domaines thématiques :
- 5 Section 37 du CNRS, lettre aux DU du 13.06.2001.
Nous souhaitons éviter de donner le sentiment que le CNRS impose ses critères et ne pas entrer dans des classifications trop fines et absolues. Le classement devra donc être validé et accepté par l’ensemble de la communauté. Il s’agit en particulier de protéger les minorités disciplinaires en évitant un effet de laminage de certains domaines. L’objectif est de rendre explicite un common knowledge de la communauté. Le classement sera donc une élaboration collective de la communauté et c’est ce consensus qui permettra de lui donner un aspect plus normatif5.
18Partant des vingt-six domaines retenus par la précédente mandature, la commission revues a opéré des regroupements pour aboutir à quinze domaines thématiques et une catégorie de revues généralistes. Suivant les domaines, le nombre de réponses des laboratoires et de travaux de synthèse disponibles était très variable ; aussi la commission revues a-t-elle décidé en novembre 2001 de faire appel à des experts externes pour compléter et valider ces contributions.
- 6 Section 37 du CNRS, compte rendu de la « commission revues », 14.02.2001.
19De plus, la forme même du classement a fait l’objet de discussions dès le début du processus : comment comparer les revues françaises et les « revues internationales » ? Comment nommer les différentes classes « pour éviter d’être stigmatisant »6 ? Combien de classes faut-il former ? Les premières réponses de la commission revues apparaissent dans la lettre envoyée aux DU, qui propose une grille relativement fermée et hiérarchisée valable pour toutes les revues :
-
Les revues d’excellence et unanimement reconnues dans votre champ de recherche ;
-
Les revues de haute qualité, moins diffusées en raison de thématiques pointues, d’audiences disciplinaire, géographique…, plus restreintes ;
-
Les revues de référence dans votre champ disciplinaire ;
-
- 7 Section 37 du CNRS, la lettre aux DU du 13.06.2001.
Les autres revues académiques7.
20Ces quatre catégories alimentent une définition de la qualité scientifique explicitement conçue contre deux alternatives. Premièrement, il n’est pas question d’établir une liste exhaustive qui inclurait des supports de publication sans comité de lecture : pour les membres de la section, la quatrième catégorie ne contient ni « mauvaises » revues, ni revues « professionnelles » (du type Harvard Business Review). L’autre potentialité écartée d’emblée est celle d’une hiérarchisation des publications par des outils bibliométriques imposés de l’extérieur, la catégorisation proposée faisant au contraire office de rempart disciplinaire :
- 8 Section 37 du CNRS, « Classement des revues à comité de lecture en économie et gestion », 29.04.200 (...)
Dans un contexte où la tentation de la bibliométrie gagne du terrain dans les instances nationales et européennes d’évaluation et de programmation de la recherche, il est apparu essentiel que le comité national se saisisse d’une démarche de spécification raisonnée des revues pour éviter que la communauté des économistes et des gestionnaires ne se fasse imposer brutalement un classement normatif, par des instances extérieures coupées de l’évaluation effective des équipes et des chercheurs8.
21Durant cette première phase, les instigateurs du classement ont donc considéré qu’ils évoluaient dans un monde habité par un monstre bibliométrique contre lequel il fallait se défendre. L’élaboration d’un instrument alternatif a reposé sur des processus d’évaluation par les pairs compétents : si, aux dires de la section, d’autres classements ont bien été consultés, c’est en tant que jugements complémentaires. Tout comme les quelques références académiques utilisées (Combes & Linnemer, 2000 ; Jeannin, 2004 ; Kalaitzidakis et al., 1999 ; Laband & Piette, 1994), ils ont simplement servi de points d’appui pour produire des accords. Si des critères bordaient la liste (revues en anglais ou français, revues uniquement disciplinaires, revues en activité), aucun n’était explicité pour justifier l’attribution d’une revue à une catégorie. Seul l’appel à un consensus des pairs sur la qualité des revues – leur « excellence », leur « notoriété », leur « audience » – fondait la hiérarchie sous contrainte d’une éthique de la discussion entre experts (Lamont, 2009). Et cette même logique s’est poursuivie puisque la section a bien souligné son caractère discutable et la volonté de le réviser en appelant « chacun à exprimer ses remarques et propositions de modifications ».
22Pour autant, le classement provisoire de 487 revues diffusé fin avril 2003 n’a pas fait consensus. La contestation a dépassé le cadre confiné d’une discussion disciplinaire, en particulier par la voix de M. Berry, gestionnaire, qui a envoyé une lettre ouverte à la direction du CNRS en septembre 2003, initié en novembre une pétition visant à changer le classement des revues et, enfin, publié un article dans Le Monde en mars de l’année suivante.
23Trois limites du classement des revues en gestion ont été épinglées. Il était d’abord jugé discriminatoire sur le plan linguistique puisqu’il valorisait principalement « un petit nombre de revues de langue anglaise » et que les membres de la section avaient eux-mêmes négligé le français, « comme d’ailleurs toutes les autres langues possibles de publication », en tant qu’instrument de communication. La section avait anticipé cette critique en traitant en amont ce qu’elle appelait « l’exception française » :
- 9 Section 37 du CNRS, « Classement des revues à comité de lecture en économie et gestion », 29.04.200 (...)
L’ignorance de la langue française conduit les classifications internationales à sous-évaluer dans une certaine mesure les revues publiant des articles en français. Le classement actuel tente de corriger, au moins en partie, ce biais. Nous sommes toutefois parfaitement conscients que l’effort aurait pu être encore poussé plus loin, notamment dans certaines sous-disciplines9.
24Mais pour M. Berry et certains collègues, la discrimination linguistique ne pouvait être isolée du contenu même des recherches. Ils pointaient ainsi le risque d’une standardisation des travaux par l’alignement sur des critères internationaux, en fait nord-américains, dont les vecteurs étaient les revues bien classées par la section :
- 10 Berry M., Chanlat J.-F., Pesqueux Y., « Pétition pour changer le classement des revues en gestion é (...)
De nombreuses revues de langue anglaise de qualité ne sont pas comprises dans ce classement, notamment celles qui sortent des sentiers battus ou tentent de croiser la pluralité des regards. [… Ce classement] est problématique parce qu’il repose sur une vision unidimensionnelle des sciences de gestion : les chercheurs français étant désormais priés de publier en anglais, préférablement dans les revues américaines10.
25Enfin, le classement constituait un appauvrissement et un déni des recherches originales. En indiquant la voie à suivre pour les jeunes enseignants-chercheurs, il sonnait le glas « des particularismes théoriques, méthodologiques et épistémologiques qui […] sont sources de richesse » en sciences de la gestion, en dévalorisant « les revues francophones, […] et les postures intellectuelles singulières qu’elles pouvaient défendre ». Pour ces trois raisons, la pétition s’opposait au classement des revues, sans pour autant exiger son retrait : elle demandait qu’il soit tout simplement revu le plus tôt possible pour tenir compte des « singularités linguistiques, intellectuelles, professionnelles et sociales ».
26Les promoteurs du classement l’envisageaient quant à eux comme un moyen de lutter contre d’autres formes de discrimination. Ils le considéraient notamment comme un dispositif d’explicitation des préférences permettant à chacun, et en particulier aux plus jeunes, de connaître les règles d’évaluation déjà en vigueur dans le milieu professionnel :
- 11 Président de section 2000-2004, entretien réalisé le 15.09.2009.
Avec plus ou moins de désaccords ou de nuances, tous les chercheurs chevronnés et les évaluateurs savent à peu près – et s’accordent sur – quelles sont les revues difficiles. Il nous semblait donc important que tout le monde soit au courant de ce classement implicite, y compris du fait que les revues françaises y sont moins bien classées objectivement – ce qui m’a valu pas mal d’animosités de la part de collègues. […] Quelqu’un qui a publié dans une revue étrangère, même moyenne, sera bien mieux considéré qu’un autre qui a publié dans une bonne revue française. L’idée du classement était que ce type de jugement implicite puisse être connu et partagé11.
27Loin de penser qu’il devait nécessairement être élitiste, les promoteurs du classement le concevaient avant tout comme un appui conventionnel (Dodier, 1993), à la fois lieu d’inscription de normes professionnelles partagées et instrument de justice sociale donnant à chacun les moyens d’argumenter ses positions :
- 12 Président de section 2000-2004, entretien réalisé le 15.09.2009.
La plupart des critiques sur les revues occultent complètement ce qui se passe dans les instances d’évaluation. Avec ce classement, au moins les règles sont à peu près claires, alors que ce n’était pas le cas jusque-là. Certains candidats publiaient dans des revues absolument confidentielles et lorsque quelqu’un de la section ou de la commission de spécialistes voulait les défendre, il la présentait comme une revue extraordinaire, ou l’inverse dans le cas contraire. Le classement donne des arguments de part et d’autre, au-delà d’un simple pointage12.
28Deux conceptions s’affrontaient donc autour du même dispositif : la première considérait le classement comme une simple objectivation des états précédents du monde, dont l’usage est par nature circonscrit et dont les effets éventuels sont recherchés (diminution des asymétries d’information, égalité de traitement des personnes, et amélioration du niveau de publication des chercheurs), tandis que la seconde traitait le classement comme une « technologie invisible » (Berry, 1983) qui crée de nouvelles hiérarchies et standardise les pratiques et les jugements (marginalisation de certaines revues, diminution de la diversité des méthodes et des objets).
29En dépit d’une argumentation très centrée sur la langue d’expression des revues et la défense de leurs « terroirs de recherche » par M. Berry, on n’a pas assisté à un vaste mouvement collectif des revues françaises. C’est plutôt sous la forme de demandes individuelles que quelques revues se sont adressées à la section en pratiquant un plaidoyer pro domo. Elles ont notamment fait valoir la rigueur de leurs procédures d’évaluation et ont exhibé des éléments quantitatifs pour figurer à une meilleure place :
- 13 Courrier adressé par une revue à la section 37 du CNRS, le 01.12.2003.
La revue publie 4 numéros par an (dont 1 ou 2 numéros spéciaux) et entre 5 et 7 articles scientifiques par numéro (auxquels peuvent s’ajouter des chroniques). Les articles scientifiques sont soumis, de manière anonyme, à deux évaluateurs eux-mêmes anonymes pour évaluation. […] Aucun article n’est accepté sans l’avis favorable des deux recenseurs. Lorsqu’il y a divergence de point de vue entre les deux évaluateurs, l’article est généralement soumis à un troisième évaluateur. […] Le taux de sélectivité de la revue est d’environ 13 % des articles soumis à publication. La revue compte environ 500 abonnements par an, ce taux est en progression. Par ailleurs, la revue, bien qu’à l’origine centrée sur la Francophonie et publiée en Français, s’oriente de manière croissante vers l’international13.
30Pour lutter contre l’idée du caractère très local et franco-français, certaines revues ont traduit la dimension internationale, considérée comme l’élément clé par la section, en une série de critères qui vont au-delà de la langue de publication :
- 14 Courrier adressé par une revue à la section 37 du CNRS, le 22.06.2004.
Afin de donner un point de vue le plus large possible à nos lecteurs sur les sujets que nous traitons, le Comité de rédaction impose une internationalisation de nos auteurs. Ainsi, nombreux sont les auteurs étrangers participant à chacun de nos numéros (pour certaines livraisons, plus de la moitié des auteurs sont étrangers). Enfin, dès que le thème le permet, nous publions une version anglaise de la revue afin de satisfaire notre lectorat étranger […]. C’est en tenant compte de ces différents éléments que je sollicite votre intervention afin de classer la revue dans la catégorie « revues internationales de référence dans le champ » plutôt que dans la quatrième catégorie de votre classement14.
31Ces différentes remontées et critiques n’ont que très marginalement pesé sur le classement. En effet seulement 34 nouvelles revues, dont 5 françaises, ont été intégrées dans la liste, tandis que 2 disparaissaient, dont ISIS, une « revue d’excellence et unanimement reconnue » dans le domaine « Épistémologie - Histoire de la pensée - Histoire économique ». Finalement, le classement produit par la mandature 2001-2004 contenait donc 519 titres. Cette faible extension ne s’est pas accompagnée de transformations significatives de cotation des revues déjà présentes. Nous avons pointé 14 changements – 10 à la hausse et 4 à la baisse –, une seule revue française étant concernée, Décisions Marketing, qui est passée dans une catégorie supérieure. La section a justifié ces aménagements marginaux dans l’argumentaire accompagnant le classement de 2004 en affirmant qu’une réelle prise en compte impliquerait une refonte complète, renvoyée à la mandature suivante :
- 15 Section 37 du CNRS, « Classement des revues à comité de lecture en économie et gestion », 18.07.200 (...)
La mise à jour a également abondamment tenu compte des réactions suscitées par la première version. Notons que celles-ci ont été à la fois d’ordre individuel et collectif : plusieurs laboratoires ou communautés disciplinaires nous ont, en particulier, transmis des remarques et propositions alternatives très détaillées. Nous n’avons pas pu tenir compte de l’ensemble de ces réactions car cela aurait conduit parfois à remettre à plat l’ensemble du classement. La réflexion devra par contre être engagée par la nouvelle mandature, à l’occasion de la prochaine mise à jour15.
- 16 Section 37 du CNRS, compte rendu de la « commission revues », 14.02.2001.
32Si le contenu de ce premier classement n’a pas subi de changements substantiels au cours de ce processus, en revanche, la section en a profondément modifié la forme même. Tout d’abord, le titre du document et les domaines de recherche ont été présentés en français et en anglais, ce qui peut surprendre pour un outil à usage interne de la section. Ensuite, les intitulés génériques relativement longs des catégories (e.g. « revues de très haute qualité mais moins diffusées ») ont été remplacés par un nombre d’étoiles (***** pour les revues généralistes, et de **** à * pour les revues de domaines). Ce geste réaffirmait la volonté première de fabriquer un « Michelin des revues »16.
- 17 Président de section 2000-2004, entretien réalisé le 15.09.2009.
Les étoiles, c’est comme dans le Michelin : une étoile Michelin c’est bien. Ce n’est pas exceptionnel, mais ça vaut le détour17.
33Bien qu’il puisse apparaître anodin, ce changement n’est pas sans conséquence sur la teneur du classement. La désignation des catégories par des intitulés génériques ou par un nombre d’étoiles joue sensiblement sur la définition des revues. Quand les premiers laissent la possibilité d’un flottement aux marges de catégories voisines, le second n’offre aucune confusion possible. Le classement des revues devient donc beaucoup plus net : non seulement chaque catégorie est désormais clairement délimitée, mais la hiérarchisation des catégories apparaît elle-même bien plus explicite. Dans cette transformation, la définition substantielle des revues par des intitulés laisse place à une définition relationnelle entre les catégories.
- 18 Section 37 du CNRS, « Classement des revues à comité de lecture en économie et gestion », 18.07.200 (...)
34Cet effet a été renforcé par un troisième changement de forme : la reprise de la notation dans l’index des revues « pour des raisons de simplification de la consultation »18. En pratique, cela rendait possibles de nouveaux usages du document puisqu’en un clin d’œil le lecteur, même profane, pouvait trouver une revue à partir de l’ordre alphabétique et lire son rang. C’est d’autant plus important que, comme dans le Michelin, la hiérarchie était pyramidale : il n’y avait que 9 revues à cinq étoiles et 73 à quatre étoiles, alors que 137 avaient une étoile.
35Bien que d’autres formes de production de classement incluent dès le départ une répartition par quotas, par exemple celle de l’Australian Research Council (Pontille & Torny, 2010), la répartition hiérarchique produite par la section 37 est liée à un processus informel visant à limiter les inégalités entre domaines.
- 19 Président de section 2000-2004, entretien réalisé le 15.09.2009.
Notre objectif n’était pas de n’avoir que des cinq étoiles. Pour chaque domaine, il y avait un double risque. Le premier était que toutes les revues soient bonnes, car certaines communautés se disent “nous sommes les meilleurs”. Le second était qu’elles soient toutes mauvaises car on voulait éviter qu’il y ait une forme d’hégémonie d’un type d’économie au détriment des recherches qui se coltinent du travail de terrain, des données empiriques, en gros tout ce qui n’est pas de la modélisation, y compris l’histoire de la pensée. Donc on voulait inciter à identifier une ou deux très bonnes revues qu’on puisse mettre tout en haut, et puis faire ensuite des équilibres qui se tiennent19.
36Lorsqu’ils ont commencé au printemps 2001, les membres de la section se sont lancés dans la production d’un outil dont l’issue était largement incertaine. Ainsi, l’échec de la mandature précédente, qui avait amorcé le processus sans aboutir, était régulièrement rappelé au président de la section en cours de route. Malgré tout, les instigateurs ont terminé leur mandat sur une réussite : ils ont bel et bien stabilisé un classement de revues. À l’image de nombreuses autres innovations technologiques, son caractère un peu bricolé a suscité des critiques, auxquelles il a néanmoins résisté. Ce qui ne présage en rien de sa trajectoire ultérieure : la mandature suivante n’était pas tenue par l’engagement de révision ; elle pouvait même décider que l’outil n’était pas nécessaire et revenir à une évaluation directe par les pairs, ou encore bâtir un nouveau classement sur des bases différentes.
37Si elle n’a pas modifié en profondeur le contenu du classement des revues, la polémique qui a suivi sa première diffusion a fortement contribué à sa visibilité. Aussi, publié en juillet 2004, le classement a rencontré un succès bien au-delà du CNRS, et même du monde universitaire. De multiples usages en ont été faits, et nous allons maintenant nous pencher plus particulièrement sur trois d’entre eux.
38Premièrement, le classement de revues a été intégré par les grandes écoles de commerce en tant qu’outil d’évaluation de la recherche. Les écoles ont elles-mêmes fait l’objet depuis longtemps de divers classements, soit pour leur diplôme « classique », soit pour leur Master of Business Administration (MBA). Aux États-Unis, c’est le cas depuis 1977 avec The Carter Report qui a publié un classement des MBA fondé sur la production académique des enseignants de ces écoles. Les classements se sont multipliés dans la presse économique à partir de la fin des années 1980 (Business Week, Financial Times, The Economist, US News and Report), déployant divers critères (salaire des diplômés, jugements des étudiants ou des recruteurs, emploi dans de très grandes entreprises). En France, plusieurs magazines tels Le Point, L’Express ou L’Étudiant ont adopté les mêmes pratiques dans les années 1990, proposant des classements des écoles de commerce françaises. En 2005, dans le classement de L’Express est apparu un nouveau critère, la « note académique » ainsi définie :
Cumul des étoiles correspondant à la qualité des articles portant la signature de l’école et parus entre 2003 et 2005 dans les revues référencées par le CNRS20.
39Pour cette note, chaque publication était transformée en son poids en étoiles, trois articles parus dans des revues cotées 2 étoiles pesant comme deux articles dans des revues cotées 3 étoiles. Une école de commerce obtenait alors sa note académique en cumulant l’ensemble des articles des enseignants affiliés. Par ce procédé, L’Express transformait l’attribution d’un rang à une revue en une variable numérique : la référence n’était plus ici le guide Michelin, mais toute forme de production industrielle. L’effet prescripteur du classement de la section 37 reformaté de la sorte s’est fait sentir sur les acteurs de la recherche directement concernés :
- 21 Président de section 2000-2004, entretien réalisé le 15.09.2009.
Hier encore, un collègue, directeur de la recherche d’une école de commerce, se félicitait devant moi d’être “passé de 54 étoiles à 68 étoiles”21.
40Ce qui a été conçu comme une aide au jugement par les pairs est donc devenu un outil de calcul direct pour une institution, aussi concret que le nombre d’étudiants par enseignant permanent. L’usage dérivé est ici le fait d’acteurs relativement extérieurs au public préalablement défini par la section. On pourrait donc attribuer cet effet à son importation sauvage dans l’univers des écoles de commerce, marqué par les classements où la quantification est forte et où la réactivité aux classements publics est attestée (Espeland & Sauder, 2007 ; Peters, 2007). Or, cette même dérivation est pratiquée par les usagers initialement visés par les concepteurs du classement.
41C’est le deuxième usage sur lequel nous voulons insister : les nouvelles catégories d’évaluation ont rapidement été reprises par les évalués, déclenchant ce que certains ont appelé « la course aux étoiles ». Estimant qu’ils n’étaient dorénavant plus jugés sur la lecture directe de leurs travaux, ni même sur le proxy de qualité que constitue le nom d’une revue, certains laboratoires ont organisé leur rapport autour du nombre d’étoiles, utilisant la même arithmétique que L’Express.
Désormais, la plupart des chercheurs et des laboratoires nous mentionnent le nombre d’étoiles qui leur reviennent : cette liste a eu un effet fortement structurant, précise [le responsable de la commission revues]22.
42Avant même de modifier les pratiques de publication, le classement organisait de nouveaux espaces de calcul où l’on pouvait comparer les productions entre les personnes, à l’intérieur d’un collectif, et entre les collectifs, indépendamment des domaines de recherche. Du fait que le CNU ou certaines commissions de spécialistes se mettent à l’utiliser, certains chercheurs ont poussé cette logique jusqu’au bout, en précisant le nombre d’étoiles associé à chacune de leurs publications sur leur CV. C’est parce qu’il se déployait dans des milieux largement structurés par la quantification que le classement a connu un tel succès. Alors que les concepteurs du classement s’opposaient explicitement à des approches de type bibliométrique, leur produit a finalement été utilisé pour faire toutes sortes de comptages à la manière d’autres métrologies, même si ces opérations demeuraient limitées aux institutions françaises.
43Troisièmement, le classement de revues a connu un destin international à partir de son inclusion dans la Journal Quality List (JQL) d’Anne-Wil Harzing. Cette professeure de management à l’université de Melbourne a conçu cet instrument alors qu’elle était à la Bradford University School of Management à la fin des années 1990. Cette « école de commerce » avait sa propre classification de revues qui ne satisfaisait pas A.-W. Harzing parce que les revues de son champ d’étude (International Business) étaient absentes ou systématiquement mal classées. Aussi a-t-elle entrepris de rechercher d’autres classements produits par des institutions scientifiques, et publié sa première compilation en 2000. Incluant des classements néerlandais, autrichiens, allemands ou anglais, en économie et en gestion, la JQL est aussi le produit de ses propres recodages et sélections. Ainsi, le classement de la section 37 était-il partiellement inclus dans la 18e édition de la JQL le 6 janvier 2006, accompagné de ce commentaire :
- 23 Harzing A.-W., Journal Quality List, 18th Edition, 6 janvier 2006.
[Editor’s note] In order to keep the JQL to a manageable length, lower-ranked journals (ranking 1-3 stars) of the CNRS04 list were only added if they already featured in the JQL. The list seems to have an emphasis on Economics. Eight of the ten 5-rated journals are in Economics, while this is the case for two thirds of the 4-rated journals. While journals in F&A, OR/MS/POM and MIS/KM have a fair number of 3 and 4-rated journals, the vast majority of journals in Management (OB/HR/OS and Gen & Strategy) and Marketing are rated 1 or 223.
44Le classement de la section 37 a pu ainsi être mondialisé parce que les opérations de classifications des revues sont particulièrement prégnantes dans les business schools. Cependant cette circulation s’est faite au prix d’une double mutilation. D’une part, le classement de la section 37 ne valait plus pour lui-même mais était placé dans un espace interclassements où disparaissent les revues les moins bien classées – et donc toutes les revues françaises à l’exception d’Annales. Histoire, sciences sociales. On retrouve ici un effet d’antériorité assez classique, les items des premières classifications étant bien mieux représentés que ceux des nouvelles (Johnson & Podsakoff, 1994). D’autre part, la JQL détachait totalement ses composantes de leurs usages prescrits, mais sans en attribuer de nouveaux. N’ayant aucun usage défini, elle pouvait être mobilisée comme bon lui semblerait par tout acteur.
45Ces trois formes de mobilisation du classement s’écartent des scénarios d’usages convenables qui ont été imaginés et explicités par ses concepteurs. Loin de constituer de « simples » déformations incontrôlées du dispositif, elles révèlent la flexibilité des usages rendus possibles par la consistance même du classement (Akrich, 1998), l’exemple du comptage des étoiles étant le plus frappant. Ses diverses appropriations ne marquent pas l’échec des concepteurs, mais font au contraire du classement 2004 de la section 37 un nouveau point de passage obligé de l’évaluation pour les économistes et les gestionnaires.
46Deux ans après sa publication, le classement, largement discuté, débattu et repris par d’autres institutions, faisait désormais partie du paysage. Cela n’est pas passé inaperçu aux yeux des membres de la nouvelle mandature mais, pour eux, les diverses appropriations du classement n’étaient pas forcément synonymes de succès. C’est pourquoi, face à ce qu’ils considéraient comme des dérives, ils ont réaffirmé le caractère local de cet outil :
- 24 Section 37 du CNRS, lettre aux DU du 23.10.2006.
On rappelle donc [que la section 37] n’est aucunement engagée par les utilisations très abusives de ce classement qui ont pu apparaître ici ou là (par exemple : présentation des publications ne se fondant que sur le seul critère d’appartenance au classement, arithmétique non signifiante aboutissant à une addition d’étoiles, etc.)24.
47Alors qu’en 2001 les initiateurs du classement avaient cherché à mobiliser leurs pairs pour établir la liste des revues à travers une procédure de délégation à des experts externes, la mandature en place adoptait une tout autre posture. Si la révision a de nouveau été confiée à un petit groupe interne à la section, cette dernière considérait que cette nouvelle « commission revues » devrait fonctionner de manière autonome. Comme ses membres ne pouvaient pas connaître en détail l’ensemble des domaines structurant le classement, il s’agissait désormais moins d’une évaluation par les pairs au plus près des revues que de discussions sur des indices et critères partageables à distance :
- 25 Section 37 du CNRS, lettre aux DU du 23.10.2006.
Il est indispensable de pouvoir argumenter les modifications effectuées sur des bases solides (position de la revue dans d’autres classements, rôle de la revue dans la structuration d’un champ scientifique, facteur d’impact ou autre indicateur bibliométrique, mode de fonctionnement de la revue : renouvellement régulier des éditeurs et du comité éditorial, volume des soumissions, qualité et sévérité du processus de sélection, cette liste n’étant pas limitative)25.
48Ainsi, toute demande des DU ou des membres de sociétés savantes devait-elle convaincre les membres de la section du bien fondé des changements formulés. C’était d’autant plus vrai que, du point de vue de la section, le terme de révision impliquait une stabilité de l’outil de classement où les modifications justifiées ne pouvaient être comprises qu’à la marge.
- 26 Section 37 du CNRS, lettre aux DU du 23.10.2006.
Il est clair qu’un tel classement a vocation à évoluer à la fois pour rectifier les erreurs manifestes qui pourraient subsister et pour tenir compte, par exemple, de la création ou de la disparition de certaines revues, de changements affectant leur fonctionnement, etc. (…) La crédibilité du classement suppose, sauf à constater des erreurs manifestes, que les changements restent, d’une version à l’autre, graduels. Un classement qui serait bouleversé sans solides arguments risquerait vite de perdre sa crédibilité26.
49La révision se présentait donc comme une opération limitée dans un temps très court : trois mois pour les demandes de changement à adresser au responsable du groupe, deux mois d’élaboration du nouveau classement, avant une diffusion rapide. L’éthique de la discussion très présente dans la première version n’a pas été abandonnée pour autant puisque, comme prévu dans le processus, une réunion publique, ouverte à l’ensemble des économistes et gestionnaires, s’est tenue à l’université Paris-Dauphine le 16 février 2007. À cette occasion, le classement de 2004, encore en vigueur, a fait l’objet d’une comparaison explicite avec d’autres outils de mesure (facteur d’impact), d’autres listes (HEC, ESSEC, Econlit…), et son équilibre interne par catégories et par domaines a également été discuté. Il s’agissait de vérifier sa justesse en confrontant les critères élaborés en vue de sa révision avec ceux présidant à d’autres classements de référence, pour rendre systématiquement compte des écarts observés, par exemple avec le facteur d’impact :
- 27 Section 37 du CNRS, compte rendu de réunion de révision de la liste des revues, 15.03.2007.
Les apparentes aberrations proviennent des impacts sans commune mesure des revues professionnelles et des revues hors du champ (revues de droit américaines) vis-à-vis de certaines revues d’économie théorique27.
50En propulsant le classement dans un espace de comparaison très vaste, où cohabite une multitude de classifications possibles, la section a préfiguré les modalités concrètes du processus de révision. Si le classement de 2004 demeurait la base à partir de laquelle étaient examinées les demandes de modification, les points d’appui de celles-ci étaient divers et ne permettaient donc pas un processus fondé uniquement sur des critères. La commission revues, composée de trois personnes dont deux sont restées anonymes afin de limiter les pressions, a donc suivi une démarche incrémentale sous contrainte de cohérence :
-
Examen de l’ensemble des demandes
-
Collecte du maximum d’information sur les revues
-
Décision provisoire
-
Construction d’un nouveau classement
-
Examen de sa cohérence interne
-
- 28 Nous avons eu accès au détail de ce processus, qui n’est pas rapporté dans les documents publics, l (...)
Discussion collective28
- 29 Section 37 du CNRS, « Catégorisation des revues en Économie et Gestion », octobre 2007.
51Le résultat de ce processus, finalement plus long que prévu, a été présenté en section à l’automne 2007. Il n’a été alors que très peu modifié, le travail de fond du groupe résistant aux arguments circonstanciels des autres membres de la section. Aussi le classement, publié fin octobre, était avant tout le produit de la commission revues même s’il a été assumé par l’ensemble de la section et signé par son président, et accompagné d’un argumentaire détaillant les procédures de révision29.
52Ce classement différait profondément de celui acté par la mandature précédente. On peut d’abord le voir à travers le nombre des domaines de recherche qui est passé de quinze à vingt. Dans certains cas, un domaine a été séparé en deux entités distinctes comme « Économie du travail » et « Gestion des ressources humaines », ou « Stratégie et management » et « Systèmes d’information ». Dans d’autres, de nouveaux domaines ont été créés comme « Innovation et Entrepreneuriat » ou « Logistique et production ». Ces modifications étaient liées à une extension importante de la liste des revues avec 229 ajouts. La contrainte disciplinaire, consistant à classer uniquement des revues d’économie et de gestion, s’est également traduite par des retraits non négligeables : 58 titres ont disparu, notamment des revues de droit (California Law Review, Harvard Law Review…). Au total, la liste contenait désormais 690 revues. De plus, le titre de certaines, qui était mal orthographié, a été corrigé (e.g. « Arts » au lieu de « Art »), et celles qui ont changé de nom ont été mises à jour. Parmi les 462 revues déjà présentes en 2004, les changements de rang ont été aussi très fréquents pour un projet de simple révision avec 135 revues (29%) concernées, dont 13 de plus d’un rang. En dépit de ces transformations, la structure sous forme pyramidale a été globalement conservée. Soulignons un dernier changement : si le classement est toujours constitué de cinq modalités hiérarchisées, leurs intitulés ont été une nouvelle fois modifiés.
- 30 Section 37 du CNRS, « Catégorisation des revues en Économie et Gestion », octobre 2007.
La présente mise à jour abandonne la définition des catégories en « nombre d’étoiles ». Cette définition se prêtait en effet à des manipulations arithmético-statistiques dont la signification et la pertinence était fortement sujette à caution et que nous ne souhaitons pas encourager. Les revues sont affectées à une catégorie allant de 1 à 4 par ordre de qualité décroissant. Par souci de cohérence avec l’ancienne version de cette liste, on a distingué, pour les seules revues généralistes, une cinquième catégorie (appelée 1*) rassemblant les revues de la catégorie 1 qui apparaissent particulièrement remarquables30.
53Partie d’un projet aménageant le classement à la marge, la révision fut finalement marquée par des transformations profondes de forme et de fond, résultat d’une double volonté : un souci de solidification et la volonté d’éradiquer les usages jugés non convenables. L’articulation de ces deux objectifs était particulièrement visible dans le changement des noms de catégories et dans celui du document lui-même : il ne s’agissait plus d’un classement mais d’une « catégorisation des revues en économie et en gestion ». Tout en maintenant des hiérarchies que la section considérait comme réelles et importantes pour ses disciplines, la nouvelle liste visait à prévenir toute dérive calculatoire, voire à « relocaliser » sa pertinence.
54Quel a été l’effet de cette volonté et de ces changements sur les acteurs qui s’étaient auparavant emparés du classement de la section 37 ? Ont-ils persévéré dans leurs usages et se sont-ils adaptés à cette nouvelle catégorisation ? Pour certains, cela a été considéré comme une simple mise à jour : ainsi, dans la 29e édition datant du 19 novembre 2007 du JQL, A.-W. Harzing a juste remplacé « CNRS04 » par « CNRS07 ». De même, les universitaires ont persévéré dans leurs usages dérivés en fonction de leurs objectifs propres. Ainsi, le jury de concours de l’agrégation d’économie a décerné en 2008 des scores de publication aux candidats, partiellement fondés sur la catégorisation de la section 37, avec une somme des « notes » attribuées à chaque publication selon l’échelle numérique suivante : 1, 2, 4, 6, 8. Les membres du jury ont découvert à cette occasion les inégalités générées par des pratiques de publication différenciées.
- 31 Levy-Garboua L., 2008, « Rapport sur le premier concours national d’agrégation de l’enseignement s (...)
L’application de toutes ces règles permet de calculer un score brut, après vérification et accord des deux rapporteurs. Toutefois, il a été jugé plus équitable de calculer un score net en déflatant chacune des notes par la racine carrée du nombre d’auteurs de l’article avant de faire la somme de toutes les notes corrigées31.
55À aucun moment la question des cosignatures n’a été abordée par les concepteurs de la classification de la section 37. Pourtant, avec sa transformation en outil de calcul, le nombre de signataires est devenu tout à fait crucial pour l’évaluation des candidats.
56Pour d’autres acteurs, les changements apportés par la nouvelle mandature étaient problématiques. Par exemple, L’Express et L’Étudiant voulaient continuer à utiliser les étoiles comme instrument de « mesure scientifique » pour leur classement des grandes écoles de commerce.
- 32 Dauvergne G., « Que faire des étoiles mortes de la liste CNRS ? », L’Étudiant, 23.09.2008. http://p (...)
La section 37 a abandonné le système des étoiles, afin d’éviter les “manipulations arithmético-statistiques“… À l’Étudiant, nous nous sentons un peu visés, même si, en fait de manipulations, il s’agit d’une simple addition, opération mathématique encore à ma portée. Le nouveau système est censé éviter ces additions. Le préambule annonce cependant que la catégorie 4 correspond à feu 1 étoile, la 3 à deux étoiles, la 2 à trois étoiles, la 1 à quatre étoiles, et la 1* à cinq étoiles. Vous suivez ? J’ai immédiatement pensé à convertir les nouvelles catégories en « équivalents étoiles », ce que la section 37 n’avait apparemment pas envisagé et réprouvera à coup sûr. Mais ce changement de repères est peut-être l’occasion de s’arrêter sur une question que m’ont posée plusieurs enseignants-chercheurs. Un article paru dans une revue de catégorie 1* (soit cinq vieilles étoiles) vaut-il vraiment cinq articles parus dans la modeste catégorie 4 ?32
57Pour les acteurs s’appuyant sur un classement, le défaut de continuité historique de la mesure (Desrosières, 1993 ; Porter, 1996) devait être corrigé. Ils ont alors retraduit les nouvelles catégories dans les termes de l’ancienne mesure. Les tentatives pour restreindre les utilisations de la classification ont donc largement échoué, faute de contrôle possible sur ces acteurs externes au CNRS. Encore aujourd’hui, L’Express utilise les « étoiles CNRS » comme élément de sa « note académique ».
58Qu’en est-il dans le monde académique ? Les acteurs les plus proches de la section 37 (laboratoires et chercheurs) ont adopté les désignations inédites et les nouveaux rangs des revues. Pour autant, cet alignement ne signifiait pas que, pour les membres de la section, la catégorisation des revues constituât un dogme. Au contraire, la section demeurait le lieu où l’usage de cette liste était le plus mis en perspective avec d’autres formes d’évaluation, et notamment l’évaluation directe par les pairs :
Lorsqu’on dispose d’un outil chiffré pour évaluer la recherche, il est très tentant de s’y tenir, souligne [le responsable de la commission revues]. Mais les travaux les plus exploratoires nécessitent du temps pour acquérir une reconnaissance. Nous devons prendre en compte l’originalité, la pertinence, la fécondité. Rien ne vaut de lire les papiers pour fonder un jugement !33
59À la manière des concepteurs d’autres types d’innovations (Bijker & Law, 1992), les membres de la section étaient finalement les plus attentifs au caractère circonstancié des usages convenables de leur instrument. Alors que la plupart des acteurs s’emparaient uniquement de la catégorisation des revues, pour les membres de la section 37, c’est bien l’ensemble du document qui faisait sens : la liste hiérarchisée des revues, accompagnée des nombreux caveats qui précisaient ses limites et ses modalités d’utilisation.
60La prudence marquée par la section dans l’argumentaire accompagnant la catégorisation de revues a quant à elle été utilisée par d’autres acteurs dans une perspective critique. Des revues francophones de gestion, ne voyant pas leur rang amélioré, ou disparaissant même de la catégorisation, ont cette fois rédigé des éditoriaux remettant en cause sa légitimité même, à l’instar de la Revue des Sciences de Gestion :
- 34 Naszalyi P., 2009, « Éditorial : Cherchez ! Et vous trouverez ! », La Revue des Sciences de Gestion(...)
Ce choix d’évaluation des chercheurs et de classement des laboratoires et des centres de recherche est donc par nature idéologique ou pire, fondé sur la méconnaissance de tout ce qui n’est pas anglo-américain. (…) La preuve nous est assénée même, par l’introduction du rapport de la section 37 du CNRS (…) : « Nous n’ignorons pas qu’il existe des revues excellentes publiant en allemand, espagnol ou italien et il est parfaitement légitime pour un chercheur d’y publier. Cependant la section ne s’estime pas compétente pour procéder au classement de telles revues ». Ces pratiques totalitaires rappellent les capitulations idéologiques qu’il ne faut pas hésiter à rapprocher des heures sombres de notre histoire par la « collaboration » de certains intellectuels avec le vainqueur apparent d’alors34.
61La revue reprenait donc les arguments développés cinq ans plus tôt par M. Berry, mais en associant un dispositif de jugement très local à des enjeux historiques de grande ampleur, tentant ainsi de donner plus de poids à sa dénonciation par une montée en généralité (Boltanski, 1990).
62S’en tenant à une vision strictement procédurale, d’autres revues restaient focalisées sur la catégorisation et sa fabrique. Ainsi, Finance, Contrôle, Stratégie considérait que la logique de consultation dépend par nature du poids respectif des acteurs, le consensus étant jugé illusoire :
- 35 Charreaux G. et Gervais M., 2007, « Éditorial : La “piste aux étoiles” – un commentaire sur le dern (...)
On nous objectera qu’une « vaste » procédure de consultation préalable a été préalablement entreprise. Encore eût-il fallu que l’information issue de la « base » ait été utilisée. (…) Seuls les avis émanant des représentants des associations, visant à faire prévaloir leurs seuls intérêts, semblent avoir été jugés dignes d’intérêt et ont été apparemment suivis sans véritable esprit critique. (…) En matière de rating scientifique, comme dans d’autres domaines, il est souhaitable qu’il y ait une concurrence entre différentes grilles ne serait-ce que pour mettre en évidence le caractère très arbitraire de certaines normes35.
- 36 La part des revues francophones est restée constante après la révision : moins de 9%. Avec la dispa (...)
63Cette revue valorisait donc une conception plurielle de l’évaluation, tant en termes de mesures (facteur d’impact, facteur h…) que de classements. Or, pour la gestion, la catégorisation de la section 37 était concurrencée par celles produites par d’autres instances, comme la section 06 du CNU, consacrée aux sciences de gestion, qui a produit en interne une première liste de revues en février 2007. S’appuyant sur le système des étoiles du CNRS, la section 06 a coté les revues françaises de manière autonome, certaines revues étant mieux considérées, d’autres moins bien. L’autonomisation de ce classement s’est poursuivie avec l’adoption d’une grille hiérarchisée en trois rangs (A, B, C) en juin 2008, toujours exclusivement pour les revues françaises. Elle se situait donc dans un espace très différent de la catégorisation de la section 37, toujours aussi largement dominée par les revues de langue anglaise36 et, aux dires de nombreux gestionnaires, par les revues d’économie. Les classements de HEC et de l’ESSEC mêlaient revues anglo-saxonnes et revues françaises, ces dernières étant très nettement moins bien classées, à la manière de la section 37. Mais les limites de ces listes et leur hiérarchisation interne variaient.
- 37 Section 37 du CNRS, compte rendu de réunion de révision de la liste des revues, 15.03.2007.
- 38 Elles ont peut-être exprimé des réserves dans les 300 pages de réactions au classement 2007 adressé (...)
64Pour une partie des gestionnaires, la catégorisation de la section 37 était donc un outil d’évaluation des revues parmi d’autres, ce qui leur permettait de relativiser sa portée, voire de la critiquer frontalement. En 2008, cette dernière position était clairement minoritaire, liée à certaines fractions de la recherche en gestion, et similaire à celles qui critiquaient le premier classement de la section 37 en 2003. En économie, les critiques de la classification demeuraient encore plus marginales, et si la section reconnaissait ne pas avoir inclus les « revues hétérodoxes »37, ces dernières ne semblaient pas s’en préoccuper, au moins publiquement38. L’instrument « classement du CNRS » avait conquis la grande majorité des milieux en économie et, en dépit de transformations bien plus importantes que prévu, son rôle central avait été renforcé.
- 39 Quatre revues sont apparues, dont la revue Sciences de Gestion, et Annales. Histoire, Sciences soci (...)
65Juste avant la fin de son mandat, la section 37 a publié en juin 2008 une nouvelle édition de sa classification de revues. Celle-ci frappe par sa stabilité. Non seulement la section a inscrit la continuité de l’instrument sur sa page de garde, en la nommant « version 2.1 » avec un rappel des versions antérieures en note, mais son contenu est quasiment inchangé par rapport à la version désormais nommée « 2.0 » d’octobre 200739. À cette occasion, la section a également précisé les conditions de révision de la liste :
- 40 Section 37 du CNRS, « Catégorisation des revues en Économie et Gestion », version 2.1, juin 2008.
Ce travail a clairement vocation à être discuté et amendé régulièrement, qu’il s’agisse d’introduire de nouvelles revues après leur période probatoire ou d’effectuer certains reclassements pour tenir compte de la vie des revues ou d’une meilleure appréciation de leurs mérites. (…) La section 37 pourra aussi lancer un chantier de révision de plus long terme pour traiter par exemple de la situation des revues de langue française ou introduire des publications dans d’autres langues. À cet égard, les remarques et suggestions suscitées par la version précédente de cette liste ont été et seront conservées40.
66À l’exception de la question récurrente de la place des revues françaises, l’instrument semblait donc consolidé, puisque seuls des acteurs non académiques ont pointé son caractère discontinu et, comme nous l’avons vu, l’ont « corrigé » à leur manière.
67Mais au même moment, une nouvelle liste de revues, visant à couvrir l’ensemble des SHS, a fait son apparition : celle de l’Agence d’évaluation de la recherche et de l’enseignement supérieur (AERES). Comment cette liste s’est-elle inscrite dans le paysage des classements dominé en économie et gestion par la classification du CNRS ? Quel était le degré de convergence entre ces deux listes ? Quels effets la liste de l’AERES a-t-elle eu en « décloisonnant » ainsi l’usage des listes de revues comme outil d’évaluation, auparavant pratiquement limité à l’économie et à la gestion ?
- 41 A l’exception de celui des experts en psychologie.
68Pour remplir son rôle d’évaluation des laboratoires et des institutions de recherche ou de formation universitaire, l’AERES cherchait à se doter d’instruments spécifiques, la bibliométrie étant « peu adaptée à la production académique française en SHS, en grande partie francophone ». Le 28 juillet 2008, l’AERES rendait public son outil spécifique : une liste de 6 305 revues, présentée comme « la liste des revues scientifiques du domaine des sciences humaines et sociales », qui renvoyait à des sous-listes disciplinaires. Si l’ensemble des personnes ayant participé au processus était remercié, leur nom n’était pas publié41. De plus, pour de nombreuses disciplines, le processus de fabrication n’était pas précisé.
- 42 « Pour le retrait complet et définitif de la “liste des revues” de l’AERES », 2 octobre 2008 (http: (...)
69Cette opacité était au cœur des très fortes critiques de la liste, qui ont pris différentes formes : éditos de revues, prises de positions de chercheurs individuels et de sociétés savantes, pétition demandant le retrait définitif de la liste de revues42. Dans ce processus, l’économie et la gestion étaient dans une position singulière. En effet, le court argumentaire qui accompagnait la sous-liste « Économie-Gestion » éclairait sa construction, en filiation directe avec la classification précédemment élaborée par la section 37 :
- 43 Ce document n’existe plus sur le site de l’AERES, de même que l’ensemble des argumentaires accompag (...)
La liste actuelle des revues à comité de lecture de l’AERES est, après concertation avec plusieurs instances, celle proposée par le comité national de la recherche scientifique (section 37). Cette liste sera évolutive dans le temps et révisée en coordination avec les instances d’évaluation d’économie et de gestion des personnels des établissements supérieurs et/ou de recherche (par exemple, CNRS, INRA, CNU)43.
70La reprise annoncée a toutefois fait l’objet d’une formule de transformation, les cinq catégories de la section 37 (1*, 1, 2, 3, 4) devant être traduites dans les trois préconisées par l’AERES (A, B, C). La liste publiée montrait un compromis puisqu’une échelle à quatre rangs a finalement été retenue : 1* et 1 sont devenus A*, 2 est devenu A, 3 est devenu B, et 4 est devenu C. Cette opération, au cours de laquelle 5 revues n’ont pas été reprises, a en outre effacé les domaines de recherche établis par la section 37, toutes les revues d’économie et de gestion de la liste AERES étant simplement ordonnées alphabétiquement. Alors que les autres disciplines ont vu apparaître une classification de revues « sortie de nulle part » qu’elles ont interprétée comme un outil gestionnaire externe à leurs communautés scientifiques, de nombreux économistes et gestionnaires ont considéré cette reprise comme une victoire épistémique contre la bibliométrie.
71Dans une perspective évolutionniste, où les différentes disciplines feraient face à une vague d’évaluation issue des sciences dites « dures », et donc les plus avancées, on peut considérer que celles qui ont anticipé en produisant leurs propres outils sont plus aptes à y résister. Mais un tel schéma a pour inconvénient de négliger le fait que ces outils sont inséparables des usages qui leur sont associés dès leur conception, et que la liste de l’AERES avait d’autres prescriptions que celles du CNRS.
- 44 AERES, « Critères d’identification des chercheurs et enseignants-chercheurs “publiants” », 20.12.20 (...)
72En effet, la classification produite par l’AERES était inséparable de son objectif : l’identification du taux de « publiants » dans les laboratoires. Étaient considérés comme tels les enseignants-chercheurs et les chercheurs qui totalisaient respectivement au moins deux et quatre productions « majeures » en quatre ans44. Ces dernières pouvaient être des ouvrages et chapitres d’ouvrages ainsi que les articles publiés dans les revues classées A et B par l’AERES ; en revanche, les articles publiés dans les revues absentes de la classification ou notées C n’étaient pas comptabilisés. L’usage prescrit de la classification des revues la réduisait donc à une simple distinction booléenne entre ce qui compte et ce qui ne compte pas.
73Cet usage des listes était au cœur des craintes qui se sont exprimées dans le mouvement de l’automne 2008 dans différentes disciplines : risque de marginalisation des revues non comptabilisées, appauvrissement de la diversité en SHS, introduction sournoise de la bibliométrie dans l’évaluation… À l’exception d’une partie des acteurs critiques engagés dès la formulation du premier classement de la section 37, les économistes et les gestionnaires sont demeurés silencieux.
- 45 Ces taux sont calculés dans les rapports des comités de visite de l’AERES sur les unités de recherc (...)
74Pourtant, l’usage de la liste AERES, en générant un espace de calcul transdisciplinaire, a eu des effets défavorables pour ces disciplines. Elle a mécaniquement réduit leurs taux de « publiants », y compris dans les unités d’excellence. Par exemple, le GREMAQ, classé « meilleur laboratoire de France » par Bosquet et al. (2010), présentait 76 % de « publiants », et le LERNA, 4e ex aequo dans leur classement, 75 %45. Ces deux unités phares de la Toulouse School of Economics étaient bien entendu notées A+ par l’AERES.
75Comme aucun classement n’est disponible pour l’histoire et la sociologie, nous avons sélectionné à titre comparatif quatre unités également jugées excellentes par l’AERES (A+) : le taux de « publiants » du Centre de Recherches historiques (CRH) était égal à 95 %, celui de l’Institut des Dynamiques historiques de l’Économie (IDHE) à 98 %, et ceux du Centre de Sociologie des Organisations (CSO) et du Centre Maurice Halbwachs (CMH) à 100 %.
- 46 La section 37 avait évoqué dans plusieurs documents intermédiaires le fait qu’elle prenait en consi (...)
76Même si nous n’avons pas reconstitué le taux de « publiants » pour toutes les « unités d’élite », ces exemples nous semblent significatifs de la situation particulière de l’économie et de la gestion : « il faudra qu’on m’explique comment on peut avoir une unité A+ avec 20 % ou 30 % de non publiants », nous confiait un délégué scientifique de l’AERES lors d’une discussion informelle. Ce décalage était dû à deux principaux facteurs. D’une part, les autres SHS produisent beaucoup plus d’ouvrages et de chapitres d’ouvrages, et ceux-ci étaient systématiquement pris en compte dans le calcul des « publiants »46. D’autre part, les promoteurs de la liste de revues AERES l’envisageaient comme un dispositif de certification minimale, et les autres sous-listes disciplinaires ont été fabriquées en accord avec cet objectif – à l’inverse du classement de la section 37 qui, nous l’avons vu, cherchait à marquer des différences hiérarchiques entre revues et visait à promouvoir une forme d’excellence. L’invention de la notation A* pour la crème des revues, contraire aux consignes de l’AERES, allait déjà dans ce sens. L’examen des publications des chercheurs français dans les revues notées A* par l’AERES souligne le caractère très élitiste du critère « publiants » pour les économistes et gestionnaires :
Sur l’ensemble des 57 titres de revues dépouillées [sur 88 A*], seules 31 ont accueilli ne serait-ce qu’une fois [sur 2007 et 2008] un papier signé d’un auteur travaillant dans une institution française. Certains domaines sont particulièrement étanches : en « droit et économie » et en « gestion des ressources humaines », aucune signature (y compris cosignature) française ; en « Finance et assurance », une seule revue. Mais même dans les domaines davantage « ouverts », force est de constater que l’accès des Français est réduit, voire exceptionnel. Ainsi, sur les 1 636 articles dépouillés, seuls 62 (3,8 %) sont signés (ou cosignés) par au moins un Français. Compte tenu des possibilités de cosignatures, le nombre d’auteurs ayant signé au moins un article dans une des revues de rang [A+] s’établit à 93, soit 2,9 % des signataires. La communauté des économistes et gestionnaires français a donc placé en tête du classement des revues qu’elle lit (peut-être) mais auxquelles elle n’accède quasiment pas en tant qu’auteur ! (Audier, 2009, p. 10-11).
77Pour F. Audier, la publication dans ces revues était largement liée à des réseaux interpersonnels, en particulier centrés sur la composition des comités de rédaction. Dès lors, il semblait très difficile pour la plupart des économistes et gestionnaires de réussir à être qualifiés de « publiants », comparativement à leurs collègues des autres SHS. Cet élitisme a pu être revendiqué par certains chercheurs, considérant par exemple que la liste de l’AERES, en ne se basant pas uniquement sur le facteur d’impact, créait une distorsion de marché favorable à certains sous-domaines de l’économie et de la gestion (Chatelain & Kirsten, 2009). La publication des notes données aux unités de recherche par l’AERES confirmait cette singularité disciplinaire. En effet, pour les vagues d’évaluation C en 2008 et D en 2009, la répartition de la notation en économie et gestion était la plus sévère de toutes les SHS47. Faute d’enquêtes disponibles sur les usages concrets de la liste AERES par les comités de visite, nous ne savons pas si cette sévérité est le produit du différentiel existant dans la liste de revues elle-même, ou l’effet des normes partagées entre évaluateurs (Lamont, 2009) sur ce qu’est une bonne unité ou un bon projet de recherche. Quoi qu’il en soit, elle n’apparaît que dans un cadre institutionnel où l’économie et la gestion sont systématiquement comparées aux autres SHS, qui pourrait permettre tout autant de qualifier ces dernières de « franco-françaises » ou de « laxistes ».
- 48 Le financement des universités : pour un SYstème de répartition des Moyens à l’Activité et à la Per (...)
78Mais les taux de « publiants » et les notations des unités de recherche ne demeurent pas confinés à l’intérieur d’un espace d’évaluation. Ils sont destinés in fine à rationaliser des mesures de gestion et d’allocation des ressources. Ainsi les sénateurs ont-ils proposé dans un rapport leur SYstème de répartition des Moyens à la Performance et à l’Activité (SYMPA), prenant explicitement en compte ces deux critères de l’AERES48. Si ce système était appliqué, les disciplines qui ont conçu et mis en œuvre les outils les plus exigeants seraient les plus mal dotées :
Dès lors, on comprend que si les laboratoires d’économie-gestion sont systématiquement plus mal notés que les autres laboratoires (toutes choses égales par ailleurs), leurs dotations vont se réduire par rapport aux laboratoires des autres disciplines, ce qui réduira leurs chances d’attirer les meilleurs doctorants, docteurs, collègues, et de produire dans les meilleures conditions. Encore une fois, peut-être est-ce le but recherché : n’assurer une formation en master et en doctorat d’économie-gestion que dans quatre ou cinq laboratoires de recherche en France. Dans ce cas, il faut avoir le courage de le dire49.
79S’il est concevable que l’usage des listes de revues puisse servir les fractions dominantes des économistes et gestionnaires qui partagent une vision élitiste de leur discipline, nous estimons que l’effet dépréciatif est surtout le produit inattendu d’un nouvel outil. En effet, le contenu de la liste AERES elle-même était quasiment identique à la catégorisation de la section 37, mais les usages prescrits et réels en ont radicalement modifié la portée pragmatique.
- 50 Ce texte, qui n’existe plus sur le site de l’AERES (voir note ), a été publié par Les Cahiers de Ps (...)
80La liste de revues de l’AERES publiée en juillet 2008 était clairement conçue comme provisoire, soumise à un processus d’actualisation par la mise en place d’un « forum de discussion ouvert [qui] pour chaque champ permettra d’adresser des remarques ou des recommandations »50. Mais face au mouvement critique de l’automne 2008, ce forum n’a jamais vu le jour. En revanche, l’AERES a concédé la possibilité de bâtir des listes de revues sans hiérarchie interne. Puis, lors d’une réunion regroupant une trentaine de revues françaises le 4 décembre 2008, le délégué de l’AERES aux SHS a introduit la notion positive de « périmètre de scientificité ». Il s’agissait donc de revenir à une simple liste dont les contours seraient définis par les communautés scientifiques pertinentes. Dès mars 2009, la liste des revues d’histoire a adopté ce nouveau principe, d’autres listes disciplinaires étant parues à partir de l’automne 2009.
81Si aucune liste Économie-Gestion n’était disponible sur le site de l’AERES à cette époque, une liste officieuse a largement circulé51. Par rapport à celle de 2008, la seule évolution significative était la disparition de la notation C, les revues concernées étant recodées B. Cette évolution était une réponse au faible taux de « publiants », mais aussi un retour vers les usages de la liste CNRS, puisque l’ensemble des revues serait pris en compte, et non simplement les plus prestigieuses. Une telle révision se serait singularisée par rapport à celles des autres disciplines, qu’on pouvait rassembler en deux groupes : une majorité d’entre elles ont vu leur nombre de revues diminuer (Sociologie -7 %, Théologie -22 %, Anthropologie -27 %,…). Dans ce cas, une partie des revues anciennement classées C dans le nouveau périmètre scientifique a été reprise, les autres ayant disparu. À l’opposé, dans quelques disciplines, dont les listes initiales étaient très courtes, le nombre de revues prises en compte a explosé : la liste de Science politique est passé de 25 à 325 revues, celle de Sciences de l’Éducation de 32 à 530. Dans ce second cas, l’origine des revues a été largement internationalisée et un grand nombre de revues interdisciplinaires a été ajouté.
82Marquant une nouvelle rupture dans la trajectoire du classement de revues des économistes et gestionnaires, c’est cette deuxième option qu’a suivi le groupe d’experts ayant produit la liste officielle parue en juin 2010. En effet, pour la première fois, des critères « objectifs » d’inclusion des revues ont conduit à la liste de 2 052 revues :
Les travaux de la commission ont conclu à la constitution d’une liste de référence obtenue par l’appartenance des revues qui rentrent dans le champ de la caractérisation d’un enseignant-chercheur ou chercheur produisant, à l’une des 3 listes suivantes :
- 52 Commission d’actualisation, « Liste des revues AERES pour le domaine Économie-Gestion », 16.06.2010 (...)
- La liste des revues qui correspond au classement le plus récent établi par la section 37 du CNRS
- La liste Econlit : Expanded Journal list
- La liste HARZING : Journal Quality List52
- 53 Nous n’évoquons pas ici la référence explicite aux ouvrages dans le document cité note . Le texte e (...)
83Les 9 experts nommés dans le document, accompagnés des 4 délégués scientifiques de l’AERES, n’ont donc pas à proprement parler fabriqué une classification comme la section 37 en 2003 et 2007, ni même une adaptation d’un classement existant comme l’AERES en 2008 : ils ont produit une agrégation de plusieurs éléments sous forme de liste. En effet, nous l’avons vu, Harzing et la section 37 proposaient des catégorisations hiérarchisées et les experts ont choisi d’écarter les « notes » au seul profit du nom des revues. En pratiquant cette agrégation, ils n’ont pas simplement mis au même niveau Econometrica et la Revue de la Régulation conformément au nouveau cadre du « périmètre de scientificité », mais ils ont par là même renoncé à l’ensemble des principes de clôture de la classification avancés depuis 200353.
84Ainsi, les revues de vulgarisation et appliquées avaient été explicitement exclues. Mais comme certaines d’entre elles, telle l’Harvard Business Review, étaient classées dans presque toutes les versions de la JQL de A.W. Harzing, elles se retrouvent par transitivité dans le périmètre AERES 2010. De nombreuses revues non disciplinaires sont désormais incluses par l’intermédiaire de la même source : par exemple, Sociology of Sport Journal, Sociological Methodology, Sociologie du Travail, Zeitschrift für Soziologie. Quelques revues listées publient donc également dans d’autres langues que le français ou l’anglais, ce qui est nouveau.
- 54 Le nom de ces revues, et leur période de suivi, demeure sur le site Econlit, ce qui permet de compr (...)
85Le choix d’Econlit comme source malmène un autre principe défendu dès 2003 : la limitation aux revues « vivantes ». D’une part, la liste contient désormais des revues dont le nom a changé : la revue Financial Practice and Education, devenue en 2000 le Journal of Applied Finance, est aussi dans la liste ; il en est de même pour le Swedish Journal of Economics qui est devenu le Scandinavian Journal of Economics. D’autre part, la liste contient des noms de revues qui ne paraissent plus depuis longtemps, par exemple Studii si Cercetari Economice depuis 1974, Wirtschaft und Recht depuis 1990, ou encore Advancing the Consumer Interest, qui s’est arrêtée en 2001. Au total, plus de 200 revues qui ne sont plus suivies en 2010 dans Econlit54 sont néanmoins incluses dans la nouvelle liste « Économie-Gestion » de l’AERES.
86Au contraire de la sélectivité antérieure, la liste actuelle est donc marquée par une volonté œcuménique, y compris dans ses conditions d’actualisation, puisque des « additifs » peuvent être apportés par les sections 05 et 06 du CNU, dont les représentants faisaient partie des experts. Comme dans des cas américains, l’élargissement de la liste marque le passage d’institutions « d’élite » (CNRS) à des organisations plus diverses ou moins centrées sur la recherche (Reinstein & Calderon, 2006 ; Van Fleet et al., 2000). Ce tournant n’est pas pour autant synonyme d’un renoncement complet à une hiérarchisation interne aux disciplines.
- 55 Commission d’actualisation, « Liste des revues AERES pour le domaine Économie-Gestion », 16.06.2010 (...)
En ce qui concerne l’évaluation de la qualité scientifique et de la production des laboratoires (Critère 1 de l’évaluation des unités de recherche), la commission recommande de faire référence au classement des revues de la section 37 du CNRS le plus récent55.
- 56 Ce changement de terme a pour objet d’élargir la gamme des éléments pris en compte pour les enseign (...)
87L’usage prescrit de la liste AERES 2010 est alors limité au calcul du nombre de « publiants », entre-temps rebaptisés « produisants en recherche et valorisation » par l’Agence56. Une fois cette première opération effectuée par les évaluateurs, on leur recommande de retomber sur leurs pieds en revenant à la liste de la section 37. Suivant l’usage, il y a donc les revues qu’on compte et les revues qui comptent, une « liste périmètre » distincte d’une « catégorisation hiérarchisée ».
88Au fil de l’analyse, nous avons montré que la trajectoire du « classement de revues du CNRS » a suivi, jusqu’à ce jour, quatre principales étapes de fabrication et de transformation. Dans un premier temps, c’est un outil de justice sociale pour les candidats et les laboratoires, fondé sur une expertise largement externe à la section 37. Ensuite, c’est une catégorisation raisonnée, solidifiée par l’examen, en comité restreint, d’arguments partageables afin de résister à la comparaison avec d’autres classements. À un troisième stade, c’est un outil de comptage et d’évaluation, dont le contenu est quasi-identique au précédent, mais dont l’usage convenable est radicalement transformé. Enfin, cela devient une partie d’une liste de revues beaucoup plus longue servant au calcul d’un ratio : le taux de « produisants ».
89Cette trajectoire interroge très directement l’ontologie de l’outil : s’agit-il d’une seule entité qui mute au fil du temps, ou d’une succession de dispositifs différents ? Dans ce cas précis, deux options se dessinent. La première consiste à considérer uniquement le contenu pour insister sur ses importantes variations d’une classification à l’autre : initialement composé de 487 revues, il contient ensuite 519, puis 690, 685 et enfin 2052 revues. Sa hiérarchisation interne est également différente, passant de cinq catégories aux longs intitulés, puis aux étoiles, aux nouvelles catégories numériques, avant d’être réduite à quatre notes alphabétiques, potentiellement trois (cf. liste « officieuse » de 2009), pour finalement disparaître en juin 2010.
90La seconde option revient à se concentrer exclusivement sur la très grande majorité des usages d’un seul et même classement, du moins jusqu’à la liste AERES 2010. Les transformations qu’il subit sont ainsi généralement passées sous silence ou interprétées comme un alignement nécessaire sur une réalité externe : la vie naturelle des revues et l’évolution de leur qualité. C’est encore le cas pour la mandature actuelle de la section 37 qui annonce pour fin 2010 un « ajustement [du classement] selon la progression ou le déclin scientifique d’une revue. De fait, la liste est une photographie »57. Les concepteurs eux-mêmes, dans leurs présentations publiques (cf. adoption des numéros en 2008, justification de l’AERES), insistent d’ailleurs sur la continuité du dispositif, et l’argumentaire du groupe d’experts de l’AERES fait à nouveau exister « le classement de la section 37 » en 2010.
91L’opposition entre ces deux options se dissipe lorsque, au lieu de se focaliser sur les états stables du dispositif, on adopte une pragmatique des transformations. Chacune des classifications produites est systématiquement accompagnée de clauses de révision ou d’actualisation : elles sont d’emblée définies comme provisoires, et donc ontologiquement instables. Dès lors, elles sont soumises à un cycle publication/usages/révisions quasi-continu et sont, selon leurs concepteurs, animées d’une double dynamique : contrer les usages jugés non convenables et renforcer ceux qui le sont. C’est particulièrement visible pour la catégorisation CNRS 2007 et la liste AERES 2010. Ce sont alors les usages, anticipés ou imprévus, qui sont au cœur de la dynamique de ce type d’instrument (Vastag & Montabon, 2002).
92Finalement, que nous apprend la trajectoire de cet outil particulier au regard des trois intérêts spécifiques de l’étude des classements de revues en économie et gestion soulignés dans l’introduction ? Premièrement, nous avons observé que la très importante littérature sur les classements de revues n’est quasiment pas utilisée par les différents acteurs. Par exemple, la minorité très critique ne cite pas les travaux de Lee (2006, 2008) qui a pourtant montré l’effet délétère du Research Assesment Exercice en Grande-Bretagne sur l’économie et la gestion hétérodoxes. Les producteurs des classements ne s’appuient, quant à eux, ni sur la littérature théorique portant sur le ranking, ni sur la plupart des classements proposés. Si, dans une situation similaire, des universitaires américains qui souhaitaient pourtant produire un classement objectif ont dû se résoudre à l’évaluation par les pairs (Marsh & Hunt, 2006), les fabricants du classement CNRS refusent explicitement l’adoption de critères totalement standardisés, très présents dans la littérature. En dépit de capacités d’évaluation fondées sur des outils proprement disciplinaires et déployés à longueur d’articles, il n’y a pas là de spécificité de l’économie et de la gestion.
93Deuxièmement, nous avons montré que les usages anticipés par les concepteurs ont été dépassés à deux reprises : le classement CNRS 2004 a souvent été transformé en outil de calcul, et la classification AERES 2008 a été défavorable aux disciplines par comparaison avec celles des autres SHS. Ajoutons que l’effet de prescription du classement a été très important et très rapide chez les acteurs qu’il visait. La performativité de l’instrument est donc forte, et se manifeste de deux manières : d’une part, dans sa capacité à provoquer des alignements de jugement sur la qualité respective des revues : les conversations ordinaires d’économistes et de gestionnaires ont intégré des néologismes tels que « revues 2 étoiles » aussi naturellement que « revue d’économie industrielle » ou « revue anglaise » ; d’autre part, à travers la pluralité des usages qu’il rend possible : une fois la liste, le classement ou la catégorisation produits, on peut les détacher de leurs conditions de production et de leurs usages convenables. La répétition des nombreux caveats et la limitation de la liste n’y font rien : les listes, étoiles, nombres ou lettres sont utilisables pour eux-mêmes, le label « CNRS » légitimant son caractère scientifique. La spécificité de l’économie et de la gestion réside ici, à notre avis, dans la rapidité de ces mouvements d’adoption et d’adaptation, voire dans l’intensité de l’usage proprement stratégique de l’outil (Macdonald & Kam, 2007).
94Troisièmement, nous avons décrit le rôle de la segmentation des disciplines en sous-domaines. Dans la fabrique du classement de 2003, c’est le recours à des experts extérieurs, par domaine, qui était le facteur déterminant, alors que la contrainte d’équilibre de la catégorisation était dominante en 2007. La critique du classement était presque uniquement portée par certains gestionnaires, tandis que les économistes hétérodoxes ne semblaient pas lui accorder d’intérêt public. Dans ses usages, une situation contrastée était donc sensible entre l’économie, où le classement de la section 37 ou de l’AERES a longtemps été en situation monopolistique en France, et la gestion, où il était en concurrence avec ceux produits par les écoles de commerce. La configuration nouvelle produite par l’AERES en 2010, avec la coexistence d’une liste périmètre et d’une catégorisation hiérarchisée, réduit ces différences. De plus, l’apparition de listes de revues dans les nouvelles institutions prestigieuses de l’économie (Paris School of Economics, Toulouse School of Economics) rapproche encore les deux disciplines, dans une multiplicité de classements et d’usages pour le moment unique en SHS.
- 58 La situation en Grande-Bretagne est largement similaire pour la gestion avec des listes de business (...)
95On peut en effet distinguer au moins trois outils et donc trois couples classifications/usages clairement établis en économie et en gestion aujourd’hui en France58 :
-
- 59 Ces listes entraînent évidemment leurs propres usages, par exemple l’extension du guest authorship (...)
Les classements des écoles de commerce (HEC, ESSEC, Sup de Co Montpellier…) et des fondations (PSE, TSE) sont des listes courtes, voire très courtes, dont l’objectif est l’allocation des moyens, et même de plus en plus le versement de primes directes59. Plus que des outils d’évaluation, ce sont des instruments d’incitation destinés à une élite – gestionnaire dans le premier cas, économique dans le second – dans une institution donnée.
-
- 60 La section justifie ainsi cette option : « Le CNRS est un organisme qui recrute au plan internation (...)
La catégorisation de la section 37, qui constitue un outil d’aide à l’évaluation non seulement pour les chercheurs mais pour l’ensemble des enseignants-chercheurs soumis à l’AERES, est un outil de promotion d’un modèle professionnel quasi-universel, fondé sur la publication dans des revues en langue anglaise60.
-
La très longue liste-périmètre de l’AERES, instrument œcuménique de comptage des « publiants » ou « produisants », définit pour tous l’appartenance à la profession d’économiste ou de gestionnaire universitaire.
96Ces trois « classifications de revues » coexistent désormais de manière relativement autonome dans leurs usages. Chacune échappe à la bibliométrie fondée sur le facteur d’impact, tout en érigeant le support de publication en proxy de la qualité des articles.
97Or ce proxy est potentiellement battu en brèche par la critique même de la bibliométrie : le nombre de citations suit une distribution de puissance et, par conséquent, le facteur d’impact, qui est une moyenne, représente très mal la « valeur » de chaque article (Adler et al., 2008 ; Singh et al., 2007). De plus, les modifications des formes de production en économie et en gestion, avec la très large diffusion de working papers bien avant leur éventuelle publication, défont en partie la revue comme lieu central de publication, à la manière de ce qui s’est passé en physique (Bohlin, 2004 ; Gunnarsdottir, 2005). Ce nouveau modèle de diffusion n’abolit pas pour autant, au moins pour les économistes, l’existence d’une hiérarchie et la possibilité d’un jugement objectivé sur la qualité. Le système RePEc (Research Papers in Economics), fondé sur l’interconnexion de bases locales d’articles, a développé son propre facteur d’impact qui, contrairement à celui de Thomson-Reuters, n’est pas limité en termes de supports (les ouvrages et les working papers comptent), et d’ancienneté de publication. Et cette nouvelle mesure, totalement originale à notre connaissance, permet de produire de multiples classements : papiers les plus cités, auteurs les plus cités… Ils offrent ainsi des appuis inédits pour divers usages, comme attirer l’attention d’une revue sur le fait que l’article soumis possède déjà en tant que working paper un facteur d’impact RePEc élevé, ou faire valoir de telles performances auprès d’un employeur.
- 61 Section 37 du CNRS, Catégorisation des revues pour l’économie et la gestion, juin 2010, http://site (...)
98En économie et en gestion, la production d’outils de classement est donc fertile et inventive, comme le montre l’insertion des revues fictives par Hawkins et al. (1973) dans l’enquête que nous évoquions en introduction. Ces disciplines constituent des terrains favorables pour l’analyse des multiples formes de classification qui visent à décrire et structurer les activités scientifiques. La croyance partagée dans la possibilité d’évaluer des individus, perçus comme les « meilleurs » ou les « plus talentueux » (et par agrégation des revues et des institutions), constamment ravivée par la fabrique d’instruments considérés comme toujours plus raffinés et performants, en font un laboratoire particulièrement riche pour développer une sociologie des classifications. De ce point de vue, c’est avec une certaine impatience que nous guettons la prochaine catégorisation de revues de la section 37 du CNRS, qui comprendra pour la première fois des « revues à comité de lecture multidisciplinaires ou d’autres disciplines - MAD »61.