L’évaluation de la production scientifique en France par l’Agence d’évaluation de la recherche et de l’enseignement supérieur
Texte intégral
- 1 P. Glaudes est directeur de la section des unités de recherche à l’Agence d’évaluation de la reche (...)
- 2 Loi sur l’enseignement supérieur et la recherche du 22 juillet 2013.
1Créée en 20071, l’Agence d’évaluation de la recherche et de l’enseignement supérieur (AERES) va bientôt, par la volonté du législateur2, être remplacée en France par le Haut conseil d’évaluation de la recherche et de l’enseignement supérieur (HCERES). C’est l’occasion d’adopter une perspective historienne et de revenir sur sa politique en matière de publications scientifiques.
2Autorité administrative indépendante, l’AERES a reçu trois principales missions : l’évaluation des formations, l’évaluation des établissements d’enseignement supérieur et des organismes de recherche et l’évaluation des unités de recherche. L’évaluation des publications intervient dans le cadre de cette dernière mission : l’AERES ne s’occupe pas d’évaluer les personnels, tâche qui incombe en France à des instances représentatives composées en général de membres élus et nommés : sections du Conseil national des universités (CNU), sections du Comité national du CNRS (CoNRS), commissions scientifiques spécialisées de l’INSERM, etc. Ce sont donc les publications considérées globalement comme une partie des résultats des unités de recherche qui intéressent les experts chargés par l’AERES d’évaluer celles-ci. Ces experts ont pour mission de formuler une appréciation qualitative, complétée par un certain nombre d’indicateurs aussi objectifs que possible.
- 3 Sur les différents critères d’évaluation utilisés par l’AERES, seul le dernier porte sur le projet, (...)
- 4 Sur une échelle à quatre degrés : A+, A, B et C.
- 5 De 2007 à 2010, l’AERES a utilisé quatre critères d’évaluation : 1) production scientifique ;
2) ray (...) - 6 Depuis 2010, les six critères d’évaluation employés par l’AERES sont : 1) production et qualité sci (...)
3L’AERES pratique en effet l’évaluation par les pairs : ses agents, les délégués scientifiques, sont chargés d’organiser des comités comprenant des membres des communautés évaluées, qui ont la responsabilité du jugement évaluatif, les délégués scientifiques se chargeant seulement de vérifier la conformité de l’évaluation au processus défini par l’Agence et rendu public sur son site internet. L’évaluation, selon ce processus, porte pour l’essentiel sur l’ensemble des activités et des résultats d’une unité de recherche pendant les cinq années antérieures (avant 2009, l’évaluation ne concernait que les quatre années précédentes)3. Parmi les critères spécifiant les différents aspects sur lesquels porte l’évaluation et qui ont fait l’objet, jusqu’en 2012, d’une notation4 — quatre critères à l’origine5, six depuis 20106 — le premier, et l’un des plus importants, est la production scientifique.
4Pour évaluer ce critère, l’AERES a d’abord combiné l’appréciation globale de la production scientifique des laboratoires à la prise en considération de l’organisation et de la répartition des travaux entre leurs membres. Répondant à un vœu d’une des directions générales du Ministère de l’enseignement supérieur et de la recherche, elle s’est dotée dès 2007 d’un indicateur, le « taux de publiants » (expression remplacée dès 2008 par « taux de produisants »).
5De quoi s’agissait-il ? Chaque comité d’experts recevait pour mission d’examiner la liste des publications (puis des productions) de l’unité de recherche qu’il était chargé d’évaluer et il déterminait, pour chaque enseignant-chercheur et chaque chercheur, s’il satisfaisait à la qualité de « publiant » (ou de « produisant »). Était considéré comme tel, celui qui, au cours de la période évaluée, avait réalisé un nombre minimal de publications. Ce nombre était pondéré pour chacun en fonction du contexte défini par sa situation dans la carrière et son engagement dans des tâches d’intérêt collectif pour la recherche. La mesure chiffrée de cette production était complétée par d’autres indicateurs comme le rayonnement scientifique, la participation active à des réseaux et des programmes nationaux et internationaux, la prise de risque dans la recherche (notamment aux interfaces disciplinaires), l’ouverture vers le monde de la demande sociale, les responsabilités dans la gestion de la recherche (nationales, internationales) ou dans la publication de revues (rédacteur en chef) ou de collections internationales (directeur), l’investissement dans la diffusion de la culture scientifique, la recherche appliquée ou l’expertise.
6Pour être considéré comme « publiant » (puis « produisant »), il fallait, pour la période sur laquelle portait l’évaluation, être l’auteur de deux productions « de rang A » pour les enseignants-chercheurs et de quatre pour les chercheurs. Pouvaient être considérées comme des productions scientifiques de rang A des publications dans une revue internationale à comité de lecture, un chapitre d’ouvrage ou un ouvrage de recherche reconnu internationalement, un brevet déposé à l’international.
7Les sciences humaines et sociales (SHS) faisaient l’objet de quelques spécifications particulières : pour les disciplines de ce domaine, on considérait aussi comme une publication de rang A une communication avec actes dans un congrès international à comité de sélection, la constitution de bases de données accessibles ou de corpus de référence, les éditions critiques.
8Le différentiel entre le nombre total d’enseignants-chercheurs et de chercheurs de l’unité et le nombre de publiants permettait de déterminer le taux, lequel intervenait pour une part non négligeable, mais non exclusive, tant s’en faut, dans la notation de la production scientifique. Ce taux était ensuite utilisé par les services du Ministère de l’enseignement supérieur et de la recherche, comme l’un des éléments permettant de moduler selon la performance l’affectation des moyens pour la recherche dans les établissements d’enseignement supérieur. À noter que d’autres éléments, comme la note globale obtenue par l’unité de recherche et ses effectifs, étaient également pris en compte dans ce financement.
- 7 Voir les instruments bibliométriques fournis par Web of Science, Scopus, etc.
9En recourant à cet indicateur, l’AERES a cependant été rapidement confrontée à un problème pour évaluer les publications dans les revues internationales en SHS. Si une classification des revues existe pour les sciences exactes et les sciences de la vie, qui prend en compte la fréquence des citations des publications qu’elles accueillent7, cette classification, qui s’appuie essentiellement sur les publications en langue anglaise, n’existe pas en SHS et paraît peu adaptée à la production académique de ce domaine, en grande partie francophone.
10Face à cette difficulté, l’AERES a décidé, dès 2007, de proposer son propre classement et a mis en place des commissions par grandes disciplines comprenant des représentants des instances d’évaluation des personnels et des personnalités qualifiées. Ces commissions étaient chargées de déterminer non seulement le périmètre des revues scientifiques de la discipline, mais aussi, à l’intérieur de ce périmètre, le classement de ces revues en fonction d’un ensemble de critères prenant en compte leur mode de diffusion, la présentation matérielle de la publication, la politique éditoriale (notamment le mode de sélection) et la notoriété. Il était prévu que ces commissions se réuniraient tous les ans pour actualiser les listes de revues ainsi constituées.
11Les résultats obtenus au terme de cette initiative n’ont pas été pleinement satisfaisants. Certaines disciplines, comme l’économie, ont simplement adopté des listes constituées par d’autres instances (en reprenant grosso modo la liste établie par la section 37 du CoNRS). D’autres disciplines, comme le droit, ont constitué leur propre liste, à partir de critères empiriques de notoriété, fixés par les autorités représentatives des disciplines juridiques (présidents des sections 01, 02,03 du CNU, président de la section 36 du CoNRS, président du conseil national du droit, président de la conférence des doyens des facultés de droit, etc.). D’autres disciplines encore ont établi des listes en fonction d’indicateurs, sans que ceux-ci soient unifiés pour l’ensemble des SHS.
12Pour la philosophie, par exemple, quatre critères ont été utilisés : 1) publication comportant principalement des articles de recherche en philosophie ; 2) présence effective d’un comité scientifique et d’un comité de lecture distincts et comportant des chercheurs de la communauté internationale ; 3) lecture des articles proposés à la revue en « double aveugle » (y compris pour les « dossiers » avec contributions commandées) ; 4) sélectivité. Pour les sciences de l’information et de la communication, ce ne sont pas moins de sept critères qui ont permis d’établir la liste : 1) existence d’un comité de rédaction ouvert (représentativité des membres, non concentration sur un seul lieu de recherche, appel à des collègues étrangers) ; 2) sélection rigoureuse des articles (relecture croisée, en aveugle, commentaires critiques pouvant aboutir à des demandes de réécriture ou des refus) ; 3) ouverture internationale (présence d’auteurs étrangers, résumé en langue étrangère) ; 4) origine institutionnelle de la rédaction (association scientifique, laboratoires et équipes de recherche reconnues, soutien d’une maison d’édition reconnue) ; 5) exigences internes de publication (régularité annuelle des parutions, nombre minimal d’articles parus, part limitée d’auto-publication des membres de la rédaction, taille moyenne des articles significative) ; 6) liens institutionnels et scientifiques avérés avec la discipline (origine disciplinaire des auteurs, problématiques soulevées, contribution aux débats de la discipline, apports à la diffusion des savoirs par l’existence de notes de lecture) ; 7) indexation dans les grandes banques de données documentaires internationales (Francis, ISI, etc.).
13À ces disparités de méthode se sont ajoutées des différences notables dans la nature des listes obtenues. Certains secteurs disciplinaires (droit, sciences de l’éducation, sociologie-démographie, philosophie, arts, histoire-histoire de l’art-archéologie, etc.) ont limité leur travail à l’établissement d’un périmètre scientifique. D’autres disciplines (psychologie, STAPS par exemple) ont établi un périmètre scientifique et se sont engagées de surcroît dans la voie du « ranking », en procédant à un classement. La psychologie a ainsi adopté une échelle à 5 niveaux : modéré, assez bon, bon, très bon, excellent. En STAPS, on est passé d’une échelle à deux niveaux (A+ et A) à une reconfiguration qui ne prend en compte que les revues dites « de rang A », parmi lesquelles on distingue désormais trois niveaux (1, 2, 3), en fonction de la qualité scientifique et du rayonnement.
14Enfin, un dernier groupe de disciplines (la langue et la littérature française, la littérature comparée, les langues et littératures anciennes, les langues, littératures et civilisations étrangères) a refusé d’établir des listes en vue d’une évaluation bibliométrique, considérant que cette approche n’étant pas pertinente.
- 8 Voir sur le site de l’Agence le document intitulé Critères d’évaluation des entités de recherche : (...)
15Mesurant les limites de ces listes de revues, l’AERES, à partir de 2010, a entrepris de les reconstituer sur la base d’une méthodologie commune et des critères de caractérisation des supports éditoriaux exposés dans son référentiel de l’évaluation8. En outre, l’agence s’est efforcée de mieux définir ce qu’il convient d’entendre par ouvrage scientifique. Par-delà un premier mode de caractérisation prenant en compte le support (l’éditeur de l’ouvrage, la série, la collection scientifique), elle a retenu deux principaux éléments de caractérisation.
16Le premier, qui ressortit au type de signature, permet de distinguer 1) les ouvrages constituant un texte unique et homogène signés en nom propre ; 2) les ouvrages constituant un texte unique et homogène signé par plusieurs auteurs ; 3) les ouvrages collectifs réunissant des notices, des études, des chapitres signés par des auteurs différents, sous la direction d’un ou plusieurs éditeur(s) scientifique(s) ; 4) les ouvrages collectifs réunissant des notices, des études, des chapitres signés par des auteurs différents, sans éditeur scientifique identifiable.
17Le deuxième élément de caractérisation relève du type de démarche relativement à son objet. Il permet d’établir une différence entre, d’une part, les ouvrages présentant les résultats d’une recherche personnelle originale sur une question ou sur une thématique et, d’autre part, les ouvrages faisant la synthèse d’autres travaux scientifiques pour présenter l’état d’une question ou d’un thème de recherche. Ces ouvrages de synthèse, qui ont souvent une finalité pédagogique, se distinguent des ouvrages de vulgarisation, qui sont la simple valorisation d’une recherche antérieure (la sienne ou celle d’autres chercheurs), en ce que la synthèse qu’ils proposent suppose une plus-value scientifique et une recherche propre supplémentaire.
18Dans tous les cas, une place à part a été réservée à l’édition scientifique des actes de colloques et des ouvrages collectifs. Parmi les ouvrages réunissant les textes issus de communications ou de conférences prononcées à l’occasion de colloques, de congrès, de séminaires ou de symposiums, l’AERES, dans un contexte où ce type d’ouvrages prolifère, a décidé de ne considérer comme des ouvrages de recherche que les publications ayant donné lieu à un travail d’édition scientifique caractérisé par 1) un appareil critique lisible, rationalisé (notes et références bibliographiques…) pour l’ensemble de l’ouvrage ; la présence d’outils de consultation (index des noms, index des œuvres, index thématique, glossaire, etc.) ; 2) une élaboration disciplinaire et/ou interdisciplinaire approfondie, identifiable dans la présentation générale ; 3) la mise en cohérence de la structure de l’ouvrage avec cette problématique ; 4) la sélection des contributions en fonction de leur pertinence par rapport au sujet ; 5) le travail réalisé sur chacune d’elles pour veiller à la qualité scientifique.
- 9 Voir Du bon usage de la bibliométrie pour l’évaluation individuelle des chercheurs, Académie des sc (...)
19Plus généralement, l’AERES a considéré que ce travail d’édition scientifique était la condition minimale permettant aussi de considérer les autres ouvrages réunissant des textes de différents auteurs comme des ouvrages de recherche. Il faut souligner ici que ce travail de caractérisation des publications scientifiques n’a pas eu pour objectif de favoriser l’évaluation quantitative de la production scientifique des unités de recherche, ni de privilégier la bibliométrie. Se fondant sur le rapport de l’Académie des sciences publié en 20119, l’AERES a cherché à définir une politique mesurée dans ses pratiques bibliométriques. Ainsi, l’approche bibliométrique n’est-elle pas proscrite, mais son emploi est limité. Elle est utilisée seulement pour l’évaluation des groupes de chercheurs à partir d’un seuil critique fixé à un minimum de 30 personnes. Les résultats dans un domaine sont toujours référés aux valeurs moyennes et aux 10% supérieurs dans un domaine scientifique proche. Les experts sont invités à prêter attention aux biais qui peuvent fausser les résultats bibliométriques (absence de prise en compte du nombre de co-auteurs, de la position du signataire, etc.), les données bibliométriques devant toujours être interprétées seulement par les pairs, qui connaissent bien leur milieu d’origine et sont au fait de ses pratiques. Pour l’AERES, les indicateurs bibliométriques non seulement doivent être contextualisés et interprétés, mais ils ne doivent pas remplacer la lecture des productions qui seule permet d’en apprécier pleinement la qualité scientifique.
20Une autre évolution méthodologique décidée en 2011 a consisté pour l’AERES à abandonner le calcul du taux de produisants. Trois principales raisons ont motivé cette décision. L’Agence a d’abord considéré que le calcul de ce taux l’avait conduite aux limites de l’exercice de sa mission, puisque celui-ci était établi sur la base d’une fiche individuelle dans laquelle chaque enseignant-chercheur ou chercheur d’une unité de recherche dressait la liste de sa production scientifique pour la période évaluée. Or l’AERES, on l’a dit, n’a pas reçu pour mission l’évaluation des individus.
21L’agence, en outre, a pris en considération le fait que le calcul du « taux de produisants », dans sa logique négative, était parfois jugé vexatoire par les communautés évaluées. Elle a surtout considéré que cet indicateur avait subi une certaine usure, les directeurs d’unité ayant acquis au fil des années la capacité de l’orienter artificiellement. Parmi les biais identifiés par l’AERES, on retiendra l’exclusion des non-produisants qui n’étaient plus comptés dans le potentiel des équipes de recherche et devenaient des « électrons libres » dans leur établissement de tutelle, ou encore les co-signatures de complaisance qui permettaient à des non-produisants d’être comptabilisés parmi les produisants en signant des articles auxquels ils avaient contribué à la marge.
- 10 Professeurs agrégés mis à disposition de l’enseignement supérieur (PRAG), ingénieurs d’étude, ingén (...)
22Enfin, l’AERES a tiré les conséquences des retours d’expérience qu’elle a organisés. Ceux-ci ont révélé que le taux de produisants était un indicateur manquant de pertinence et de fiabilité : il est apparu qu’il était rigide et simplificateur au vu de la diversité des activités de recherche, qu’il ne reflétait pas la réalité de la capacité de production d’un laboratoire en excluant de son décompte certains types de personnels10, qu’il s’appuyait sur une appréciation trop variable de la production scientifique, notamment du fait de l’hétérogénéité de la notion de « publication de rang A » qui lui était associée et de l’absence d’harmonisation entre les disciplines.
23L’AERES a donc décidé de faire évoluer sa méthodologie d’évaluation en substituant aux produisants la notion de produits de la recherche. La notion couvre l’ensemble des résultats dont peut se prévaloir une unité de recherche. Plus précisément, elle concerne les connaissances produites et transmises sur différents types de supports (publications, logiciels, modèles, innovations technologiques…) dans le monde académique, mais aussi toutes les réalisations résultant des interactions de l’unité de recherche avec les acteurs socio-économiques, les acteurs publics, les étudiants, voire l’ensemble de la société.
24Depuis 2011, l’AERES a ainsi établi une nomenclature des produits qui peuvent être pris en compte pour l’évaluation des unités de recherche. Les premiers produits, issus du monde académique, sont répartis en trois ensembles : 1) les connaissances fondamentales (articles dans des revues à comité de lecture, ouvrages scientifiques, chapitres d’ouvrages, conférences invitées, etc.) ; 2) les partenariats scientifiques : organisation de congrès, participation à des comités éditoriaux de revues scientifiques, directions d’ouvrages, conception et coordination de projets internationaux ; 3) le développement de grands instruments pour la recherche : plates-formes technologiques, centres de ressources, dispositifs d’observation et d’expérimentation, bases de données, logiciels, modélisations, etc.
25Un deuxième type de produits est lié aux interactions avec le monde socio-économique. L’AERES répertorie dans ce cas trois autres ensembles de produits, qui peuvent être déclinés en fonction de deux groupes de destinataires (les acteurs publics, les acteurs socio-économiques du secteur privé). Elle distingue ainsi les partenariats avec ces acteurs ; les connaissances opérationnelles et les produits qui leur sont destinés ; les expertises et les études qu’ils ont commanditées.
26Un troisième ensemble est formé par les produits des interactions avec les étudiants. Parmi ces produits, l’AERES retient les thèses dirigées et conduites à soutenance ; les habilitations à diriger des recherches parrainées ; les responsabilités exercées dans la conception et l’organisation de cursus d’enseignement supérieur ; les séminaires de recherche de niveau Master ou Doctorat ; les ouvrages pédagogiques.
27Un dernier ensemble réunit enfin les produits des interactions avec l’ensemble de la société. L’AERES range dans cet ensemble la veille sociétale (études faites en amont de la programmation scientifique, qu’elles
débouchent ou non sur des programmes de recherche) ; les analyses de la demande sociétale, les analyses de besoins industriels, les études de marchés, les analyses prospectives ; la diffusion de la culture scientifique et technique ; les documents et les produits de communication destinés au grand public ; les manifestations, les conférences, les débats, les interviews ; la formation d’enseignants du secondaire.
28On le voit, le parti pris par l’AERES est de prendre en considération, autant que possible, l’ensemble des activités relevant des missions des enseignants-chercheurs et des chercheurs. Sa politique vise aussi à privilégier la dimension qualitative de l’évaluation. C’est pourquoi, dans le dossier d’évaluation renseigné par les unités de recherche, elle demande aux responsables de ces unités de dégager de leur production un nombre limité de « faits marquants », qui constituent le meilleur de leurs réalisations au cours de la période évaluée. Les unités de recherche sont invitées à joindre tous les documents permettant aux experts de prendre connaissance sur le fond de ces faits marquants (qui sont souvent une publication phare). Il est également demandé aux unités et à leurs responsables d’expliquer en détail en quoi un fait marquant a effectivement marqué la vie de l’unité : rupture épistémologique, avancée théorique, innovation méthodologique ou technologique, impact sociétal, effet structurant sur l’organisation de l’unité, etc. Ces faits marquants permettent ainsi d’engager un dialogue avec les experts, qui touche à la qualité scientifique des réalisations et des produits de l’unité.
29Il est encore trop tôt pour faire un bilan de l’apport de l’AERES à l’évaluation des productions scientifiques en France et plus globalement à l’évaluation des unités de recherche. Ce bilan comporte à coup sûr des réussites et des demi-succès, voire des échecs, et surtout un ensemble de chantiers laissés inachevés. Une tentation française, lorsqu’une institution succède à une autre, quel que soit le secteur d’activités, est de faire table rase du passé et de reprendre la question ex nihilo. Fâcheuse tendance qui a pour conséquence une incapacité à capitaliser sur l’expérience acquise, dont résultent souvent une perte de temps et une dépense d’énergie inutile. Il faut souhaiter que les responsables du Haut Conseil sachent éviter cet écueil en se livrant à une évaluation équitable du travail de leurs prédécesseurs.
Notes
1 P. Glaudes est directeur de la section des unités de recherche à l’Agence d’évaluation de la recherche et de l’enseignement supérieur et professeur de littérature française.
2 Loi sur l’enseignement supérieur et la recherche du 22 juillet 2013.
3 Sur les différents critères d’évaluation utilisés par l’AERES, seul le dernier porte sur le projet, les perspectives scientifiques.
4 Sur une échelle à quatre degrés : A+, A, B et C.
5 De 2007 à 2010, l’AERES a utilisé quatre critères d’évaluation : 1) production scientifique ;
2) rayonnement et attractivité ; 3) gouvernance et vie de l’unité ; 4) projet.
6 Depuis 2010, les six critères d’évaluation employés par l’AERES sont : 1) production et qualité scientifique ; 2) rayonnement et attractivité académiques ; 3) interactions avec l’environnement social, économique et culturel ; 4) organisation et vie de l’unité ; 5) implication dans la formation par la recherche ; 6) perspectives scientifiques à cinq ans.
7 Voir les instruments bibliométriques fournis par Web of Science, Scopus, etc.
8 Voir sur le site de l’Agence le document intitulé Critères d’évaluation des entités de recherche : le référentiel de l’AERES (<http://www.aeres-evaluation.fr/content/download/17661/-271795/-file/Référentiel AERES-Entités de Recherche.pdf>).
9 Voir Du bon usage de la bibliométrie pour l’évaluation individuelle des chercheurs, Académie des sciences, janvier 2011 (<http://www.academie-sciences.fr/activite/rapport/avis170111.pdf>).
10 Professeurs agrégés mis à disposition de l’enseignement supérieur (PRAG), ingénieurs d’étude, ingénieurs de recherche ayant une activité de production scientifique.
Haut de pagePour citer cet article
Référence papier
Pierre Glaudes, « L’évaluation de la production scientifique en France par l’Agence d’évaluation de la recherche et de l’enseignement supérieur », Mélanges de la Casa de Velázquez, 44-2 | 2014, 293-300.
Référence électronique
Pierre Glaudes, « L’évaluation de la production scientifique en France par l’Agence d’évaluation de la recherche et de l’enseignement supérieur », Mélanges de la Casa de Velázquez [En ligne], 44-2 | 2014, mis en ligne le 01 janvier 2018, consulté le 07 décembre 2023. URL : http://journals.openedition.org/mcv/5858 ; DOI : https://doi.org/10.4000/mcv.5858
Haut de pageDroits d’auteur
Le texte seul est utilisable sous licence CC BY-NC-ND 4.0. Les autres éléments (illustrations, fichiers annexes importés) sont « Tous droits réservés », sauf mention contraire.
Haut de page