L’impact de l’évaluation des publications sur la recherche dans les pays germanophones (Allemagne, Autriche, Suisse)
Plan
Haut de pageTexte intégral
- 1 M. Kintzinger est professeur d’histoire du Moyen Âge à l’université de Münster (Allemagne), Présid (...)
1Toute publication scientifique résulte d’un discours entre experts1. Elle propose une évaluation manifestant l’intérêt et l’ouverture d’esprit, mais qui se veut aussi objective et critique, exprimée dans le cadre du discours de la discipline. Ces appréciations doivent être comprises comme une évaluation de la publication donnée.
L’évaluation en tant que processus, une tentative de définition
2L’évaluation assure d’abord que le niveau requis de connaissances scientifiques a été atteint dans un domaine particulier. Elle garantit ensuite, dans le cadre du consensus des participants à la communication des résultats de la recherche, que la stratégie d’argumentation commune est maintenue. Elle contribue enfin au maintien et à la poursuite de la communication technique et publique sur la science. L’évaluation est donc nécessairement un processus. Elle a comme objectif l’acceptation et le respect des normes méthodologiques du travail scientifique et contribue ainsi à garantir la qualité de la recherche.
- 2 Voir : Falk Brettschneider, Bernd Klesmann, Rahul Markovits, « Les structures de la recherche histo (...)
- 3 Vorschläge zur Sicherung guter wissenschaftlicher Praxis. Denkschrift. Empfehlungen der Kommission (...)
3On constate au sein de la communauté scientifique des historiens germanophones (Allemagne, Autriche, Suisse) un entendement commun de l’évaluation. Ce consensus constitue la base commune des diverses méthodes formelles de la conduite des évaluations2. Les critères de notation pour l’évaluation des contributions résultent des exigences faisant consensus au sein de la communauté scientifique en question et propres à un travail conduit avec méthode et scientifiquement correct, ainsi que des normes de respectabilité scientifique et de responsabilité éthique. Les principes de la « sauvegarde des bonnes pratiques scientifiques » formulés pour la première fois en 1998 et plus récemment en 2002 par la Deutsche Forschungsgemeinschaft (DFG), constituent la tentative, qui fait autorité, de formulation des normes à respecter dans la présentation des résultats de la recherche et de leur évaluation3. Ces principes comprennent toutes les formes principales de travail scientifique, de publication et d’évaluation et ont vocation à s’appliquer à toutes les matières et disciplines scientifiques. Beaucoup d’universités allemandes ont intégré les recommandations de la DFG dans leurs statuts.
4Dans la pratique de l’évaluation, le respect et l’application de ces principes s’effectuent d’une manière anticipative dans la mesure où ils font partie intégrante de la formation professionnelle des jeunes scientifiques et sont recommandés dans la conception de projets de recherche et pour la présentation de demandes individuelles ou collectives de fonds de recherche. Avant tout, ces principes sont appliqués aux évaluations basées sur les résultats (empiriques). Ils se réfèrent à l’exactitude formelle de la méthode et de la systématique scientifique et comprennent le principe de vérifiabilité empirique des résultats de recherche ainsi que leur cohérence logique. L’évaluation des publications scientifiques exige également le respect continu des normes méthodologiques, de l’état actuel des connaissances et du discours actuel prévalant dans la discipline et dans le domaine auxquels appartient la publication à évaluer. L’apport de la publication pour la recherche fait également partie des critères d’évaluation. Par conséquent, les évaluateurs doivent nécessairement être eux-mêmes membres de la discipline et, si possible, reconnus comme experts du sujet en question.
- 4 Voir la Deutsche Gesellschaft für Evaluation (DeGEval) : <http://www.degeval.de/nc/home/ ; la Schwe (...)
5Un accord sur l’adoption de l’une des théories existantes de l’évaluation en sciences sociales et économiques n’a pas eu lieu dans la recherche historique allemande et, pour les sciences humaines et culturelles, ce sont les normes méthodologiques du travail scientifique mentionnées ci-dessus qui font office de critères d’évaluation4.
- 5 « Empfehlungen zur Bewertung und Steuerung von Forschungsleistungen », document téléchargeable sur (...)
- 6 « Institutionellen Perspektiven der empirischen Wissenschafts- und Hochschulforschung in Deutschlan (...)
6Pour l’évaluation institutionnelle des universités et institutions de recherche, qui inclut également une validation des résultats de recherche et une recommandation pour leur développement, le Conseil scientifique (Wissenschaftsrat) a nommé son propre comité d’évaluation, qui a adopté en 2011 des « Recommandations pour l’évaluation et la gestion des activités de recherche5 ». En 2014, le Conseil scientifique a pris position sur « les perspectives institutionnelles de la recherche empirique scientifique et universitaire en Allemagne6 ». Les recommandations du Conseil scientifique étant reconnues comme critères de qualité de la performance de la recherche par les responsables politiques allemands, elles influent sur la prise de décisions politiques appliquées aux institutions de recherche, concernant leur structure, qu’il s’agisse de la maintenir, de la modifier ou, dans les cas extrêmes, de fermer les institutions.
7Dans le cadre de leur programme de soutien aux centres de recherche en sciences humaines, des institutions de droit public telles que la Communauté Leibniz ou la Fondation Max-Weber, ont adopté la conduite régulière d’évaluation par comité scientifique dans leurs statuts. Des institutions majeures de la recherche individuelle, telle que la Fondation Gerda Henkel, prévoient dans leurs lignes directrices l’évaluation de chaque demande selon un processus d’examen par comité scientifique. La DFG soumet les demandes de validation et de renouvellement de projets de recherche à un processus d’évaluation. Ce dernier applique des procédures écrites et des examens oraux individuels en fonction de la forme et du volume de la demande de subvention. Ce faisant, les évaluations anticipées des propositions de projets et les évaluations empiriques des résultats de recherche se complètent.
8Toute publication scientifique est, d’une part, soumise à une évaluation spontanée et factuelle par sa réception critique au sein du discours disciplinaire à travers des commentaires et réactions, mentions et comptes rendus présentés dans d’autres publications. La publication de leur bibliographie sur les sites internet personnels des auteurs et leurs profils dans les annuaires des établissements scientifiques auxquels ils appartiennent attirent aujourd’hui l’attention du public sur leurs travaux et deviennent sujets de discussion.
9D’autre part, une publication scientifique est périodiquement soumise à des évaluations formalisées conduites par les institutions de recherche auxquelles l’auteur appartient. Quant à la recherche autonome des professeurs d’université, les publications peuvent être directement validées par des évaluations menées dans le cadre des accords sur les objectifs passés avec l’administration de l’université ou les ministères responsables des Länder. En même temps, et surtout, les publications sont soumises aux procédures d’évaluation dans le cadre d’une demande ou de la confirmation de fonds de recherche, ou dans le cadre d’un processus d’examen institutionnel de collaborations de recherche, où les auteurs sont impliqués en tant que professeurs et chercheurs universitaires.
Les évaluateurs en tant que participants, les méthodes et procédures d’évaluation
10Des réflexions concernant non seulement la logique philologique et factuelle de l’argumentaire mais aussi la performance jouent un rôle crucial comme critère à la fois dans la réalisation d’une publication ainsi que dans leur estimation et validation. Cela comprend, au-delà des arguments techniques, une conception linguistique et stylistique appropriée et claire des sujets présentés ainsi que l’utilisation d’exemples explicatifs ou d’images illustratives.
11La différence entre les publics (communauté scientifique limitée ou grand public) auxquels l’auteur d’une publication s’adresse, et l’outil de communication correspondant utilisé est mise en évidence dans la perception et l’évaluation critique des transgressions de frontières scientifiques. Ce qui peut ou doit être considéré comme un raisonnement scientifique peut être un argument à chaque évaluation.
12Pour les sciences humaines allemandes, le processus d’examen par comité scientifique au sein des équipes de la rédaction de revues scientifiques et des collections d’essais n’a été un sujet de discussion qu’après le tournant du millénaire, mais jusqu’à présent, il n’a été formellement introduit que dans des cas exceptionnels (journal Francia). Contrairement aux sciences naturelles, dans les sciences humaines et ici dans la science allemande, il existe toujours, bien plus que dans les cultures scientifiques anglaise ou française, une réticence partielle à utiliser cet outil d’évaluation. Cette réserve ne réside pas seulement dans un traditionalisme propre à la discipline, mais également dans l’idée que l’évaluation et la validation des résultats de la recherche font toujours partie intégrante de la communication scientifique. Cette croyance est fondée, mais elle empêche une plus grande indépendance du processus et une amélioration de la transparence et de la comparabilité procurées par l’examen par comité scientifique.
13Cette constatation n’est évidemment valide que lorsque les évaluateurs menant les procédures d’évaluation sont rigoureusement sélectionnés en fonction de leurs compétences et de leur indépendance afin d’éviter tout conflit d’intérêt. Pour cela, les normes établies de longue date par la DFG posent des principes dans la sélection des experts, semblable à ceux du Fonds national suisse et le Fonds autrichien pour la recherche scientifique. Les nombreuses années de coopération étroite entre la DFG et l’Agence nationale de la recherche dans le cadre des comités consultatifs mixtes, ainsi que les nombreuses collaborations entre des institutions de recherche françaises et allemandes, montrent que ces normes exigeantes font l’objet d’un consensus international et sont fonctionnelles et utilisables au service d’une évaluation efficace, transparente et équitable des projets de recherche et des résultats de recherche nationaux comme internationaux, mono- comme transdisciplinaires.
14Bien entendu, l’examen par comité scientifique exige une égalité théorique entre l’expert et le candidat. Dans les institutions mentionnées, telle que la DFG, les experts (Fachkollegiaten, membres d’une commission d’experts d’une discipline) sont choisis pour quatre ans par l’ensemble des représentants des disciplines par le biais d’un processus électoral libre. Les examinateurs en charge de chaque demande individuelle sont également évaluateurs des demandes de leurs pairs. Ils sont eux-mêmes évalués par leurs collègues à l’occasion d’une demande de fonds de leur part. Chaque demande individuelle ou collective est dirigée au sein de la DFG par une séquence précise d’étapes de contrôle afin d’assurer le plus haut degré de transparence et de neutralité. Ce fait est essentiel pour l’acceptation générale du processus d’examen par les pairs de la DFG et l’évaluation des projets de recherche réalisés.
15La connaissance par les évaluateurs de la langue de rédaction des demandes est nécessaire au bon fonctionnement de ces méthodes d’évaluation. Néanmoins, il est sans rapport et sans utilité d’exiger des demandes formulées en anglais, comme cela a pu être observé pour des demandeurs français ou allemands, de sorte que des experts anglophones, sans connaissance du français ou de l’allemand soient nécessaires. En France en particulier, les chercheurs en sciences humaines mettent l’accent sur le fait d’une part de pouvoir s’exprimer et communiquer sur des sujets scientifiques dans d’autres langues européennes, en particulier en anglais (de même, en allemand, espagnol ou italien en fonction de l’aire géographique de leurs travaux) et, d’autre part, de conserver la valeur propre du français comme langage scientifique. Actuellement, en Allemagne, un processus de discussion similaire vient de s’engager.
16En raison de leur rôle, les membres de comités scientifiques évaluent la validité technique et performative des publications, ils comprennent idéalement leur mission en tant que soutien du discours disciplinaire et promeuvent ainsi les scientifiques participants. La décision d’accepter ou de rejeter un article pour publication est prise par l’éditeur. Les appréciations des évaluateurs sont considérées comme des avis informatifs d’experts qui soutiennent l’éditeur dans sa prise de décision.
17Contrairement aux sciences naturelles, et en partie aux sciences historiques anglaises et françaises, dans l’évaluation des sciences historiques allemandes, l’utilisation de classements avec la plus haute note, A, est pratiquée irrégulièrement. En Suisse, et en partie en Autriche, un tel processus est plus fréquent qu’en Allemagne, où cependant le classement a été récemment admis par la DFG. Le résultat d’une évaluation comparative est en règle générale formulé en deux étapes ; d’abord par le biais d’expertises descriptives basées sur le critère de conformité avec les normes méthodologiques spécifiques à la discipline concernée, et ensuite par un classement où le meilleur se voit attribuer la première place. Une classification grossière selon les attributions de pourcentage pour exprimer une « meilleure sélection » n’est généralement pas utilisée en raison de l’absence de possibilité de justification et de différenciation.
18Contrairement aux sciences naturelles, l’utilisation d’indices de citation ne se prête pas à l’évaluation dans les sciences humaines en raison des pratiques méthodologiques des disciplines. En effet, les évaluations qualitatives y sont préférées et la mise en indice purement quantitative est rejetée.
19Dans les sciences historiques allemandes, la performance d’une évaluation efficace, transparente et apportant un avis compétent de qualité argumentative des publications scientifiques par des experts professionnels qualifiés, est de plus en plus appréciée. Le processus d’évaluation réglementé et visant un objectif anticipatif ou empirique est bien compris et systématiquement utilisé comme un instrument approprié afin de garantir le maintien de la qualité de la recherche ainsi que dans le cadre des coopérations internationales, aussi bien pour la recherche individuelle que collective.
Notes
1 M. Kintzinger est professeur d’histoire du Moyen Âge à l’université de Münster (Allemagne), Président du conseil scientifique de l’Institut Historique Allemand à Paris depuis 2011 et membre de la commission des experts pour l’Histoire à la Deutsche Forschungsgemeinschaft depuis 2007.
2 Voir : Falk Brettschneider, Bernd Klesmann, Rahul Markovits, « Les structures de la recherche historique en Allemagne: universités, instituts de recherche extra-universitaires et associations », dans Falk Bretschneider et Mareike König (dir.), Faire de l’histoire en Allemagne. Un guide pour les jeunes chercheurs français, <http://www.perspectivia.net/content/publikationen/scholar-guide/histoire-en-allemagne/bretschneider-klesmann-markovits_structures>, 2011 ; Steffen Blaga, Uschi Backes-Gellner (éd.), Ökonomie der Evaluation an Schulen und Hochschulen. Schriften des Vereins für Socialpolitik, Gesellschaft für Wirtschafts- und Sozialwissenschafen, Berlin, Duncker und Humblot, 2004, vol. 302; Ulrich Teichler, Hans-Dieter Daniel, Jürgen Enders (éd.), Brennpunkt Hochschule. Neuere Analysen zu Hochschule, Beruf und Gesellschaft, Frankfurt a. M. – New York, Campus, 1998.
3 Vorschläge zur Sicherung guter wissenschaftlicher Praxis. Denkschrift. Empfehlungen der Kommission «Selbstkontrolle in der Wissenschaft», Weinheim, Deutsche Forschungsgemeinschaft, 1988/2002 (<http://www.dfg.de/sites/flipbook/gwp/ - /6/>). Adresse Internet du site de DFG: <http://www.dfg.de/foerderung/grundlagen_rahmenbedingungen/gwp/>.
4 Voir la Deutsche Gesellschaft für Evaluation (DeGEval) : <http://www.degeval.de/nc/home/> ; la Schweizerische Evaluationsgesellschaft (Seval) : <http://www.seval.ch/de/index.cfm> ; et l’Agence de l’evaluation de la recherche et de l’enseignement supérieur (Société française de l’évaluation) : <http://www.sfe-asso.fr>.
5 « Empfehlungen zur Bewertung und Steuerung von Forschungsleistungen », document téléchargeable sur : <http://www.wissenschaftsrat.de/download/archiv/1656-11.pdf>. Adresse Internet du site du Wissenschaftsrat : <http://www.wissenschaftsrat.de/arbeitsbereiche-arbeitsprogramm/evaluation.html>.
6 « Institutionellen Perspektiven der empirischen Wissenschafts- und Hochschulforschung in Deutschland », document téléchargeable sur : <http://www.wissenschaftsrat.de/download/archiv/3821-14.pdf>. Voir Thomas Widmer, Wolfgang Beywl, Carlo Fabian (éd.), Evaluation. Ein systematisches Handbuch, Wiesbaden, Verlag für Sozialwissenschaften, 2009.
Haut de pagePour citer cet article
Référence papier
Martin Kintzinger, « L’impact de l’évaluation des publications sur la recherche dans les pays germanophones (Allemagne, Autriche, Suisse) », Mélanges de la Casa de Velázquez, 44-2 | 2014, 301-306.
Référence électronique
Martin Kintzinger, « L’impact de l’évaluation des publications sur la recherche dans les pays germanophones (Allemagne, Autriche, Suisse) », Mélanges de la Casa de Velázquez [En ligne], 44-2 | 2014, mis en ligne le 01 janvier 2018, consulté le 09 novembre 2024. URL : http://journals.openedition.org/mcv/5860 ; DOI : https://doi.org/10.4000/mcv.5860
Haut de pageDroits d’auteur
Le texte seul est utilisable sous licence CC BY-NC-ND 4.0. Les autres éléments (illustrations, fichiers annexes importés) sont « Tous droits réservés », sauf mention contraire.
Haut de page