Le projet de classement européen des établissements d’enseignement supérieur U-Multirank
Résumés
Les classements internationaux des établissements d’enseignement supérieur se sont multipliés au cours des dix dernières années, car ils répondent de manière simple et intuitive aux besoins d’information « panoramique » de multiples publics et sont très médiatisés. Ces classements, généralement coûteux à établir, sont eux-mêmes en concurrence pour s’imposer comme une norme (implicite) de référence pour tous les établissements de la planète. Dans ce contexte, une nouvelle génération de classements émerge. Ils évitent la mise en place de rangs de classement et privilégient l’accès à de nombreux critères d’appréciation, qualitatifs et quantitatifs, laissés à la discrétion de l’utilisateur. Financé par la Commission européenne, U Multirank limite la possibilité de comparer entre eux des établissements n’ayant pas les mêmes missions et caractéristiques, et explicite les informations jugées significatives par les utilisateurs pour connaître et apprécier les établissements du monde entier dans leur diversité.
Entrées d’index
Mots-clés :
classement de Shanghai, classement international, critère d’évaluation, établissement d’enseignement, évaluation, performance, recherche, système éducatif, universitéGéographique :
EuropePlan
Haut de pageTexte intégral
1La mise en place de systèmes de recueil systématique d’informations quantitatives sur les établissements d’enseignement s’est développée dans de nombreux pays, jusqu’aux années quatre-vingt-dix, en réponse à deux types de besoin.
- 1 Activité qui permet de comparer la performance d’institution ou de systèmes à des fins d’orientatio (...)
2Tout d’abord, celui des bailleurs de fond (ministères et agences de financement), qui souhaitent objectiver leurs décisions en comparant les résultats obtenus par les établissements financés. En ce cas, les producteurs de classement sont souvent des universitaires, ou les financeurs eux-mêmes. En France, on a pu observer les efforts permanents du ministère de l’éducation nationale pour améliorer ces outils de benchmarking1, par exemple en mettant en place, à côté des indicateurs de pourcentages de réussite aux examens, des indicateurs de « valeur ajoutée » prenant en compte l’hétérogénéité des élèves dans l’évaluation des lycées et collèges publiée chaque année.
3Le second besoin vient du public, qui souhaite des outils simples pour s’orienter entre de nombreux établissements qu’il connaît mal et ne sait pas évaluer. Ce besoin est grand dans les pays où l’enseignement supérieur est constitué comme un « marché national » relativement ouvert, tel que l’on peut choisir l’établissement dans lequel on va essayer d’être admis. En ce cas, les promoteurs de ces classements sont souvent des journaux, répondant à une forte demande de lecteurs qui considèrent l’éducation et la formation comme des valeurs essentielles et des outils de promotion professionnelle. En France, des magazines établissent ainsi depuis longtemps des palmarès des écoles de commerce, en sophistiquant toujours plus la richesse des informations collectées.
4En 2003, l’Institute for Higher Education de l’université Jiao Tong de Shanghai a produit le premier « classement des universités » à visée mondiale. Destiné à renseigner les décideurs chinois sur la distance séparant les meilleurs établissements chinois de « l’élite mondiale des établissements d’enseignement supérieur », ce classement a eu un grand retentissement car il a mis en évidence la possibilité de comparer entre eux les établissements du monde entier pour construire non seulement une hiérarchie entre ces établissements, mais aussi entre les pays qui les abritent.
5Ce premier « palmarès des universités de classe internationale » a été rapidement contesté en raison de ses faiblesses méthodologiques et parce qu’il proposait une hiérarchie planétaire basée uniquement sur des performances de recherche, se référant ainsi implicitement au modèle culturel américain des universités. Or les universités sont des institutions dont la mission première d’enseignement est structurée par des valeurs culturelles encore très différenciées selon les pays.
6Depuis cette date cependant, les initiatives se sont multipliées pour des classements méthodologiquement plus solides et culturellement plus ouverts… faisant naître une concurrence croissante entre classements).
7En parallèle, la prise de conscience des conséquences économiques et culturelles d’outils qui établissent des hiérarchies de fait entre institutions et systèmes nationaux de recherche du monde entier a suscité le développement de multiples travaux sur leurs limites et leurs possibles améliorations, pendant que l’Unesco encourageait la mise en place d’un réseau international de professionnels se donnant pour mission de surveiller la qualité et la déontologie, l’IREG (International Observatory on Academic Ranking and Excellence)2.
8En effet, il est clair que les classements ne vont cesser de se multiplier et de se diversifier, parce qu’ils constituent des « objets-frontières » situés à la confluence de plusieurs demandes : celle des étudiants qui voudraient se projeter dans un parcours de formation à horizon international ; celle des opinions publiques, qui donnent beaucoup de prix à l’accès à l’éducation et à la connaissance et qui sont relayées dans cette exigence par les médias traditionnels et électroniques ; celle des décideurs, enfin, qui ont conscience que la culture et l’économie sont liées, au travers de systèmes de valeurs qu’il s’agit de promouvoir dans un monde ouvert.
9Cependant, la mise en place de ces classements demande des moyens importants et présente d’énormes difficultés : au niveau international, beaucoup de données sont soit manquantes soit de mauvaise qualité. Lorsqu’elles existent, elles ne sont pas facilement comparables, ni même interprétables de la même façon. De fait, et comme l’avaient vérifié les concepteurs du classement de Shanghai lorsqu’ils ont lancé ce dernier, les seules données raisonnablement « internationalisées » à notre portée sont celles qui sont directement liées à la recherche internationale !
10Parmi les initiatives récentes, on présente ici un projet expérimental récemment lancé par la Commission européenne pour établir et tester les conditions d’un classement ouvert, multicritère et paramétrable, qui permettrait aux étudiants et à tous les citoyens d’accéder à une information la plus objective et la plus complète possible sur l’ensemble des établissements d’enseignement et de recherche du monde.
U-Multirank, un projet européen de classement multidimensionnel personnalisable
- 3 Les vingt-sept pays de l’Union européenne.
- 4 Rapport OST 2008 : www.obs-ost.fr/ .
11Les classements internationaux de l’ARWU (dits de Shanghai) et, dans une moindre mesure, celui du Times, ont été un électrochoc. Les pays européens ont vite estimé que ces classements ne reflétaient pas la place scientifique réelle de leur système d’enseignement supérieur et de recherche. Ainsi, la part mondiale de production de l’ensemble des publications de l’Union européenne (UE 27)3 est de 33,3 %, contre 26,2 % pour les États-Unis4, alors que les États-Unis « placent » cinquante-cinq établissements d’enseignement supérieur dans les cent premiers du classement ARWU 2009, contre vingt-huit seulement pour l’Europe. Le contraste est encore plus fort si l’on ne considère que les cinquante premiers établissements mondiaux, puisque les chiffres passent respectivement à trente-sept établissements américains contre neuf européens. L’Europe continentale ne pèse que pour seize établissements parmi les cinquante premiers et la France, qui est au 7e rang mondial en part de publications scientifiques, voit son premier établissement classé au 40e rang mondial.
12Ainsi, le classement de Shanghai, conçu pour détecter les établissements historiquement puissants et prestigieux selon les critères du monde occidental, a contribué à mettre en évidence la taille sous-critique et souvent la pauvreté des établissements d’enseignement supérieur européens, ainsi que, dans les cas de l’Allemagne et de la France entre autres, l’existence de puissants organismes de recherche et d’écoles qui concurrencent les établissements d’enseignement supérieur.
La Conférence de Paris : une réflexion fondatrice
13En 2008, la Présidence française de l’Union européenne a été l’occasion de lancer une réflexion sur l’importance, pour l’Europe, de se positionner dans le domaine des classements : qu’attendons-nous de nos établissements d’enseignement supérieur et sur quelles performances souhaitons-nous les voir être classés par rapport à ceux du reste du monde ? Quels publics souhaitons-nous informer sur la réalité de nos établissements ?
14Suite à cette réflexion, une Conférence intitulée « Typologie et classement des établissements d’enseignement supérieur : l’approche européenne » a été organisée à Paris en novembre 2008. L’idée maîtresse en a été que la grande diversité linguistique et culturelle de l’Europe, souvent perçue comme un handicap nuisant à son attractivité, est au contraire, un véritable atout. Cette caractéristique multiculturelle permet en effet d’accéder à une énorme variété de parcours de formation – à condition d’être assumée par les établissements et repérée par les étudiants potentiels.
15Le texte de conclusion de la Conférence reflétait cette analyse : « Le développement d’un classement européen doit être fondé sur une approche comparée visant à cartographier l’excellence de l’enseignement et de la recherche ; il ne devrait pas se contenter de dresser un simple palmarès… [mais] s’articuler autour des principes suivants :
-
une approche multidimensionnelle, qui évite les biais induits par l’utilisation d’indicateurs composites ou synthétiques et qui permet à l’utilisateur de choisir la hiérarchie des critères selon lesquels il souhaite orienter sa recherche d’informations ;
-
le principe de pertinence, qui conduit à régler les informations proposées selon les besoins concrets – ici, de renseigner les étudiants et les universitaires de façon utile, par exemple en leur apportant des informations sur les domaines/disciplines et les programmes enseignés ;
-
la volonté de décrire l’ensemble des activités qui rendent compte de l’ensemble des missions confiées aux établissements d’enseignement supérieur dans la culture commune européenne : par exemple, la prise en compte de données sur l’intégration locale et régionale de chaque établissement d’enseignement supérieur, les partenariats avec d’autres établissements d’enseignement supérieur (politiques de site), l’environnement socio-économique, les conditions de scolarité et les infrastructures accessibles (hébergement…), les perspectives professionnelles ;
-
une exigence sur la qualité des données recueillies et sur leur accessibilité permanente, pour permettre les contrôles mais aussi encourager la réalisation de nouvelles études et analyses ;
-
l’indépendance de l’opérateur, garantissant que le classement n’est pas piloté par les gouvernements ou les universités mais par un organisme ou un consortium autonome ;
-
une perspective internationale, qui englobe également les établissements d’enseignement supérieur des autres régions du monde présentant un intérêt particulier.
L’appel d’offres de la Commission européenne
16À la suite de ce colloque, la direction pour l’éducation et la culture de la Commission européenne (DGEAC) a lancé, en décembre 2008, un appel d’offres pour concevoir puis tester la faisabilité, en sciences de gestion et en sciences pour l’ingénieur, d’un classement mondial qui suivrait ces principes. C’est le projet U-Multirank, présenté par le réseau Cherpa-Network, qui a été retenu.
U-Multirank
17U-Multirank est un classement multidimensionnel personnalisé, qui répond pleinement aux « principes de Berlin » édictés par l’IREG. Orienté en priorité vers les étudiants qui cherchent une information riche pour s’orienter dans l’espace mondial des établissements d’enseignement supérieur, il est paramétrable et conçu pour être consulté par d’autres publics : personnel permanent, employeurs, autorités universitaires, autorités politiques régionales ou nationales, etc.
Composition du CHERPA-Network
– Center for Higher Education Policy Studies, CHEPS, Université de Twente, Pays-Bas (co-coordinateur)
– Centrum fur Hochschulentwicklung (Centre for Higher Education Development), CHE, Allemagne (co-coordinateur)
– Centre for Science and Technology Studies, CWTS, Université de Leiden, Pays-Bas
– INCENTIM, Université Catholique de Louvain, Belgique
– Observatoire des sciences et des techniques, OST, France.
18Deux organisations sectorielles européennes sont associées au test : The European Federation of National Engineering Associations (FEANI) et The European Foun-dation for Management Development (EFMD).
19On notera que le consortium qui l’a présenté est constitué de partenaires nationaux très familiers des exercices d’évaluation quantitatifs systématiques (Pays-Bas, Allemagne et Belgique). Les travaux sur les classements, leurs limites et les voies d’amélioration vont donc être menés par des experts acculturés de longue date avec ces outils. C’est là une des caractéristiques de la situation actuelle, dans laquelle les travaux sur les classements, leurs limites et leurs possibles améliorations sont le fait d’équipes appartenant aux pays les plus familiers de ces exercices.
Les principes de U-Multirank
20Le projet U-Multirank est largement basé sur une combinaison entre :
-
- 5 Il est consultable sur le site http://ranaking.zeit.de/che10/CHE_en/ .
les travaux antérieurs du CHE, qui a développé un classement (ranking) multidimensionnel interactif, destiné principalement à l’orientation des étudiants et de leurs familles, dans lequel l’usager peut sélectionner les critères et des programmes d’études qui lui importent pour produire des classements partiels au niveau des départements scientifiques d’un établissement d’enseignement supérieur donné. Ce classement interactif et personnalisé, opérationnel depuis une dizaine d’années (sept millions de visiteurs par an), est intitulé University Ranking 5 ;
-
- 6 Ce travail, intitulé U-Map, est consultable sur le site : www.u-map.eu/.
les travaux antérieurs du CHEPS, qui a établi une classification (« typologie ») des établissements d’enseignement supérieur européens en s’inspirant de la classification Carnegie américaine, avec l’appui de la DGEAC6.
Les deux composantes de U-Multirank
21L’outil proposé permet d’accéder à deux niveaux d’analyse : le Focused Institutional Rankings et le Field Based Rankings.
Focused Institutional Rankings (FIR)
22L’exercice consiste à établir une typologie des établissements d’enseignement supérieur, pour construire une classification fondée sur leurs profils d’activité. Ces profils sont établis selon cinq dimensions :
-
enseignement et apprentissage (cette dimension inclut des indicateurs sur l’employabilité) ;
-
recherche (cette dimension inclut des indicateurs bibliométriques) ;
-
échange des connaissances (cette dimension comprend des indicateurs sur la consultance, les contrats avec les entreprises, etc.) ;
-
internationalisation (cette dimension comprend des indicateurs décrivant la mobilité internationale des étudiants et des enseignants) ;
-
insertion dans le tissu régional (cette dimension inclut les liens avec les entreprises de la région).
23Les indicateurs permettent de caractériser l’intensité de l’engagement de l’établissement d’enseignement supérieur dans le type d’activité considéré. On obtient ainsi différents « profils » d’établissement.
24On peut, à l’aide de diagrammes appropriés, caractériser les établissements de manière visuelle et distinguer ainsi visiblement des établissements à « missions » variées, comme par exemple un établissement plutôt axé sur les interactions avec le tissu économique régional, par rapport à un autre établissement résolument axé sur une recherche de niveau international.
Field Based Rankings (FBR)
25Ici, l’analyse quantitative est fondée sur les mêmes dimensions mais elle met en œuvre une autre batterie d’indicateurs, qui s’appliquent cette fois au niveau des disciplines et/ou des programmes. Combiné avec l’exercice de typologie, cette analyse permet de comparer les réalisations des départements ou les programmes d’enseignement appartenant à des établissements dont les profils sont similaires pour une, plusieurs ou l’ensemble des dimensions.
26Dans ce cas on considère en quelque sorte que, au-delà de la diversité des systèmes nationaux, c’est le niveau de l’établissement qui constitue « l’espace de référence ».
Les indicateurs proposés
27Les indicateurs destinés à décrire les FIR et les FBR dans les cinq dimensions retenues sont au nombre d’une centaine. Certains indicateurs sont évidemment communs entre les deux exercices, voire les deux niveaux d’analyse.
28À titre d’exemple, les six indicateurs relatifs à la dimension « Teaching & Learning » du FIR qui sont proposés sont les suivants :
-
dépenses relatives à la formation (fraction du budget total de l’institution allouée aux activités d’enseignement pour l’année de référence) ;
-
temps moyen pour obtenir le diplôme (temps moyen pour obtenir le diplôme, rapporté à la durée officielle du cursus ; par filière et diplôme) ;
-
pourcentage de diplomation (pourcentage d’une cohorte qui a obtenu le diplôme n années après l’entrée dans le programme) ;
-
taux relatif de non-emploi aux niveaux licence et master (taux de non-emploi de titulaires des grades de licence et master 18 mois après l’obtention du diplôme, rapporté aux données nationales) ;
-
salaires des diplômés en licence et master (rapport des salaires mensuels des diplômés dix-huit mois après l’obtention du diplôme, rapportés aux données nationales) ;
-
interdisciplinarité des programmes (pourcentage des programmes impliquant au moins deux disciplines traditionnelles).
La source des données
29L’obtention de données fiables, notamment en termes de comparabilité, est un enjeu crucial des outils comparatifs internationaux. Ici, la méthodologie envisagée est multiple. L’usage du Web of Science et de Scopus permet d’accéder aux données bibliométriques. Pour les autres données, il existe souvent des données collectées au niveau national. Des données rassemblées par les institutions elles-mêmes seront issues de réponses à des questionnaires. Les étudiants seront également interrogés par questionnaires.
La construction personnalisée du classement
30Une caractéristique fondamentale du classement proposé est qu’il sera personnalisable en ligne par l’utilisateur. Cette personnalisation mobilise trois modules interactifs :
-
une sélection des établissements d’enseignement supérieur ou des départements/programmes homogènes par rapport aux aspects qui intéressent l’utilisateur ;
-
le choix de l’approche FIR ou FBR ;
-
une sélection des indicateurs qui intéressent l’utilisateur.
31Au final, l’utilisateur a sélectionné, dans la base de données, l’ensemble des données et l’approche qui répondent à ses besoins d’information.
32Un « parcours » intuitif sera proposé : dans un premier temps, l’utilisateur sélectionne les établissements « comparables » grâce à U Map. Dans la deuxième étape, l’utilisateur fait un choix – ou non – entre les instituts/programmes. L’étape finale consiste à sélectionner des indicateurs. Il y a deux manières d’effectuer ce choix. Dans la première option, l’utilisateur a une totale liberté dans la composition de son bouquet d’indicateurs mais il préférera probablement le choix entre différents menus fixes ayant chacun sa cohérence interne, avec un « menu étudiant », un « menu établissement d’enseignement supérieur », etc. L’avantage de cette deuxième approche est la simplicité, car l’utilisateur n’aura pas à examiner une longue suite d’indicateurs ; elle lui évitera aussi de produire une multitude de classements difficiles à discriminer : le résultat étant présenté comme une répartition des établissements et des départements/programmes en trois groupes (vert/orange/rouge).
Calendrier
33Conformément aux spécifications de l’appel d’offres, le projet doit se dérouler en deux phases : une phase de conception de six mois (2009), et une phase de test d’un an (2010-2011), où la faisabilité du modèle sera mise à l’épreuve en « ingénierie » et en « business », pour cent cinquante établissements au niveau international.
34La phase de conception, comprenant notamment l’articulation entre FIR et FBR ainsi que l’identification du nombre et du contenu des dimensions et des indicateurs a été finalisée au cours du premier trimestre 2010. Elle a été construite lors d’intenses discussions avec un groupe d’une cinquantaine de parties prenantes, de deux réunions et sur Internet, ainsi qu’en sollicitant les avis de l’Advisory Board mis en place par la Commission européenne pour suivre le projet.
35Pour démarrer la phase de test de faisabilité, l’équipe construit actuellement (en juin 2010) un échantillon de cent cinquante établissements d’enseignement supérieur internationaux, en cherchant à ce que l’ensemble du spectre des établissements d’enseignement supérieur puisse être représenté : établissements d’enseignement supérieur à recherche internationale forte ou établissements plutôt axés sur le bassin économique régional, établissements d’enseignement supérieur couvrant tous les champs disciplinaires ou au contraire spécialisés.
36Six établissements d’enseignement supérieur doivent être identifiés dans chaque grand pays européen. Les autres pays de l’Union européenne fournissent entre un et trois établissements d’enseignement supérieur (sur un total de soixante-dix sept pour les vingt-sept pays d’Europe). Vingt-cinq établissements d’enseignement supérieur représentent l’Amérique du Nord, vingt-cinq l’Asie, trois l’Australie, et vingt le reste du monde.
*
37Le projet U-Multirank vise à définir et à tester la possibilité de créer un outil de classement innovant qui permette d’identifier et de quantifier, au niveau mondial, des « critères d’excellence multiples » en lien avec les besoins de différents publics d’étudiants. L’enjeu est extrêmement important car il s’agit de prendre place dans un domaine en expansion rapide, dans lequel l’Europe ne pourra peser qu’en participant. Dans le cas du pilote U-Multirank, il est prévu que l’équipe produise des recommandations pour la mise en place d’un exercice en « grandeur réelle », c’est-à-dire pour la réalisation d’un classement européen alternatif crédible, porté par une structure indépendante et accepté par l’ensemble des parties prenantes.
38Les classements actuels, encore très limités, vont continuer à se multiplier. Or ils proposent des systèmes de valeurs qui vont peser sur « l’écologie planétaire de la connaissance » en train de naître. En effet, les classements sont des outils très ambivalents. D’un côté, ils contribuent certainement à faire des établissements d’enseignement supérieur et de recherche des institutions (re)connues par les citoyens du monde, porteuses de valeurs culturelles communes et perçues comme des biens public. D’un autre côté, ils représentent un danger d’uniformisation et d’appauvrissement pour un biotope fragile et compliqué, abritant des établissements d’une grande diversité, qui plongent leurs racines dans des terreaux nationaux qui leur imposent des contraintes spécifiques. Aussi, pour les gouvernements, les institutions et leurs personnels, il ne s’agit pas de se demander si l’on veut être évalué, mais bien de se donner les moyens de montrer comment on veut l’être. Pour cela, il faut agir résolument car les défis à relever sont lourds :
-
en créant des informations nouvelles : les données et informations accessibles au niveau international sont très loin de ce qui doit être observé pour rendre compte de la réalité des activités des établissements ;
-
en établissant la qualité et la comparabilité des données existantes ou à créer ;
-
en continuant à perfectionner l’outil, pour mieux capturer la diversité des établissements et leurs dynamiques ;
-
- 7 Les auteurs remercient Bérangère Virlon (OST), pour sa lecture attentive et efficace.
enfin et surtout, en encourageant les recherches pour les améliorer mais aussi pour aiguiser les compétences capables d’analyser leurs limites et de prévenir leurs effets pervers7.
Notes
1 Activité qui permet de comparer la performance d’institution ou de systèmes à des fins d’orientation d’une stratégie (NDLR).
3 Les vingt-sept pays de l’Union européenne.
4 Rapport OST 2008 : www.obs-ost.fr/ .
5 Il est consultable sur le site http://ranaking.zeit.de/che10/CHE_en/ .
6 Ce travail, intitulé U-Map, est consultable sur le site : www.u-map.eu/.
7 Les auteurs remercient Bérangère Virlon (OST), pour sa lecture attentive et efficace.
Haut de pagePour citer cet article
Référence papier
Ghislaine Filliatreau et Philippe Vidal, « Le projet de classement européen des établissements d’enseignement supérieur U-Multirank », Revue internationale d’éducation de Sèvres, 54 | 2010, 137-145.
Référence électronique
Ghislaine Filliatreau et Philippe Vidal, « Le projet de classement européen des établissements d’enseignement supérieur U-Multirank », Revue internationale d’éducation de Sèvres [En ligne], 54 | septembre 2010, mis en ligne le 01 septembre 2013, consulté le 21 mars 2023. URL : http://journals.openedition.org/ries/996 ; DOI : https://doi.org/10.4000/ries.996
Haut de page