Nous adressons nos sincères remerciements aux participants du IV^e symposium international « Regards croisés sur les transformations de la gestion et des organisations publiques » ainsi qu’aux réviseurs de la revue Politiques & Management Public pour leurs conseils et suggestions qui nous ont permis d’améliorer la version première de ce travail.

Introduction

1Les réformes de l’enseignement supérieur qui ont été menées au cours des dernières années en France, et parfois depuis plusieurs décennies dans d’autres pays appartenant à l’organisation de coopération et de développement économiques (OCDE), visent à transformer profondément leur gestion (De Boer, Enders et Leisyte, 2007 ; Musselin, 2006 ; Whitley, 2008) et s’inscrivent dans un mouvement plus large prônant un « nouveau management public » (Hood, 1991). Ce dernier promeut ainsi « de nouvelles manières de penser l’organisation administrative à partir d’un ensemble hétérogène d’axiomes tirés de théories économiques, de prescriptions issues de savoirs de management, de descriptions de pratiques expérimentées dans des réformes (notamment dans les pays anglo-saxons) et de systématisations produites par des organismes comme l’organisation de coopération et de développement économiques » (Bezes et Demazière, 2011 : 295). L’une des manifestations les plus visibles du nouveau management public au sein des institutions d’enseignement supérieur est l’importance accrue accordée aux outils de mesure dans la gestion et le pilotage des établissements (Ter Bogt et Scapens, 2012).

4Cette institutionnalisation d’un cadre de gestion axé sur les résultats « questionne l’essence même du service public » (Bartoli et al., 2011 : 630) et tend à transformer les modèles de pilotage universitaires (Carassus, Baradat et Dupuis, 2011). Cependant, au-delà des discours et des réformes institutionnelles, on sait peu de chose sur la mise en pratique au sein des universités de ces outils de mesure et de leur perception par les acteurs. Pourtant, des travaux montrent que deux organisations ayant des systèmes de mesures identiques peuvent en faire des usages très différents (Simons, 1995) et que ce sont ces usages qui déterminent l’impact organisationnel de ces dispositifs. De même, de nombreux travaux traitent des effets, attendus et inattendus, produits par les outils sur les dynamiques organisationnelles et l’action collective (Grimand, 2012) ou encore de leur contribution au pilotage et à la maîtrise des comportements (Derujinsky-Laguecir et al., 2011). Ces travaux nous enseignent que, davantage que les outils formels, ce sont leurs usages et leurs perceptions qui doivent être étudiés.

5Le premier objectif de cet article est ainsi de faire un état des lieux de la perception par les acteurs de ces outils de mesure et de leurs usages. Trois catégories de mesures seront plus particulièrement étudiées : celles liées à l’enseignement, celles liées à la recherche et celles liées aux coûts et aux budgets. Nous en distinguerons notamment les usages à visée de contrôle diagnostique (à des fins d’évaluation), interactif (à des fins de communication et d’apprentissage), les usages à visée d’aide à la décision et de rationalisation (Simons, 1995 ; Burchell et al., 1980). Nous étudierons aussi la perception (positive ou négative) de ces outils par les acteurs (Cavalluzzo et Ittner, 2004).

6Il faut ajouter que, bien souvent, les recherches sur les outils de mesure se limitent à l’étude de la perception qu’en ont les dirigeants (Gray, 1990). Une telle restriction est particulièrement discutable dans les organisations publiques qui sont gouvernées par des dirigeants élus et des (hauts) fonctionnaires et au sein desquelles, dès lors, les frontières entre pouvoir décisionnel et exécution des décisions font l’objet de négociations (Aberbach, Putnam et Rockman, 1981 ; Bongrand et al., 2012 ; Demir, 2009). Cette situation, caractéristique de l’appareil d’État ou des collectivités territoriales, est aussi fréquente dans les bureaucraties professionnelles (Mintzberg, 1982) dont les dirigeants sont élus et appuient leur action sur des services administratifs, mais elle a rarement été étudiée sous cet angle. C’est ce que nous proposons de faire en prenant les universités comme cas de figure.

7Nous chercherons, par conséquent, à comparer les perceptions des outils et des usages qui en sont faits par différentes catégories d’acteurs, en travaillant en particulier sur la distinction qu’ils établissent eux-mêmes entre « politique » et « administratif ». Cette comparaison constitue le deuxième objectif de cet article.

8Nous tenterons donc de répondre à la question suivante : Comment les différents acteurs universitaires perçoivent-ils les outils de mesure et leurs usages et ces perceptions sont-elles partagées par tous ?

1. Utilisation des outils de mesure et acteurs universitaires

10L’objet de cet article est relatif aux outils de mesure utilisés dans un contexte universitaire. Nous verrons, dans les paragraphes suivants, que ceux-ci peuvent être utilisés à de multiples fins mais il est nécessaire au préalable de les définir. Précisons dès à présent que nous traitons d’ « outils » entendus comme « un ensemble d’objets de gestion intégrés de façon systématique et codifiée dans une logique fonctionnelle (ou toute autre logique d’acteur) et respectant un certain nombre de règles de gestion » (De Vaujany, 2006 : 113), et définis par leur caractère instrumental, finalisé, contextuel et relatif à une activité.

1.1. Les utilisations des outils de mesure

De la mise en place des outils de mesure…

11Traditionnellement, la gestion universitaire, comme la gestion publique, s’appuie sur un contrôle des moyens engagés (l’affectation d’un budget a priori), des procédures (les lois, règlements et normes qui encadrent le fonctionnement) et une gestion nationale des méthodes d’embauche (les concours) (Laufer et Burlaud, 1980). L’un des éléments caractéristiques du « nouveau management public » (NPM) est la mise en place d’une gestion par les résultats fondée sur la réalisation d’objectifs, la mesure et l’évaluation des performances et de nouvelles formes de contrôle dans le cadre de programmes de contractualisation (Bezes et Demazière, 2011). Cela signifie que l’émergence du NPM dans les universités devrait s’accompagner d’une plus grande liberté accordée aux institutions d’enseignement supérieur (et aux individus qui les composent) en échange d’une contractualisation a priori des objectifs à atteindre et d’une évaluation a posteriori de la performance (Estermann, Nokkalaet Steinel, 2011 ; Locke, Cummings et Fisher, 2011).

12Ce processus de pilotage requiert la mise en place d’outils de mesure divers (budgets, données comptables, calculs de coûts, tableaux de bord, données statistiques…) qui ont évolué récemment. D’une part, les données collectées sont beaucoup plus nombreuses qu’il y a seulement une dizaine d’années et, d’autre part, ce qui en est attendu a changé : il ne s’agit plus seulement pour les universités de mieux connaître leurs activités et leurs caractéristiques, mais de s’appuyer sur ces éléments pour définir leur stratégie tout en tenant compte des indicateurs que les autorités publiques nationales utilisent pour calculer le budget de chaque établissement. Le développement de ces outils de mesure semble, de plus, renvoyer à une définition de la performance ancrée dans une conception du management longtemps éloignée des références universitaires (Solle, 2001).

13Par ailleurs, l’accroissement en volume d’outils universitaires de mesure de la performance fait l’objet de forts débats. Certains mettent en avant l’intérêt de ces mesures pour le pilotage stratégique des universités (Augé, Naro et Vernhet, 2010  ; Goy, 2008  ; Carassus, Baradat et Dupuy, 2011). D’autres, au contraire, estiment que ces outils pourraient dénaturer les valeurs fondamentales de la gestion universitaire (Rhoten et Calhoun, 2011) ou encore, comme le montrent Ter Bogt et Scapens (2012), que l’utilisation traditionnelle de ces systèmes – qui visaient à aider chaque individu à améliorer ses performances futures dans une perspective de « développement personnel » – laisse peu à peu place à des usages centrés sur le jugement et l’évaluation quantitative de performances passées. Or, ce glissement ne serait pas sans danger : il générerait des craintes et de l’incertitude quant à l’utilisation des résultats et pourrait, de ce fait, inhiber la créativité et l’innovation, tant en enseignement qu’en recherche (numéro spécial de Cités, 2009). Il est donc important d’explorer la perception (positive ou négative) de la communauté universitaire concernant les outils de mesure et l’utilisation qui en est faite.

14En outre, le recours accru à ces outils de mesure témoigne de la confiance qui est aujourd’hui accordée aux chiffres (Porter, 1995) et à l’idée selon laquelle les instruments de quantification constituent des moyens de rationalisation de la gestion publique et de démocratisation de l’action publique (Biondi et al., 2008 ; Mazouz, 2012). Souvent, ces outils de mesure sont ainsi considérés dans une optique rationnelle selon laquelle ils doivent permettre un pilotage régulé et contrôlé des organisations liant mécaniquement priorités d’action, objectifs stratégiques, indicateurs de suivi, mesure des résultats et corrections éventuelles. L’adoption de ces outils serait donc un gage d’amélioration de la rationalité, ce qui explique qu’ils se soient imposés comme des normes en matière de gestion publique. Ils accompagnent alors la montée d’une conception « instrumentale » de la gestion publique (Gibert, 2000) qui réduit ces outils à leur dimension cybernétique permettant de gérer par les résultats.

… aux rôles joués par ces outils

15Pourtant, ces outils, parce qu’ils sont composés « d’éléments matériels, humains et symboliques, en interaction systémique les uns avec les autres » (Boussard et Maugeri, 2003), peuvent faire l’objet d’usages divers et remplir des rôles multiples et variés. Burchell et al., (1980), ont ainsi montré que les outils de mesure, et notamment les mesures de la performance, jouent dans la pratique des rôles divers en fonction des situations.


Rôle « diagnostique » et rôle interactif

17Les outils de mesure peuvent ainsi être mobilisés dans une perspective de « contrôle diagnostique », c’est-à-dire comme des « systèmes d’information formels que les managers utilisent pour surveiller les résultats de l’organisation et corriger les déviations par rapport aux standards prédéfinis de performance » (Simons, 1995 : 59). Ils peuvent aussi être utilisés dans une perspective de « contrôle interactif », c’est-à-dire comme des systèmes « formels d’information que les managers utilisent pour s’impliquer régulièrement et personnellement dans les décisions de leurs subordonnés » (Simons, 1995 : 95). Dans ce cas l’attention est portée en priorité au dialogue, à la communication et à l’apprentissage. En résumé : s’agit-il avant tout de créer une pression pour s’assurer que les buts seront atteints ou, au contraire, de favoriser le dialogue et l’apprentissage dans l’organisation ?

18
Cette première perspective nous conduit donc à distinguer :
- l’utilisation à des fins d’évaluation qui consiste à porter un jugement sur les résultats et performances d’une unité, d’un service ou de l’établissement dans son ensemble. Cette utilisation est appelée « contrôle diagnostique » ;
- de l’utilisation des mesures à des fins de communication et d’apprentissage, qui traduit une volonté d’utiliser les outils de manière interactive afin de favoriser la réflexion stratégique au sein de l’organisation (Simons, 1995), centrer l’attention, et forcer le dialogue et l’apprentissage. Nous regroupons ces utilisations sous le terme « contrôle interactif ».

Légitimité et prise de décision

19Toutefois, ces deux types de d’utilisation des outils de mesure ne permettent pas d’appréhender correctement l’ensemble des fonctions qui peuvent leur être assignées. En effet, ceux-ci sont décrits comme des dispositifs permettant tout à la fois d’outiller le dialogue avec leur environnement institutionnel (par exemple la tutelle ministérielle) et de permettre aux organisations de piloter leurs activités. Ils sont à la fois des outils d’aide à la décision et des dispositifs de rationalisation (Burchell et al., 1980). Certains travaux ont ainsi cherché à examiner les usages des outils en adoptant un point de vue complémentaire de celui de Simons. Cavalluzzo et Ittner (2004) ont ainsi étudié les dispositifs de gestion par les performances dans les activités gouvernementales en cherchant à identifier les mécanismes de développement de ces systèmes, les avantages perçus mais aussi les utilisations qui en étaient faites. Ils mettent ainsi en évidence des usages opposant une utilisation dédiée aux relations entre une unité et l’échelon supérieur (reporting, légitimité) et une utilisation centrée sur le pilotage de l’unité.

21En synthèse, nous nous sommes appuyés sur les apports respectifs de ces deux modèles pour mettre en évidence les différents usages des outils de mesure. Nous pensons en effet que la combinaison des deux modèles nous permet de mieux identifier des « catégories » d’usages et ainsi de révéler les différences éventuelles entre les acteurs. Notre grille de lecture intègre par conséquent ces deux perspectives, ce qui nous conduit à distinguer quatre fonctions que peuvent remplir les outils de mesure :

22Tableau 1 - Quatre utilisations possibles des outils de mesure

23

1.2. L’« administratif  » et le « politique  » dans les universités

• 7 Nous utilisons les éléments que nos répondants nous ont donnés dans les questions ouvertes et les e (...)

« Les élus fixent les objectifs et l’administration les met en musique. »7

L’opposition « administratif vs politique »

25Ces catégories ne sont pas créées de manière ad hoc mais renvoient d’une part à des distinctions faites par les personnels universitaires et, d’autre part, à des populations identifiables dans la littérature sur les universités.

26Dans les universités françaises, il est ainsi fréquent de parler de la relation entre « le politique » et « l’administratif ». Si le second terme renvoie, assez naturellement, aux activités et fonctions que remplit l’ensemble des personnels sans activité d’enseignement ou de recherche et mérite peu d’explications, le premier suppose en revanche qu’on en précise ici le contenu. Il désigne, en effet, les fonctions de direction qui sont remplies par des enseignants et/ou chercheurs. Le président, ou bien le vice-président aux finances par exemple, sont considérés comme des politiques. Il en va de même pour les directeurs de composante (UFR, instituts ou écoles). Ainsi, dans une étude récente (Musselin et al., 2012) qui constate que les directeurs d’UFR ont le sentiment de voir leurs fonctions se réduire, plusieurs estiment qu’ils ne peuvent plus jouer un rôle « politique » et que leurs activités sont de plus en plus administratives.

« Cela devrait être une fonction plus politique, très certainement, puisqu’on est élu. Mais là, pour le moment, je ne vois pas quelle pourrait être mon ambition politique, sinon rénover les locaux… des services très concrets rendus à mes collègues. Mais s’il s’agit de politique universitaire, de politique en termes de formation, en termes de recherche, le directeur d’UFR n’est pas un acteur central. » (directeur d’UFR)

27Si l’on prend donc le mot politique, non pas au sens strictement partisan, mais au sens de « manière concertée de conduire une affaire » pour reprendre la définition du Petit Robert, les enseignants-chercheurs qui acceptent de « conduire » pendant une période donnée les affaires de leur établissement ou de leur laboratoire, exercent des fonctions « politiques ». Le caractère « politique » de leurs activités est d’ailleurs aussi de plus en plus fortement mis en avant par le fait qu’il est attendu d’eux qu’ils développent des « politiques d’établissement » ou des « politiques scientifiques » ou « pédagogiques ». Curieusement en revanche, les élus des conseils, bien qu’élus sur des programmes ou des professions de foi, ne sont pas qualifiés de politiques par les personnels universitaires, ou par eux-mêmes, et nous les désignerons donc comme les « élus » dans le reste du texte.

28Dans la littérature, ces « élus », comme les administratifs d’ailleurs, n’ont pas été l’objet de nombreux travaux et l’on sait assez peu de chose sur eux. En revanche, les « politiques » sont au centre de plusieurs travaux. Ces derniers sont particulièrement nombreux en Grande-Bretagne (Fulton, 2003 ; Deem, 2004 ; Henkel, 2000) où des recherches ont été menées sur les effets du « managerialism » sur les « academic leaders ». Ils soulignent en général le malaise et l’ambiguïté dans laquelle ils se trouvent, pris entre leur attachement à leurs valeurs académiques d’un côté, et les impératifs managériaux de l’autre.

Une modération possible de cette opposition

29Les travaux de Mignot-Gérard (2006) sur la gouvernance des universités françaises ajoutent une autre perspective et interrogent la consistance et la robustesse même des groupes des politiques et des administratifs. En effet, selon cette auteure, il y a une plus forte proximité des représentations entre administratifs des services centraux et « politiques » de l’équipe présidentielle d’une part et entre politiques et administratifs de composante d’autre part, qu’entre administratifs de services centraux et administratifs de composante d’un côté et politiques de l’équipe présidentielle et politiques de composante d’un autre côté. Le « centre » s’opposerait donc à la « périphérie ». Ni le groupe des politiques, ni celui des administratifs ne seraient par conséquent homogènes. Mignot-Gérard montre même que plus les politiques se rallient aux principes managériaux défendus par les administratifs du centre, plus la tension avec les composantes est vive. Réciproquement, plus les politiques du centre se rapprochent des politiques de composante dans leur pilotage de l’établissement, plus leurs relations avec les administratifs deviennent difficiles.

30Les travaux de Mignot-Gérard ne traitaient cependant pas des outils de mesure universitaires mais des modes de gouvernement des établissements d’enseignement supérieur français et s’efforçaient de décrire les mécanismes sous-jacents à un gouvernement collectif et les traits caractéristiques de la mise en œuvre de politiques d’établissement dans les universités. En outre, son travail empirique fut réalisé à la toute fin des années 1990, dans un contexte institutionnel très différent de celui que connaissent actuellement les établissements. Il nous a dès lors semblé intéressant de rechercher si, dans un tout autre contexte et sur un objet de recherche diffèrent, ce clivage qui n’avait pas été jusque-là identifié par les travaux empiriques, pouvait être de nouveau observé.

31Nous chercherons donc à voir s’il existe des différences dans la manière dont « les politiques » et les administratifs perçoivent l’utilisation des indicateurs et nous les comparerons aux représentations qu’en ont « les élus » des conseils. Nous testerons ensuite la robustesse des groupes administratifs et politiques en examinant leurs réponses en fonction de leur appartenance au centre ou à la périphérie.

2. Démarche et méthode9

2.1. Collecte des données et échantillon

33À l’aide d’une liste constituée par nos soins pour les besoins de l’enquête, 12 633 personnes ont été contactées : 4 793 administratifs, 7 497 enseignants et/ou chercheurs et 343 autres membres des instances (étudiants ou externes). 710 administratifs ont répondu (taux de réponse de 14 %) et 1 817 réponses proviennent d’enseignants-chercheurs (taux de réponse de 24 %). La majorité des répondants sont des hommes (65 %). L’âge moyen est de 51 ans (écart-type = 8,9). 63 % des répondants travaillent dans une université depuis plus 10 ans et 50 % des répondants exercent dans la même université depuis plus de 10 ans.

35Tableau 2 - Les catégories d’acteurs interrogés

36


2.2. Caractérisation de l’utilisation des outils de mesure

38Pour évaluer l’utilisation déclarée des outils de mesure nous avons cherché à recueillir l’opinion de nos répondants sur des questions touchant à trois dimensions : l’utilisation des informations relatives à la formation (nombre d’étudiants, taux de réussite, évaluation des enseignements, etc.), l’utilisation des informations relatives à la recherche (nombre de publications, nombre de thèses publiées, facteur d’impact, etc.), et l’utilisation des données relatives aux budgets et aux calculs des coûts.

39La plupart des questions contenues dans le questionnaire proposent aux répondants de se situer sur une échelle de Likert allant de 1 (pas du tout d’accord) à 7 (tout à fait d’accord). Cela signifie que la moyenne (ni d’accord, ni pas d’accord) des échelles proposées se situe à 4. Pour chacune de ces trois catégories principales de données mobilisées dans les universités (indicateurs relatifs à la recherche, à l’enseignement et au budget) nous avons donc proposé un certain nombre d’utilisations possibles. Les répondants devaient notamment indiquer si, selon eux, cette utilisation était effective dans leur établissement.

40En ce qui concerne l’opérationnalisation de notre grille de lecture et la manière dont nous avons mesuré les usages des outils, nous avons recherché des échelles dont la robustesse était attestée par des travaux antérieurs et que nous pouvions adapter à notre contexte particulier. Différents travaux ont utilisé le modèle de Simons pour qualifier l’usage des outils mais peu ont publié leurs échelles opérationnalisant les mesures. Parmi ceux-là nous avons retenu les travaux de Bisbe et Otley (2004) et ceux de Bisbe et Malagueño (2009) qui ont développé une échelle, elle-même basée sur les travaux de Abernethy et Brownell (1999) et de Davila (2000). Nous avons utilisé et adapté ces échelles pour les usages « interactif » et « diagnostique » mentionnés dans notre questionnaire. Nous avons aussi utilisé (et adapté) la grille développée par Cavalluzzo et Ittner (2004), dans le cadre d’une recherche sur l’utilisation des mesures de performance pour les activités gouvernementales, pour mettre en évidence des usages opposant une utilisation dédiée aux relations entre une unité et l’échelon supérieur (reporting, légitimité) et une utilisation centrée sur le pilotage de l’unité.

41Tableau 3 - Les échelles de mesure retenues

42


2.3. Traitements

43Les résultats présentés dans cet article sont donnés sous la forme de moyennes des réponses obtenues à une question, qui nous permettent de présenter les déclarations faites par nos répondants. En outre, les éventuelles différences entre les groupes de répondants sont indiquées (comparaison des moyennes des différents groupes). Le niveau de signification statistique des différences entre moyennes a été examiné à l’aide du test de Student au seuil de 0,05.

44Pour mesurer l’existence – ou non – de logiques et de conceptions convergentes entre les deux groupes traditionnellement considérés comme « l’administratif » et « le politique » dans les établissements français d’enseignement supérieur, nous avons comparé les réponses fournies par les personnels administratifs – et, au sein de ce groupe, par les personnes travaillant dans les services centraux et par celles relevant des facultés ou écoles – avec celles des universitaires qui exercent des responsabilités de gouvernance (président, vice-présidents, doyens…) et des universitaires élus dans les conseils.

45Nous avons ensuite comparé les moyennes des personnels administratifs et académiques travaillant en central (que nous nommerons « centre ») et les personnels administratifs et académiques travaillant dans les composantes (que nous nommerons « périphérie »).

46Les réponses des élus sont elles aussi présentées mais elles ne font pas l’objet de tests statistiques car nous cherchons en priorité à tester ici les clivages « centre-périphérie » d’un côté, et « politiques-administratifs » de l’autre.

3. Résultats

47Les résultats collectés sur l’usage des outils de mesure dans les universités françaises vont maintenant être présentés en trois temps. Il s’agira d’abord de rendre compte de l’attention que portent les différentes catégories d’acteurs aux données relatives à l’enseignement, à la recherche et aux informations comptables et financières. Nous nous intéresserons ensuite aux perceptions qu’ont ces acteurs de l’utilisation faite de ces données, en reprenant les quatre fonctions classiquement attribuées au contrôle : contrôle diagnostique, aide à la décision, contrôle interactif et reporting. Enfin, nous interrogerons la manière dont les acteurs perçoivent l’utilité des mesures introduites par les dernières réformes des universités menées en France.

3.1. L’attention portée aux différentes mesures

« La tendance actuelle fait craindre des décisions qui seront de plus en plus guidées par les besoins de la recherche au détriment de la formation. »

48L’attention portée aux mesures diffère selon l’objet de celles-ci. On peut ainsi noter que les données relatives à l’enseignement font l’objet d’un consensus assez marqué de la part de tous les répondants alors que celles relatives aux coûts, aux budgets ou même à la recherche semblent être l’objet d’attentions plus contrastées.

L’enseignement : un objet d’attention particulier

49De manière générale, les répondants disent porter une attention significative aux trois types de données (budgétaires, d’enseignement, et de recherche), l’ensemble des réponses excédant une moyenne de 4,21 et une grande majorité allant au-delà de 5,00 (voir tableau 2).

50Tableau 4 - L’attention accordée aux différents types de mesures

51

52Les données relatives à l’enseignement et au suivi des étudiants suscitent un intérêt plus grand que celles concernant les budgets et celles relatives à la recherche. Ceci suggère qu’au-delà des indicateurs comptables et financiers dont Carassus et al., (2011) ont souligné l’importance, les indicateurs opérationnels, d’activité, font l’objet d’une forte attention de la part des acteurs.

« Un travail sur les enseignements vient de débuter au niveau de l’établissement en parallèle d’un rapprochement par sections CNU entre le potentiel d’enseignement et les besoins liés aux maquettes de formation. Il en ressort pour la première fois un constat assez objectif et sincère d’une situation de flagrant déséquilibre dans l’affectation des postes d’enseignants-chercheurs. Il reste une incertitude sur la capacité et la volonté de l’équipe dirigeante à arbitrer et prendre les décisions qui s’imposent soit en termes de fermetures de filières, soit en termes de redéploiement du potentiel enseignant. »

53C’est sur les données « enseignement » que l’écart entre les réponses des différents acteurs est le plus faible, ce qui peut s’expliquer d’au moins deux manières.

54D’une part, d’un point de vue quantitatif, la « tête d’étudiant » est généralement une mesure centrale dans l’enseignement supérieur et la recherche, permettant notamment d’évaluer la taille et l’attractivité des universités. Cet indicateur est au cœur des décisions d’allocation des moyens - qu’il s’agisse de la dotation annuelle de fonctionnement ou des postes d’enseignants-chercheurs (Mignot-Gérard, 2006) - et de gestion de l’offre de formation (Simonet, 1999) dans les universités françaises. En outre, les dernières réformes menées en France ont fortement mis l’accent sur l’insertion professionnelle des diplômés, dont les établissements doivent désormais rendre compte à la tutelle et qui est l’un des indicateurs mesurant la performance des établissements en matière de formation.

55D’autre part, les données relatives aux études et aux étudiants ont été parmi les premières à être systématiquement informatisées dans les universités françaises. Aussi parmi les différents systèmes d’information mis en place depuis le début des années 1990 dans les universités sous l’impulsion de l’Agence de Mutualisation des Universités et des Etablissements (AMUE), le logiciel Apogée, destiné à la gestion des inscriptions des étudiants et à leur suivi, est l’un des logiciels les plus anciens et le plus diffusé au sein des établissements (Solle, 2001). Il est, en outre, largement investi par les administratifs de composantes, puisque la saisie des données est réalisée par les secrétaires de scolarités des départements d’enseignement ou d’UFR. A contrario, aucun logiciel « national  » n’a été créé pour suivre la production scientifique, et les outils existant dans les universités aujourd’hui sont ad hoc et encore embryonnaires. Dans le domaine de la gestion budgétaire et comptable, la stabilité des systèmes d’information est moindre puisque le logiciel Nabuco implanté dans les universités en 1992, a récemment été remplacé par le progiciel de gestion intégrée SIFAC, qui a suscité une réorganisation des procédures et des répartitions de tâches, limitant parfois les accès des composantes à l’information (Musselin et al., 2012).

Des coûts et des budgets suivis surtout par les services administratifs centraux

56Le suivi des coûts et des budgets est particulièrement assuré par les administratifs et notamment par les services centraux.

« Le coût complet a été réalisé dans un certain nombre de domaines mais pas encore dans tous. La mise en place des dialogues de gestion et surtout des contrats d’objectifs et de moyens pluriannuels a permis une meilleure définition et utilisation des indicateurs. La réalisation du schéma directeur des systèmes d’information va permettre une plus grande harmonisation, intégration, mise à disposition et exploitation des données. »

57Ainsi les administratifs et les politiques (différence entre les moyennes = 0,54*) et plus encore le centre et les composantes (différence entre les moyennes = 0,56*) portent-ils une attention différenciée à ces données. Celle-ci semble refléter la frontière formelle classique (Wilson, 1887) qui sépare les compétences et périmètres d’action des acteurs « politiques » de ceux des « administratifs ». Les évolutions récentes des universités françaises ont pu contribuer à cette dichotomie. En particulier, l’introduction dans les universités nouvellement autonomes du progiciel SIFAC n’y est sans doute pas étranger. Ce progiciel de gestion intégrée est, en effet, explicitement destiné au pilotage budgétaire et financier de l’établissement et sa mise en œuvre concrète a été confiée aux services administratifs centraux (Musselin et al., 2012).

« Le calcul de coût est la seule logique qui oriente les prises de décisions administratives. »

58L’écart des réponses entre le centre et les composantes fait par ailleurs écho à la coupure « centre-périphérie » observée à la fin des années 1990 à propos des projets de modernisation et de rationalisation de la gestion dans les universités françaises (Mignot-Gérard, 2006) : alors que l’implantation de logiciels de gestion, la standardisation des modes de calcul d’heures complémentaires, la centralisation des achats etc., suscitaient une large adhésion auprès des administratifs des services centraux, ils étaient vus de manière moins positive, voire comme des menaces, par les personnels exerçant dans les composantes.

59Enfin, alors que les élus du conseil d’administration ont été investis par la LRU de responsabilités accrues et qu’ils sont notamment chargés de définir aux côtés du président la stratégie financière de l’établissement, les élus (des trois instances confondues) sont la catégorie d’acteurs qui prête paradoxalement le moins attention aux données budgétaires et comptables (4,40). Ce résultat renvoie à la technicité des données comptables et financières et au manque d’expertise des élus dans ce domaine, d’ailleurs souvent déplorée par les intéressés (Mignot-Gérard, 2006).


Des données recherche-enseignement suivies par les « politiques » à tous les niveaux de la pyramide universitaire

60L’attention portée aux données sur le cœur des activités universitaires (la recherche et l’enseignement) illustre pour sa part une division du travail entre « administratifs » et « politiques » : ce sont en effet les enseignants-chercheurs dirigeants ou élus qui s’intéressent le plus aux données produites sur l’enseignement et la recherche et en la matière ils se démarquent de manière significative de leurs homologues administratifs. Concernant les données « enseignement », on ne note pas de différence statistiquement significative entre les membres des équipes présidentielles et les dirigeants élus des composantes ; on constate en revanche que les données sur la recherche sont davantage suivies par les « politiques » des unités décentralisées.

61L’analyse du suivi des données par les acteurs des universités françaises reflète ainsi largement le modèle de la bureaucratie professionnelle. On note, d’une part, une moindre perméabilité des politiques aux données financières et budgétaires et une attention modérée de l’administration pour les informations sur la recherche et l’enseignement, et, d’autre part, une division du travail entre le centre - qui s’intéresse aux données gestionnaires - et la périphérie - qui se concentre sur l’enseignement, la recherche et leur suivi -.

3.2. La perception de l’utilisation des mesures

62Si le contrôle à des fins de légitimité est l’utilisation perçue comme la plus importante par nos répondants, on note cependant des variations significatives selon les domaines et les catégories d’acteurs.

Des données destinées en premier lieu à un contrôle de légitimité

63Le tableau 3 fournit une synthèse des résultats des réponses aux questions visant à appréhender quatre fonctions possibles (aide à la décision, évaluation et contrôle diagnostique, communication et contrôle interactif, reporting et légitimité) des outils de mesure au sein des universités françaises.

64
Tableau 5 - La perception de l’utilisation des données

65

66Les réponses collectées auprès de la population totale de l’échantillon suggèrent que les données sont principalement utilisées pour rendre des comptes aux tutelles, mais aussi comme supports aux négociations avec les partenaires des établissements (moyenne des réponses supérieures à 5).

« Les données ne me paraissent pas être réalisées dans un but d’amélioration mais simplement parce que le Ministère nous les demande. »

67À l’opposé, la fonction de contrôle interactif des données est la plus faiblement perçue par les répondants, les finalités de contrôle diagnostique et d’aide à la décision se situant à un niveau intermédiaire.

68Du point de vue de la communauté universitaire française prise dans son ensemble, la production de données revêt donc avant tout un enjeu de représentation formelle auprès des parties prenantes des universités, au premier rang desquelles leur ministère de tutelle. Ce constat va dans le sens des théories sociologiques néo-institutionnalistes qui soulignent l’importance, pour la survie des organisations, de l’affichage des symboles, règles et structures formelles conformes aux exigences de leur environnement institutionnel, quitte à ce que cette « vitrine  » soit découplée de leurs activités réelles (Meyer et Rowan, 1977). Les universités, du fait de leurs faibles couplages internes (Weick, 1976) et de leurs niveaux d’inspection modérés (Meyer et Rowan, 1977), ont une forte propension à développer ce type de comportements face aux demandes de leur environnement. Dans le cadre de la configuration universitaire à la française (Musselin, 2001), où l’État demeure un acteur prépondérant de l’environnement pertinent pour les universités, l’usage de « reporting » auprès des autorités de tutelles nationales illustre les mécanismes soulignés par les théories néo-institutionnalistes. Néanmoins, leur thèse n’est que partiellement validée puisque les répondants sont majoritairement en désaccord avec l’idée que ces données sont produites « pour faire comme tout le monde mais en fait personne ne s’en sert  » (moyenne de 3.40 pour les données relatives à l’enseignement, de 2.87 pour les données relatives à la recherche).

69Si les répondants soulignent la fonction de légitimité et, dans une moindre mesure, celles de contrôle diagnostique et de prise de décision des données produites, ils sont plus partagés quant à l’utilisation des données à des fins de communication et de discussion collective.

« Les indicateurs sont réservés à l’équipe dirigeante qui en fait un usage pour mettre en œuvre sa politique, ce qui est son rôle, mais a évacué toute concertation en cours de mandat. Ceux-ci constituent de ce fait un ensemble d’outils peu transparents pour l’usager de base. »

70Ce résultat peut à nouveau être interprété à l’aune des particularités des organisations universitaires, qui ont été qualifiées d’anarchies organisées (Cohen, March et Olsen, 1972), au sens où elles poursuivent des objectifs multiples et difficiles à hiérarchiser, compliquant de ce fait l’atteinte d’un consensus sur leurs finalités. Des études organisationnelles menées par le passé sur le fonctionnement des instances délibératives dans les universités françaises avaient mis en évidence les difficultés qu’avaient ces dernières à débattre et à stabiliser des choix stratégiques collectifs. Par exemple, Friedberg et Musselin (1989) ont observé que les universitaires élus dans les instances de décision évitaient soigneusement de formuler des jugements sur des décisions concernant des projets portés par des disciplines autres que la leur. Rémond (1979) notait pour sa part que les débats dans les conseils universitaires étaient fréquemment dominés par des conflits idéologiques et politiques, empêchant la communication et la discussion autour des priorités stratégiques de l’établissement. Les résultats présentés ici semblent indiquer que les mesures de performance sur l’activité des universités ne sont que modérément utilisées pour établir les bases de cette délibération interne.


Des usages différenciés des données selon les domaines : prime à l’évaluation 
pour la recherche, au reporting pour l’enseignement et les budgets

71Si la fonction de légitimation semble prévaloir sur celles de contrôle diagnostique, de prise de décision et de contrôle interactif, des variations sont notables suivant le type de données produites. Ainsi, et comme on le voit dans le tableau 5, les répondants estiment que les données relatives à la recherche sont beaucoup plus utilisées à des fins d’évaluation de l’université que les données budgétaires ou celles qui concernent l’enseignement.

72Ce constat vient corroborer les résultats d’une enquête qualitative menée dans trois universités (Musselin et al., 2012) qui montre que les responsables du gouvernement des universités prêtent une attention forte aux évaluations conduites par l’AERES, mettent en place des dispositifs visant à améliorer la note attribuée par l’agence à leurs laboratoires et utilisent celle-ci pour allouer les budgets recherche de manière sélective. Ce rapport montre en parallèle que l’offre de formation est le « parent pauvre des politiques d’établissement ». La « recherche » est ainsi le domaine qui fait le plus l’objet de métriques (scientométrie, bibliométrie), métriques qui sont fortement exploitées pour l’élaboration des rankings internationaux et dont on peut supposer qu’elles ne sont pas sans impact sur l’identité académique (Sauder et Espeland, 2009).


La perception de l’utilisation des outils : un clivage « centre-composantes » plus fort que le clivage « administratifs-politiques »

73C’est entre les acteurs du « centre » de l’université (les administratifs de services centraux et les membres des équipes de direction) et les dirigeants élus des composantes que les perceptions de l’usage des outils de mesure sont le plus différenciées.

« En tant que VP-CA je comprends beaucoup mieux l’intérêt des indicateurs que lorsque j’étais directeur de composante. »

74Un seul item appelle des réponses convergentes entre les deux groupes d’acteurs : « les données relatives à la recherche sont utilisées pour évaluer l’activité de recherche de l’université  ».

75Il existe également des différences de perceptions entre les « administratifs » et les « politiques », mais sur un moins grand nombre d’items (15 sur 24) et, de plus, les écarts entre les réponses sont moins prononcés qu’ils ne le sont entre le centre et la périphérie, sauf en ce qui concerne l’usage des données recherche à une visée évaluative.

76Ces résultats montrent enfin que les élus enseignants-chercheurs des instances décisionnelles des établissements sont presque toujours les plus sceptiques quant à l’usage effectif des mesures d’enseignement, de recherche ou comptable, notamment d’ailleurs, et paradoxalement, lorsqu’il s’agit de leur rôle dans les délibérations collectives (communication et contrôle interactif). Cela reflète, comme nous allons le voir dans la section suivante, leur perception plutôt négative des mesures de performance et de la gestion par la performance.

77Tableau 6 - Perception de l’utilisation des données par les différentes catégories d’acteurs

78

3.3. L’appréciation des mesures de la performance et de la gestion par la performance

79Le développement de mesures et d’une gestion par la performance suscite souvent « des interrogations concernant la pertinence [du] cadre de référence et la place [des] outils de gestion » (Bartoli et al., 2011 : 630). C’est une question qui est souvent considérée comme « délicate » (Carassus, Baradat et Dupuy, 2011). Qu’en pensent les acteurs concernés ?

80Au-delà de l’utilisation perçue des mesures de performance, nous avons donc cherché à connaître les opinions relatives aux utilisations qui en sont faites. Les résultats sont contrastés (voir tableau 5). Les responsables et élus universitaires semblent à la fois soucieux des inégalités engendrées par l’utilisation des mesures de performance et favorables à l’évaluation ainsi qu’à la prise en compte de la performance pour l’allocation des ressources.

81
Tableau 7 - Perception de l’utilisation des données par les différentes catégories d’acteurs

82

83Les administratifs sont particulièrement favorables à l’évaluation des enseignants-chercheurs par le CNU tandis que les politiques (enseignants-chercheurs) sont plus favorables à l’évaluation des administratifs que les administratifs eux-mêmes. Autrement dit, tout le monde est plus favorable à l’évaluation lorsqu’elle concerne les autres. Logiquement, les acteurs centraux se distinguent par une attitude bien plus favorable aux mesures de la performance que les acteurs des composantes. En revanche, les élus des instances sont les plus rétifs à la gestion par la performance notamment lorsque cela concerne l’évaluation des acteurs au sein de l’université et l’attribution de crédits à l’université en fonction de sa performance.

4. Discussion et conclusion

84L’objectif de cet article était de réaliser un état des lieux de la perception par les acteurs universitaires des outils de mesure et de leurs usages, d’une part, et de comparer les perceptions des outils et des usages qui en sont faits par différentes catégories d’acteurs, d’autre part.

85Pour cela nous avons étudié la perception et l’utilisation des indicateurs concernant le budget, l’enseignement et la recherche dans les universités françaises.

86Nos résultats suggèrent, tout d’abord, que les données d’enseignement font l’objet d’une attention prioritaire de la communauté universitaire notamment dans une optique de compte-rendu et de légitimation auprès de la tutelle. On constate cependant que les mesures concernant la recherche semblent largement perçues comme faisant l’objet d’une utilisation importante dans une optique d’évaluation des enseignants-chercheurs et des universités.

87Partant de la distinction qu’établissent les membres de ces universités entre « le politique » et les administratifs, c’est-à-dire entre les responsables universitaires élus parmi les enseignants et/ou chercheurs et en charge de la politique de leur établissement et les administratifs chargés de la mettre en œuvre, nous avons, ensuite, cherché à savoir si elle se traduisait par des attitudes et des représentations de l’utilisation des indicateurs différentes entre ces deux groupes.

88Nous avons ainsi constaté que l’attention portée aux outils de mesure variait entre eux selon les domaines d’activité concernés : politiques et administratifs sont semblablement intéressés par les données et indicateurs relatifs à l’enseignement mais les premiers sont plus attentifs que les seconds à ce qui concerne la recherche et les seconds plus attentifs que les premiers aux éléments budgétaires.

89Toutefois, nos résultats conduisent aussi à conclure que ces deux groupes sont moins cohésifs que ces premières conclusions ne le donnent à penser. Nous appuyant sur les travaux de Mignot-Gérard (2006), nous avons distingué, au sein de chaque groupe, les membres appartenant au centre de l’université (Présidents, Vice-présidents pour les politiques et administratifs des services centraux pour les administratifs) de ceux appartenant à ce que nous avons appelé la périphérie (directeurs de composante, de laboratoire, de département pour les politiques et administratifs de composante pour les administratifs). Nos résultats montrent que bien souvent, le clivage entre les acteurs centraux et périphériques est plus important que le clivage entre « politiques » et « administratifs ». Sur un tout autre objet (les outils de mesure) que celui étudié par Mignot-Gérard (le gouvernement), et dans un contexte institutionnel différent, nous retrouvons donc l’existence de ce clivage, encore peu étudié au sein de la communauté universitaire, qui invite à des études complémentaires. Ce résultat suggère qu’en matière de perception des outils de mesure, il existe un certain continuum (Demir, 2009) entre « administratifs » et « politiques » d’un même niveau (le centre vs la périphérie) au sein des universités françaises.

90Par ailleurs, ces différences de perceptions et d’usages des outils de mesure confirment la dualité des outils de gestion qui associent des artefacts et des registres d’usage leur donnant sens (Grimand, 2012). À l’heure où les outils de mesure sont de plus en plus diffusés dans les universités, ces enseignements invitent à une prise de distance avec la perspective instrumentale, selon laquelle les outils permettent de normaliser les comportements et de résoudre les problèmes, et à l’intégration de questions relatives à la structuration des rapports sociaux (perspective socio-politique), à la réflexivité (perspective cognitive) ou encore à la construction du sens (perspective symbolique) pour saisir les causes de leurs éventuels essoufflements, détournement ou rejet.

91D’autres perspectives de recherche s’ouvrent également car les résultats présentés ici méritent d’être approfondis et complétés notamment à l’aune des évolutions connues récemment par les universités françaises. Il pourra ainsi être intéressant d’étudier l’influence de variables propres aux établissements comme la taille, la localisation géographique, l’appartenance à un PRES ou encore l’intensité concurrentielle ressentie dans certains territoires. L’enquête réalisée devrait ainsi nous permettre de répondre à de nombreuses autres questions comme celles-ci : Les perceptions des membres d’une petite université ancrée dans un territoire où la « concurrence » est faiblement ressentie sont-elles différentes de celles des membres d’une université ancrée dans un PRES d’envergure, détentrice d’emprunts d’avenir ou subissant une forte « concurrence » ? La typologie disciplinaire des universités (cf. 2.1.) doit-elle être complétée à l’aide de critères comme l’ancrage territorial ?

92De même, les conséquences des différences de perceptions et/ou d’usages entre les acteurs invitent à poursuivre le travail d’analyse. Peut-on, par exemple, lier ces différences avec des phénomènes de renforcement du pouvoir de certains acteurs ou de contrôle de zones d’incertitude (Crozier et Friedberg, 1977) ? La question de l’appropriation des outils de mesure par les acteurs ouvre, quant à elle, la voie à celle de l’étude de l’interaction entre les individus, les instruments et les organisations et, notamment, les questions de manipulation, de déplacement ou de détournement des outils (Martineau, 2012).