- 1 Même si certains auteurs semblent avoir des explications alternatives comme le manque d’expertise t (...)
- 2 Cette ambiguïté est reconnue aussi comme caractéristique du fonctionnement de toutes les organisati (...)
- 3 Dans la mesure où le contrôle de gestion doit être au service de la stratégie, « le contrôle de ges (...)
1De nombreux auteurs ont souligné le caractère pour le moins lacunaire de la finalisation de la gestion publique. Les objectifs affichés sont souvent imprécis ; le lien entre objectifs généraux et objectifs locaux n’est pas très clair ; les priorités ne sont pas toujours établies ou se révèlent trop nombreuses (Han Chun et Rainey 2005). Cet état de fait est majoritairement expliqué1 par les analystes comme résultant des tendances fortes de la logique ou de la rationalité politique selon laquelle, sauf exceptions par ailleurs notables (par exemple, la sécurité routière), l’ambiguïté et le flou des objectifs sont fonctionnels pour les gouvernants, la lutte permanente pour le pouvoir s’accommodant mal d’une précision de nature à décevoir nombre des parties prenantes (Alesina A., Cukierman A. 1990 ; Gibert 2009). Les chercheurs travaillant sur la mise en œuvre des politiques publiques ont maintes fois souligné que les décideurs « étaient très réticents à fournir les cartes mettant en évidence ce qu’ils attendent d’une politique » (DeLeon et DeLeon 2002)2. Ce déficit d’explicitation stratégique a pour conséquence de rendre très difficile l’instauration de véritables systèmes de contrôle de gestion aptes à orienter les comportements des agents publics et de leurs managers3. La proclamation par la plupart des États et par nombre de collectivités territoriales du désir d’une gestion imprégnée de la performance et de « la culture du résultat » paraît signifier le commencement de la fin en matière d’ambiguïté. Si l’affichage de cette volonté est suivi d’effet, c’est là le véritable nouveau management public bien plus que dans l’ensemble flou de méthodes diverses inspirées de la gestion des entreprises.
- 4 Article 7 de la loi organique relative aux lois de finance (LOLF).
- 5 La loi américaine GPRA « Government Performance and Results Act » de 1993 (dont s’inspire la LOLF) (...)
- 6 La démarche de performance dans les administrations (http://www.minefi.gouv.fr/lolf/1_1.htm).
2Considérée comme une révolution en France, la loi organique relative aux lois de finances (LOLF) du 1er août 2001 vise à orienter la gestion des dépenses publiques vers plus d’efficacité en introduisant une gestion par objectifs à la place d’une gestion par moyens (Mordacq et al., 2006). La LOLF propose une nouvelle et plus lisible architecture du budget de l’État avec, comme principales composantes, la mission, le programme et l’action. La mission, unité de vote du Parlement, représente le périmètre d’une politique publique. Ministérielle ou interministérielle, la mission regroupe un ou plusieurs programmes. Le programme, unité de contrainte budgétaire, regroupe les crédits destinés à mettre en oeuvre un ensemble cohérent d’actions dans un cadre nécessairement ministériel. L’action identifie au sein du programme les crédits ayant une même finalité4. L’article 51 de la loi organique dispose que, parmi les documents qui doivent être joints au projet de loi de finances (budget) de l’année, figurent des Projets Annuels de Performances (PAP) présentant des objectifs poursuivis, des résultats obtenus mesurant, au moyen « d’indicateurs précis », l’efficacité de la dépense publique. Son article 54 précise de plus que, parmi les documents qui doivent être joints au projet de loi de règlement (loi approuvant les comptes de l’État pour l’année écoulée), figurent les Rapports Annuels de Performances (RAP) qui permettent d’effectuer des comparaisons avec les projets annuels5. Trois catégories d’objectifs sont présentées dans les projets et les rapports annuels de performance (Direction de la Réforme Budgétaire, 2003) : les objectifs de qualité de service, d’efficacité socio-économique et d’efficience. Les objectifs de qualité de service énoncent la qualité attendue du service rendu à l’usager (par exemple, améliorer l’accueil dans les commissariats et les gendarmeries). Les objectifs d’efficacité socio-économique énoncent le bénéfice attendu de l’action de l’État pour le citoyen et la collectivité en termes de modification de la réalité économique, sociale, environnementale, culturelle et sanitaire (par exemple, améliorer le taux d’élucidation des enquêtes). Les objectifs d’efficacité de gestion (ou d’efficience) vis-à-vis du contribuable expriment l’optimisation attendue dans l’utilisation des moyens employés en rapportant les produits obtenus (ou l’activité) aux ressources consommées (par exemple, optimiser la répartition des effectifs de police et de gendarmerie en fonction de l’évolution de la démographie et de la délinquance)6.
3Figure 1 - L’architecture du budget de l’État selon la LOLF
4
5La mise en œuvre de la Loi Organique relative aux Lois de Finance a donc nécessité de la part de chaque ministère la mise en place d’indicateurs dont le nombre et la nature ont sensiblement évolué avec le temps (Brunetière 2010). Les insuffisances de ces indicateurs ont été mises en évidence aussi bien par les parlementaires de l’opposition, le comité interministériel d’audit des programmes, la Cour des Comptes que par divers observateurs.
- 7 Plusieurs rapports de l’assemblée nationale ou du Sénat ont abordé ce sujet et notamment le rapport (...)
6- Parmi les imperfections soulignées par le Parlement figurent le manque d’indicateurs d’efficience dans de nombreux programmes, la complexité de certains indicateurs et le nombre élevé d’indicateurs d’activité ou de moyens (Lambert A et Migaud B. 2005). Les représentants de l’opposition, qui ont déféré au Conseil Constitutionnel le premier budget (2006) établi en LOLF au motif des lacunes des indicateurs présentés, critiquent certains indicateurs pour leur caractère non mesurable, non auditable, pour l’absence de lien direct avec l’objectif ou encore pour la tentation au contournement des règles de bonne gestion7.
- 8 Cour des comptes, rapport sur les résultats et la gestion budgétaire de l’État pour l’année 2008, p (...)
7- Selon le comité interministériel d’audit des programmes (CIAP 2008 B), certains indicateurs de performance manquent de pertinence vis-à-vis des leviers d’action réels dont disposent leurs responsables. De plus, les indicateurs de performance des programmes de soutien gagneraient à être harmonisés. Selon la Cour des Comptes, les indicateurs sont trop nombreux et ne sont pas encore utilisés comme de véritables outils de pilotage8.
- 9 Cette critique étant appuyée par le caractère parcellaire de la mise sous contrôle par les PAP, qui (...)
8- Selon un haut fonctionnaire (Brunetière 2006), 75 % à 80 % des indicateurs de l’échantillon tirés au sort sont grevés de défauts rédhibitoires. Certains indicateurs ne traitent ainsi que de l’accessoire faute de pouvoir accéder au principal9. D’autres indicateurs sont à côté de leur objet et mesurent autre chose que ce qu’ils sont censés mesurer. Enfin, d’autres indicateurs traduisent l’introversion de l’administration.
9Globalement, les indicateurs proposés dans la LOLF s’avèrent souvent médiocres, du moins si on juge leur qualité à l’aune de leur proximité avec l’objectif qu’ils sont censés mettre sous contrôle. Les imperfections constatées lors de la mesure de la distance Objectif/ Indicateur peuvent avoir plusieurs explications. Il peut s’agir soit d’un problème cognitif (déficit de connaissances dans une administration qui n’a pas intégré réellement les méthodes de gestion dans ses formations), soit d’un problème technique (difficulté de transposition d’une méthode de gestion du domaine de l’entreprise à celui de l’action publique).
10- Le premier type d’explication réside dans le déficit cognitif qui peut être perçu aussi bien au niveau de la gestion privée que de la gestion publique. Les personnes implantant des tableaux de bord ne sont pas – il est vrai – aidées par les académiques : le passage des objectifs aux indicateurs paraît être le problème le moins abordé dans la littérature traitant de la Balanced scorecard (BSC). Le binôme Objectif/Indicateur est pourtant central à tel point qu’on a pu qualifier la faiblesse de l’étude de ce passage de « chaînon manquant » (Bourne et Neely, 2000).
11- Le second type d’explication est lié à la volonté de se doter d’indicateurs dont les niveaux cibles sont relativement faciles à atteindre, et/ou qui plaident en faveur de l’activité du service et des moyens dont il dispose et/ou qui justifie la revendication de moyens supplémentaires. Cette posture supposée se traduit alors par une internalisation des buts (goal displacement) qui gomment la mise sous contrôle des effets de l’action publique (outcome) au profit de ses réalisations et de ses activités (output et process) (Bohte et Meier, 2000). Appliqué à notre sujet, le goal displacement se traduit non par une modification des objectifs à proprement parler mais par une dérive volontaire lors du passage de l’objectif à l’indicateur.
12- Le troisième type d’explication tient au fait que les organisations publiques comme les organisations privées font souvent du mimétisme. Elles font leur « marché » parmi les indicateurs utilisés par d’autres. Un indicateur proche de son objectif dans son organisation d’origine peut se trouver loin de son objectif dans son organisation d’adoption.
13- Le quatrième type d’explication réside dans l’inversion de la démarche objectif- indicateur. Sous cette hypothèse, l’indicateur précède l’objectif, l’appareillement de l’un et de l’autre relevant alors d’une logique de post-rationalisation. Cette inversion de la démarche n’est en aucune façon propre aux domaines de l’action publique, des travaux (Norrelit H., 2003) ayant montré en quoi plusieurs exemples d’indicateurs développés par Kaplan et Norton dans la BSC (Kaplan et Norton, 2001) étaient fondés sur cette logique.
14- Le cinquième type d’explication consiste en la présence non d’une imperfection mais d’une réponse rationnelle à l’obligation paradoxale (double bind) à laquelle sont soumis les dirigeants des organisations publiques. Lorsque les objectifs poursuivis dans une politique publique sont marqués par une incertitude forte, les représentations de quantification et de mesure de la performance qui leur sont liées sont utilisées dans des logiques de rationalisation et/ou de démocratisation des décisions précises (Burchell S., Clubb C., Hopwood A., Hughes J., Nahapiet J, 1980).
15C’est sur la plausibilité de ce dernier type d’explication que nous centrons principalement le présent article. Dans une première section, nous indiquons nos hypothèses de travail ainsi que l’objectif visé. Nous exposons ensuite les éléments constitutifs de notre base de données dont nous identifions les principales caractéristiques dans la troisième section. Enfin, nous présentons les résultats obtenus à partir d’une analyse factorielle des correspondances multiples et d’une classification des objectifs de la Loi Organique relative aux Lois de Finances.
- 10 Dans un autre domaine, les problèmes de coexistence d’une double logique, en l’occurrence celle de (...)
16L’obligation paradoxale apparaît quand la recherche proclamée de la performance ne met pas fin à la logique politique et à l’empreinte qui est la sienne sur la gestion publique. Sous cette hypothèse, la logique politique et la logique managériale coexistent, la première incitant au flou et à l’ambiguïté, la seconde requérant de la précision c’est-à-dire l’antithèse de ceux-là (Drucker 1980). Le fait de savoir si, dans la réalité du fonctionnement administratif, la logique de la performance que l’on peut rapidement assimiler à la « rationalité managériale » gagne ou pas sur la « logique politique », question essentielle pour juger de la réalité des réformes dans la gestion publique, est pour notre propos relativement secondaire. L’essentiel est la coexistence des deux logiques10 qui oblige à un double discours où plutôt à tenir un discours « les objectifs » et à mettre en oeuvre une métrologie « les indicateurs ». Des documents publics, comme le sont les projets et les rapports annuels de performance fondés sur la nouvelle logique, ne sauraient être en contradiction avec l’ancienne sous peine d’apparaître comme des contraintes insupportables par les gouvernants. Dès lors, comment être spécifique et précis comme l’exige l’affichage d’ambitions quantifiées et de résultats (niveaux cibles) tout en maintenant le degré d’ambiguïté et de flou que recommande la rationalité politique quand les objectifs visés ne sont pas des objectifs incontestables (par exemple, la sécurité routière) ou des mots d’ordre de rassemblement de la majorité sur laquelle s’appuient les gouvernants (par exemple, la lutte contre l’immigration clandestine) ? Il y a ici une obligation paradoxale à laquelle il est tentant de se conformer en apportant une solution dichotomique : d’une part, une formulation prudente d’objectifs vagues ou pseudo-objectifs, d’autre part, une explicitation de véritables indicateurs centrés et précis s’inscrivant dans la logique de performance. Ainsi, la distance Objectif/Indicateur et les imperfections relevées ne seraient pas dues uniquement à des difficultés analytiques réelles, mais également à une certaine hypocrisie organisationnelle (Brunsson 2003), sous-produit de la double contrainte. Au paradigme courant considérant les indicateurs comme de mauvaises représentations des objectifs, on doit alors substituer le paradigme d’un écart entre objectifs et indicateurs comme corollaire du « double bind ».
17Graphique 1 - Deux visions de la relation Objectif/Indicateurs
18Nous cherchons donc à explorer l’hypothèse du « double bin » à savoir que les objectifs affichés obéissent à la logique politique traditionnelle dans laquelle le flou et l’ambiguïté sont des valeurs et la précision dans les ambitions dommageables tandis que les indicateurs sont en phase avec la logique de la performance et la culture des résultats. Dans ce cas, la distance des indicateurs par rapport aux objectifs serait en grande partie due à la nature même des objectifs. En ne recouvrant qu’une partie du phénomène mis sous contrôle, les objectifs flous, peu précis et ambivalents, classiques en politique, sont a priori munis d’indicateurs éloignés de leurs objectifs. Plus précis, les objectifs davantage tournés vers la logique managériale sont a priori dotés d’indicateurs plus proches de leurs objectifs. Pour dépasser l’examen au cas par cas de quelques objectifs choisis arbitrairement, la démarche retenue consiste à bâtir une typologie opératoire des objectifs de programme permettant de décrire leur degré d’ambiguïté, ainsi qu’une mesure adéquate de la distance entre un objectif et ses indicateurs. Une fois établie l’opérationnalisation de ces dimensions, la constitution de la base de données repose sur le renseignement des variables retenues pour un échantillon large et significatif de l’ensemble des objectifs de programme des projets annuels de performance d’une année donnée.
19Construite à partir des projets annuels de performance 2009, la base de données a été créée en transformant d’abord les indicateurs et sous-indicateurs en indicateurs élémentaires structurés, puis en opérationnalisant les catégories d’objectifs et les distances entre objectif et indicateur. Une fois la base de données opérationnelles constituée, celle-ci peut alors être étudiée à l’aide de méthodes exploratoires d’analyse des données.
- 11 Projets annuels de performance 2009 en date du 30 octobre 2008.
- 12 Un aperçu de la base de données figure dans l’annexe 1.
20Parmi les données brutes fournies par la direction du budget11, nous avons retenu uniquement les projets annuels de performance relatifs aux missions et aux programmes du budget général de l’État (à l’exclusion des comptes spéciaux et budgets annexes) qui comporte au total, pour l’exercice 2009, 31 missions, 112 programmes, 497 objectifs et 1 057 indicateurs12. Un examen rapide de la structure des projets nous a permis de déceler que, pour chaque objectif présenté, on avait affaire non pas à un duo Objectif/Indicateur mais à un triptyque Objectif/Indicateur/Sous-indicateurs. Dans le vocabulaire LOLF, le terme indicateur désigne en effet un libellé recouvrant un ou plusieurs sous-indicateurs qui sont les instruments de mesure utilisés, donc les véritables indicateurs, comme le montre l’exemple suivant.
21Tableau 1 - Fiche d’un indicateur et de ses sous-indicateurs
22Un premier tirage au sort d’un échantillon réduit de vingt indicateurs nous a montré toute la variété de la relation indicateur/sous-indicateur et des rapports entre sous-indicateurs. Le but étant d’appréhender la distance entre l’objectif et les instruments de mesure censés en donner une représentation chiffrée, nous nous sommes efforcés d’identifier quels étaient les indicateurs véritablement distincts se rapportant à chaque objectif. Nous les avons dénommés indicateurs élémentaires. Comme l’indique le tableau ci-dessous, nous avons distingué six cas de figure. L’indicateur élémentaire est unique dans les cas 1, 2, 3 et 4. Dans les cas 5 et 6, on identifie autant d’indicateurs élémentaires qu’il y a de sous-indicateurs.
23Tableau 2 - Analyse préalable des indicateurs de la base LOLF
241- Le sous-indicateur est identique à l’indicateur. Par exemple, l’indicateur « Dépenses de fonctionnement courant par agent » associé à l’objectif « Optimiser la gestion des moyen de fonctionnement » a pour sous-indicateur « Dépenses de fonctionnement par agent ».
252- Unique, le sous-indicateur a une appellation différente de son indicateur. Par exemple, l’indicateur « reconnaissance scientifique des opérateurs du programme », associé à l’objectif « Produire des connaissances scientifiques au meilleur niveau international », a comme sous-indicateur « Reconnaissance scientifique des établissements du programme exprimée par l’indice de citation à deux ans des publications des opérateurs du programme ».
263- Les sous-indicateurs sont la déclinaison d’un type unique d’indicateurs à deux ou plusieurs entités différentes. Par exemple, l’indicateur « Part des filles, au niveau national, parmi les élèves des terminales des filières scientifiques et technologiques (séries S et STI) dans les lycées », associé à l’objectif « améliorer la qualité de la gestion des ressources humaines », a comme sous-indicateurs « Part des filles en terminale S », « Part des filles en terminale STI » et « Nombre de candidatures au prix de la vocation scientifique et technique des filles ».
274- Les sous-indicateurs sont les fruits de la distribution de l’indicateur. Par exemple, l’indicateur « Répartition de subventions déconcentrées par montant alloué », associé à l’objectif « optimiser les coûts de gestion des subventions allouées aux associations », a comme sous-indicateurs « Part des subventions déconcentrées inférieures à 2 500 € », « Part des subventions déconcentrées comprises entre 2 500 et 5 000 € » et « Part des subventions déconcentrées supérieures à 5 000 €.
285- Des sous-indicateurs de nature diverse sont rassemblés sous le chapeau d’un indicateur. Par exemple, l’indicateur « Accroissement annuel de la production d’énergie renouvelable thermique résultant des aides de l’ADEME et du crédit d’impôt pour les particuliers », associé à l’objectif « Maîtriser l’énergie en réduisant la consommation et en développant l’usage des énergies renouvelables », a pour sous-indicateurs « Surface cumulée de capteurs solaires thermiques dans le secteur tertiaire et le secteur collectif due à l’action de l’ADEME », « Évolution annuelle de la surface de capteur solaires thermiques dans le secteur tertiaire et le secteur collectif due à l’action de l’ADEME (entre prévision n et prévision n+1, réalisation n et réalisation n+1) », « Quantité d›énergie thermique produite par la consommation de bois dans les chaufferies due à l’action de l’ADEME », « Évolution annuelle de la quantité d’énergie thermique produite par la consommation de bois dans les chaufferies due à l’action de l’ADEME (entre prévision n et prévision n+1, réalisation n et réalisation n+1) », « Évolution annuelle du nombre de pompes à chaleur, chauffe-eau solaires individuels et appareils à bois bénéficiant du crédit d'impôt ouvert aux particuliers ».
296- Les sous-indicateurs et l’indicateur ne décrivent pas le même phénomène. Par exemple, l’indicateur « Évolution du taux de réussite des écoles de conduite en première présentation au permis de conduire B », associé à l’objectif « Améliorer le service du permis de conduire dans le cadre du développement de l’éducation routière tout au long de la vie », a comme sous-indicateur « Écart entre le taux de réussite des écoles de conduite participant au dispositif du permis à 1 € par jour (écoles conventionnées) et le taux de réussite de l’ensemble des écoles de conduite ».
- 13 Les deux groupes ont travaillé indépendamment l’un de l’autre sans disposer des cotations de l’autr (...)
- 14 Au sein de chaque groupe, la cotation retenue a été la résultante d’une discussion et d’un consensu (...)
30La méthodologie adoptée ici a consisté en une double analyse de l’échantillon par deux groupes, constitués de trois experts, ces groupes étant indépendants à la fois l’un de l’autre13 et des personnes ayant formulé les hypothèses de recherche. Les experts ont été sélectionnés en fonction de leur domaine de compétence et de leur complémentarité (fonctionnaires d’administration centrale et locale, enseignants-chercheurs travaillant sur divers domaines de la gestion publique). Le premier groupe d’experts s’est penché sur la caractérisation et la cotation des distances objectifs-indicateurs ; le second groupe d’experts s’est concentré sur la caractérisation des objectifs14. Nous partons ici de l’idée classique qu’un indicateur met sous contrôle un phénomène en le quantifiant. Dès lors, deux composantes peuvent expliquer qu’un indicateur rende bien ou mal compte d’un objectif : le fait que le phénomène qu’il met sous contrôle est ou n’est pas l’objectif, et la qualité de la représentation qu’il donne du phénomène.
31Le premier groupe d’experts a ainsi caractérisé puis coté de zéro à trois chacune des deux composantes de la distance Objectif/Indicateur que sont la distance Objectif/Phénomène et la distance Phénomène/Indicateur. Le phénomène mis sous contrôle peut être l’objectif lui-même, une variable influençant l’objectif, cause réelle ou supposée de celui-ci, ou une variable conséquence de l’objectif (effet de celui-ci). Quand le phénomène mis sous contrôle est l’objectif lui-même, la distance sur cette dimension est alors cotée 0. De même, quand la relation de cause à effet entre le phénomène et l’objectif est quasi exclusive, qu’elle apparaît si forte qu’elle exclut pratiquement que toute autre cause puisse agir sur l’objectif, la distance entre l’objectif et le phénomène est alors cotée 0. Quand la relation de cause à effet est importante mais non exclusive, que d’autres causes significatives peuvent avoir un effet sur l’objectif, la distance entre l’objectif et le phénomène est alors cotée 1. Quand la relation de cause à effet est secondaire mais non négligeable, la distance entre l’objectif et le phénomène est alors cotée 2. Quand la relation de cause à effet est marginale, la distance entre l’objectif et le phénomène est alors cotée 3. La cotation de la distance entre indicateur et phénomène traduit une appréciation de la qualité de la représentation du phénomène. Quand l’interprétation entre le phénomène et l’indicateur paraît s’imposer, la distance entre le phénomène et l’indicateur est alors cotée 0. Quand l’interprétation est peu réductrice du phénomène mis sous contrôle par l’indicateur, la distance entre le phénomène et l’indicateur est alors cotée 1. Quand l’indicateur met sous contrôle une dimension importante du phénomène par l’indicateur, la distance entre le phénomène et l’indicateur est alors cotée 2. Quand l’indicateur met sous contrôle une dimension peu importante du phénomène, la distance entre le phénomène et l’indicateur est alors cotée 3.
- 15 Il ne s’agit pas là de définitions précises et restreintes mais d’un ensemble de critères qui ont é (...)
- 16 Comme souligné par Inglebert ( 2005), la mission a trois sens différents : le sens lolfien d’unité (...)
32Le second groupe d’experts a caractérisé chaque catégorie d’objectifs trouvée15. L’objectif mission, raison d’être du programme et non pas de la mission au sens LOLF16, couvre un très large périmètre. Son verbe d’action est imprécis comme ses acteurs et son secteur économique n’est pas restreint par rapport au périmètre du programme. Ces objectifs ressemblent davantage à un périmètre d’action qu’à une volonté de changement ou à une finalisation de l’action publique. L’objectif trivial se distingue soit par une finalité incontestable et évidente, soit par la présence d’une dualité, d’une contradiction et/ou de plusieurs préoccupations souvent antagonistes dans l’énoncé de l’objectif avec un intitulé souvent confus. L’objectif stratégique explicite un choix et un positionnement stratégique clair, et par voie de conséquence un renoncement. Il expose un enjeu ou plusieurs enjeux d’acteurs souvent cités dans l’énoncé de l’objectif. L’objectif opérationnel, non stratégique, correspond à un projet, une action ponctuelle ou à une activité régulière.
- 17 L’échantillon représente 13,68 % du nombre total d’objectifs et 17,86 % du nombre total des program (...)
- 18 Par exemple, il n’y a pas de valeurs pour les distances associées au quatrième indicateur quand l’o (...)
33L’échantillon constitué de soixante-huit objectifs17 a été tiré au sort sur l’intégralité des programmes de l’exercice 2009. Sur cette base ont été cotées ensuite les distances entre les objectifs et chacun des indicateurs élémentaires censés les mettre sous contrôle. Comme le nombre d’indicateurs élémentaires varie d’un objectif à l’autre, nous nous sommes limités à un maximum de quatre indicateurs élémentaires par objectif. Des valeurs manquantes apparaissent donc quand le nombre d’indicateurs élémentaires d’un objectif est inférieur à quatre18.
34Tableau 3 - Composition et description de la base de données
- 19 Il s’agit ici des départements ministériels créés par la LOLF. Ils ne coïncident pas complètement a (...)
|
Intitulé
de la variable
|
Description
|
Nombre
de modalités
|
|
Mission
|
Mission à laquelle est rattaché l’objectif
|
15
|
|
Programme
|
Programme auquel est rattaché l’objectif
|
20
|
|
Ministère19
|
Ministère auquel est rattaché l’objectif
|
10
|
|
Nombre d’indicateurs associés à l’objectif
|
Les valeurs possibles étant : « un seul indicateur », « deux indicateurs », « trois indicateurs », « plus de trois indicateurs »
|
4
|
|
Objectif PLF 2009
|
Intitulé complet de l’objectif
|
68
|
|
Typologie Objectif
|
Valeurs possibles : « Stratégique », « Trivial », « Mission », « Opérationnel »
|
4
|
|
IN1
|
Intitulé complet du premier indicateur
|
68
|
|
Catégorie IN1
|
Destinataire du premier indicateur. Valeurs
possibles : « contribuable », « usager », « citoyen »
|
3
|
|
Distance PH-O1
|
Cotation de la distance entre l’objectif et le phénomène mesuré par son premier indicateur
|
4
|
|
Distance IN-PH1
|
Cotation de la distance entre le premier indicateur et le phénomène qu’il met sous contrôle
|
4
|
|
IN2
|
Intitulé complet du deuxième indicateur
|
52
|
|
Catégorie IN2
|
Destinataire du deuxième indicateur. Valeurs possibles : « contribuable », « usager », « citoyen »
|
3
|
|
Distance PH-O2
|
Cotation de la distance entre l’objectif et le phénomène mesuré par son deuxième indicateur
|
4
|
|
Distance IN-PH2
|
Cotation de la distance entre le deuxième indicateur et le phénomène qu’il met sous contrôle
|
4
|
|
IN3
|
Intitulé complet du troisième indicateur
|
25
|
|
Catégorie IN3
|
Destinataire du troisième indicateur. Valeurs possibles : « contribuable », « usager », « citoyen »
|
3
|
|
Distance PH-O3
|
Cotation de la distance entre l’objectif et le phénomène mesuré par son troisième indicateur
|
4
|
|
Distance IN-PH3
|
Cotation de la distance entre le troisième indicateur et le phénomène qu’il met sous contrôle
|
4
|
|
IN4
|
Intitulé complet du quatrième indicateur
|
9
|
|
Catégorie IN4
|
Destinataire du quatrième indicateur. Valeurs
possibles : « contribuable », « usager », « citoyen »
|
3
|
|
Distance PH-04
|
Cotation de la distance entre l’objectif et le phénomène mesuré par son quatrième indicateur
|
4
|
|
Distance IN-PH4
|
Cotation de la distance entre le quatrième indicateur et le phénomène qu’il met sous contrôle
|
4
|
35Parmi les variables, nous avons retenu la catégorie au sens de la trilogie de la LOLF, c’est-à-dire les destinataires des indicateurs : citoyen, contribuable, usager. À la lecture des projets annuels de performance, ces catégories sont en fait une caractéristique des indicateurs et non des objectifs comme le voudrait la théorie de la LOLF.
36Dans une première étape, nous avons étudié les correspondances simples entre les différentes modalités des variables qualitatives, prises deux à deux, dans la base de données opérationnelles, recherchant les éventuelles relations entre les différentes modalités prises par une variable (par exemple, la nature des objectifs) et les différentes modalités prises par une autre variable (par exemple, le nombre d’indicateurs, le type de destinataire, la distance Objectif/Phénomène ou la distance Phénomène/Indicateur).
- 20 L’analyse des correspondances multiples et les classifications ont été réalisées à l’aide du logici (...)
- 21 En tenant compte des trois modalités crées pour les valeurs manquantes (cas où l’objectif a un seul (...)
37Dans une deuxième étape, nous avons mené une analyse des correspondances multiples (ACM)20 permettant d’étudier la présence simultanée des différentes modalités des variables constitutives de la base de données. Pour ce faire, nous commençons par distinguer les variables actives, participant à la formation des axes factoriels de l’analyse, des variables illustratives qui se positionnent sur ces axes sans participer à leur construction. À côté des huit variables actives (le nombre d’indicateurs associé à l’objectif, la typologie des objectifs, la catégorie de l’IN1, la distance Phénomène/Objectif PH-O1 et la distance Phénomène/Indicateur IN-PH1 associées au premier indicateur, la catégorie de l’IN2, la distance Phénomène/Objectif PH-O2 et la distance Phénomène/Indicateur IN-PH2 associées au deuxième indicateur) et de leurs trente-trois modalités21 figurent ici deux variables illustratives (Ministère et Mission) et leurs vingt-cinq modalités. Cette sélection des variables permet de mettre en évidence les attractions et les oppositions entre les modalités des variables actives construites par les deux groupes ; elle permet également de positionner les deux variables de structure « Ministère » et « Mission » vis-à-vis d’un type d’objectifs donné.
38Enfin, dans une troisième étape, nous avons effectué une classification ascendante hiérarchique, suivie d’une classification mixte des objectifs, toutes deux permettant d’étudier la proximité relative des objectifs figurant dans la base de données opérationnelles.
39Si l’analyse univariée suggère une différenciation significative des types d’objectifs en relation avec le nombre d’indicateurs dont ils sont dotés et les distances qu’il y a entre eux et ces indicateurs, l’analyse par correspondances multiples (ACM) permet d’observer des proximités constitutives de classes robustes d’objectifs.
40À la lecture du tableau ci-dessous, les objectifs à formulation un peu rigoureuse, à savoir les objectifs stratégiques et les objectifs opérationnels, représentent près des deux-tiers (63,2 %) des effectifs de l’échantillon. Cette répartition peut aussi bien nous inciter à l’optimisme que nous conduire à une conclusion beaucoup plus réservée car on peut penser que, dans des documents comme les projets annuels de performance, ne devraient figurer que des objectifs stratégiques. Or les objectifs qualifiés de stratégiques ne représentent que 38,2 % des objectifs, les autres restant ambigus soit parce qu’ils ne font que répéter le contenu du programme auquel ils se rattachent, soit parce qu’ils sont non engageants, par leur flou ou au contraire par leur niveau de détail.
41
Tableau 4 - Répartition par type d’objectifs et par nombre d’indicateurs
42Dans l’échantillon analysé, 92,3 % des objectifs stratégiques et 77,8 % des objectifs missions ne nécessitent qu’un ou deux indicateurs (cf. le graphique ci-dessous). À l’opposé, 81,3 % des objectifs triviaux appellent un nombre relativement élevé d’indicateurs qui apparaît comme le prix à payer pour l’ambiguïté et les antinomies qui les caractérisent.
43
Graphique 2 - Nombre d’indicateurs associés à chaque type d’objectifs
44On pourrait s’attendre à ce que les objectifs opérationnels soient dotés d’un petit nombre d’indicateurs. L’examen des données révèle que tel n’est pas le cas. Ce fait est à relier à l’idée qu’un objectif opérationnel n’est pas dénué de flou et peut faire l’objet d’interprétations multiples dont chacune peut se traduire par un indicateur. Par ailleurs un objectif opérationnel peut servir de catégorie chapeau à un sous objectif qui a peu de rapport avec lui. L’exemple de l’objectif n° 3 « Contribuer à une meilleure maîtrise des dépenses de fonctionnement des fonctions support » du programme « Conduite et pilotage des politiques de l’écologie, de l’énergie, du développement durable et de l’aménagement du territoire » est révélateur de ces deux constats. Le deuxième indicateur « Dépenses liées à la fonction immobilière par m² rapportées à l’indice de référence des loyers » est une interprétation assez directe de l’objectif dans le domaine particulier des charges immobilières et qualifié assez naturellement d’indicateur pour le contribuable.
45Le premier indicateur « Part des paiements globaux réalisés en dessous du plafond cible de 40 jours », qualifié lui aussi d’indicateur pour le contribuable (et qui caractérise plutôt une administration bon payeur), peut également s’interpréter comme une autre manifestation du respect de l’objectif dès lors que l’on intègre le fait que le respect de ce délai évite le paiement d’intérêts moratoires. Le troisième indicateur « Part de véhicules propres par rapport au parc de véhicules de liaison », rangé dans la catégorie des indicateurs pour le citoyen, n’a pas grand-chose à voir avec l’objectif affiché et relève plutôt de l’ambition d’être une administration exemplaire du point de vue de l’écologie et du développement durable. L’ajout du type de destinataire associé à chaque indicateur nous permet de préciser que les objectifs stratégiques et les objectifs missions sont principalement orientés vers le citoyen ceci quel que soit le rang de l’indicateur, les objectifs triviaux et opérationnels étant, sauf exception, orientés plus uniformément vers les trois catégories de destinataires « Citoyen », « Contribuable » et « Usager ».
46
Tableau 5 - Répartition des types d’objectifs par indicateur et par type de destinataire
- 22 La description complète de cette caractérisation est donnée dans l’annexe 2.
- 23 Cette caractérisation repose ici sur l’évaluation de l’ampleur des différences entre proportions pa (...)
47En associant à ce tableau la cotation objectif/indicateur, le ministère ou la mission, nous pouvons réaliser une première typologie des différents types d’objectifs22 23.
48- Les objectifs missions se caractérisent par la surreprésentation de la mission « Action extérieure de la France » et l’absence totale de distances faibles (cotées « 0 ») pour le premier indicateur qui leur est associé. L’interprétation de ce résultat est immédiate : les objectifs associés à la mission « Action extérieure de la France » sont formulés de manière très large, englobant un large périmètre d’action. En conséquence, le premier indicateur associé à un objectif de ce type ne peut suivre au mieux qu’une dimension restreinte, partielle de ce périmètre.
49- Les objectifs opérationnels sont plus souvent dotés que les autres d’un deuxième indicateur orienté vers le contribuable. Cela s’explique par la décomposition en différentes dimensions de ces objectifs opérationnels, l’une de ces dimensions étant un objectif d’efficience, traduit par un indicateur tourné vers le contribuable.
50- Les objectifs stratégiques se caractérisent par la surreprésentation de la mission « Économie », ainsi que par une cotation de la distance entre indicateur et phénomène sous-jacent très faible (cotée « 0 ») dans plus de 60 % des cas pour le premier indicateur. Aucun de ces objectifs n’est suivi par plus de trois indicateurs. Ils sont aussi plus souvent que les autres types d’objectifs suivis par un indicateur élémentaire unique.
51- Les objectifs triviaux sont suivis par trois indicateurs dans une proportion deux fois supérieure aux autres types d’objectifs. Les distances Objectif/Indicateur pour ces objectifs ont été plus souvent cotées comme étant de moyenne à forte (cotations « 1 » et « 2 ») que pour l’ensemble des objectifs. La formulation non sélective des objectifs triviaux peut expliquer qu’ils soient généralement suivis par au moins trois indicateurs.
- 24 La propriété de distance signifie que l’écart entre trois valeurs successives de la variable est id (...)
- 25 Au-delà de deux indicateurs, les distances moyennes peuvent être mesurées mais ne peuvent plus être (...)
52Si nous admettons maintenant que la cotation des distances Objectif/Phénomène et Phénomène/Indicateur respecte de façon assez naturelle la propriété d’ordre et de façon plus axiomatique la propriété de distance24, nous pouvons alors mesurer les distances moyennes Objectif/Indicateur et Indicateur/Phénomène. Comme l’illustre le tableau ci-dessous, les distances moyennes Objectif/Phénomène et Phénomène/Indicateur associées aux objectifs missions et aux objectifs triviaux apparaissent, pour les deux premiers indicateurs, nettement plus élevées que les distances moyennes associées aux objectifs opérationnels et aux objectifs stratégiques25.
53
Tableau 6 - Distances moyennes selon le type d’objectif
54Contrairement au cas général où les objectifs missions ont un profil assez proche des objectifs stratégiques, les objectifs opérationnels s’avèrent, si la propriété de distance est respectée, plus proche des objectifs stratégiques que des objectifs missions, les objectifs triviaux se différenciant toujours aussi nettement des objectifs stratégiques.
55Présentés dans l’annexe n° 3, les résultats détaillés de l’analyse multidimensionnelle (ACM) indiquent d’abord que 32 % de l’inertie est restituée sur les deux premières dimensions factorielles et que, après recours à la correction de Benzécri, les deux premières dimensions de synthèse rendent compte de 75 % de l’inertie initiale. Munis des poids, des contributions relatives et des coordonnées factorielles des variables actives ainsi que des poids et des coordonnées factorielles des variables illustratives, nous pouvons interpréter les variables actives et illustratives (avec leurs modalités) présentées dans le graphique ci-dessous où la proximité géométrique des mesures de distances Objectif/Phénomène et Phénomène/Indicateur est remarquable sur le premier comme sur le deuxième axe de synthèse.
56
Graphique 3 - Les modalités actives et les ministères sur les deux premiers axes de synthèse
57- Sur l’axe 1, les objectifs (notamment triviaux) munis de plus de deux indicateurs et de distances Objectif/Phénomène et Phénomène/Indicateur fortes (cotées 2 ou 3) s’opposent aux objectifs (notamment stratégiques) associés au plus à deux indicateurs et à des distances Objectif/Phénomène et Phénomène/Indicateur nuls. À côté des objectifs stratégiques figurent les variables illustratives à dimension économique (« missions économie » et « Engagements financiers de l’état » et « ministère de l’économie et de l’industrie »).
58- Sur l’axe 2, les objectifs, tournés prioritairement vers l’usager, associés à des distances Objectif/Phénomène et Phénomène/Indicateur nulles pour leurs deux premiers indicateurs s’opposent aux objectifs tournés vers le citoyen associés à des distances Objectif/Phénomène et Phénomène/Indicateur fortes (cotés 2 ou 3). Si les objectifs stratégiques figurent à côté des missions et des ministères de l’économie et de l’industrie, les objectifs opérationnels sont proches de la mission et du ministère de la santé, les objectifs missions n’étant pas très éloignés des missions et des ministères des affaires étrangères, de l’agriculture et de la pêche.
- 26 La qualité est jugée sur la stabilité et sur l’homogénéité des classes obtenues par comparaison de (...)
- 27 Comme l’atteste le tableau ci-dessous, l’augmentation du nombre de coordonnées utilisées ne permet (...)
59Sur la base des axes de synthèse obtenus au terme de l’analyse des correspondances multiples, nous avons d’abord réalisé une classification ascendante hiérarchique en utilisant le critère de Ward pour l’agrégation des individus. Le nombre de coordonnées factorielles retenues pour l’agrégation étant progressivement augmenté afin de tester la stabilité des partitions, la qualité de représentation des objectifs apparaît ici correcte à partir de cinq coordonnées factorielles26. Quel que soit le nombre d’axes factoriels retenus, le découpage de notre échantillon en quatre classes d’objectifs apparaît ici comme la solution la plus satisfaisante pour l’obtention de classes homogènes27. L’analyse typologique se révèle assez robuste à la modification du nombre de coordonnées factorielles. La caractérisation des classes obtenues repose à chaque fois sur les mêmes modalités principales. Et la composition des classes n’est modifiée que marginalement. Le recours à une méthode d’agrégation mixte et non hiérarchique conduit à un résultat similaire. La représentation simultanée du découpage de notre échantillon en quatre classes d’objectifs et des modalités prises dans l’analyse permet de mieux visualiser ce résultat.
60
Tableau 7 - Caractéristiques d’une partition de la base en quatre classes suivant le nombre de coordonnées factorielles utilisées pour l’agrégation
61
Graphique 4 - Représentation des classes d’objectif et caractérisation par leur type et leur distance Objectif/Indicateur
62Le graphique 5 caractérise de façon synthétique ces quatre classes dont les modalités surreprésentées et sous-représentées figurent respectivement en foncé et en clair dans chaque classe.
63Graphique 5 - Modalités caractéristiques de chaque classe d’objectifs
64
65- La première classe (12 % de l’effectif de l’échantillon) regroupe principalement des objectifs « missions » pour lesquels les distances Objectif/Phénomène et Phénomène/Indicateur ont été cotées comme très élevées. Cette catégorie d’objectifs est appuyée majoritairement sur des indicateurs à destination du citoyen. Il ne semble pas que cette catégorie d’objectifs puisse être associée avec une mission ou un ministère précis.
66- La deuxième classe (35 % de l’effectif de l’échantillon) se singularise par des cotations de distances plutôt moyennes sur leur premier indicateur, et plus élevées sur leur deuxième indicateur. Ce sont principalement des objectifs triviaux et multi-indicateurs (associés à trois ou plus de trois indicateurs). Aucun ministère n’a l’apanage de ce type d’objectifs. En revanche, ils ne correspondent pas à des missions du domaine « Économie », ni à des objectifs stratégiques. Il existe toutefois une certaine proximité entre ce groupe d’objectifs et le premier groupe comme l’illustre l’intersection entre les ellipses des deux premières classes dans le graphique n° 4.
67- La troisième classe (28 % de l’effectif de l’échantillon) regroupe les objectifs pour lesquels les distances Objectif/Indicateur sont très faibles. Bien que l’analyse des axes de synthèse fasse ressortir une certaine proximité avec le type « Objectif opérationnel » cette dernière modalité n’apparaît pas comme caractéristique de la catégorie même s’ils constituent 42 % des objectifs de cette classe. Les objectifs rattachés à la mission « Santé » sont ici particulièrement représentés alors que les objectifs triviaux ne sont quasiment pas présents dans cette classe.
68- Enfin, la quatrième et dernière classe (25 % de l’effectif de l’échantillon) rassemble des objectifs munis d’un seul indicateur cotés principalement comme objectifs stratégiques et très majoritairement issus des missions « Économie ». Aucune distance Objectif/Indicateur n’est particulièrement caractéristique de cette classe.
69Globalement, il se confirme que l’énoncé d’un objectif stratégique permet de diminuer la probabilité d’avoir une distance forte entre objectif et indicateur mais que cette diminution peut être également obtenue en se cantonnant à des objectifs opérationnels (ce qui n’a pas du tout la même signification pour la finalisation de l’action publique). Les indicateurs pour le citoyen étant surreprésentés dans la classe 1 et sous-représentés dans la classe 3, à l’inverse (pour cette dernière classe) des indicateurs pour les usagers, la mise sous contrôle des effets sociaux économiques est pour des raisons techniques, mais aussi sans doute politiques, plus problématique que celle d’objectifs de qualité de service. Il apparaît également des différences importantes entre missions (ou ministères) qui peuvent être interprétées en termes culturels ou cognitifs (imprégnation plus ou moins grande de la culture du chiffre) ou en termes d’inégalité des domaines ou des modes d’intervention de l’État devant le chiffrage.
- 28 Sur la difficulté moindre à des niveaux inférieurs, voir Gibert 2009.
70La recherche effectuée a voulu dépasser les nombreuses récriminations qui ont trait à la vanité, l’inutilité ou le caractère contre-productif du chiffrage dans la gestion publique, récriminations émises en réponse au développement de la gestion axée sur les résultats, du management par objectifs ou de l’organisation de la « redevabilité » (accountability) des administrations publiques. Elle s’est fondée sur le cas de la LOLF parce que les projets ou rapports d’activité incorporent objectifs et indicateurs au niveau le plus agrégé donc le plus ambitieux mais aussi a priori le plus difficile à mettre sous contrôle28. La recherche a tenté d’explorer et d’approfondir l’hypothèse de la double contrainte à laquelle seraient soumis les dirigeants des administrations publiques qui doivent, d’un côté, s’inscrire dans une logique ou rationalité politique qui conduit à privilégier des formulations le plus souvent prudentes, « œcuméniques », peu précises des buts de l’action publique et, d’un autre côté, s’inscrire, au moins formellement, dans la mouvance de la gestion de la performance, de la culture de résultat qui exige la multiplication des instruments de mesure. Dans cette hypothèse toujours, la déception ressentie par de nombreux observateurs analystes au regard des indicateurs affichés dans les plans annuels de performance tiendrait pour une bonne part au moins à l’adaptation à cette double contrainte : à savoir des objectifs maintenus relativement flous et des indicateurs qui dès lors sont relativement distants des objectifs.
- 29 Dans cette optique, Rainey (2000) propose de retenir le nombre de textes d’application d’une loi co (...)
71Pour chercher à apprécier cette hypothèse, il a fallu opérationnaliser le concept de distance entre objectif et indicateur et coter pour chaque binôme Objectif/Indicateur l’importance de cette distance sur les deux dimensions retenues. Cette cotation, effectuée sous la règle du consensus, a été à dire d’expert, c’est-à-dire subjective par nature. De même qu’a été subjective la classification des objectifs dans les quatre catégories retenues a priori. C’est là, à l’évidence, malgré toutes les précautions opératoires prises, une des limites de ce travail. La difficulté à laquelle nous nous heurtons ici est de pouvoir définir une éventuelle mesure objective de l’ambiguïté d’un objectif ou plus largement d’une politique publique29.
- 30 Ce deuxième type d’approche nous est apparu trop complexe dans le cas étudié. En effet si on peut p (...)
- 31 Voir Biondi Y., Chatelain-Ponroy S., Sponem S. (2008), De la quantification comptable et financière (...)
72On perçoit ici le risque de se doter d’indicateurs contestables. Une autre limite du travail effectué tient à ce que l’on a coté la distance d’un objectif avec chacun des indicateurs qui est censé le mettre sous contrôle alors que l’on pourrait aussi coter l’image que donne l’ensemble des indicateurs mis en regard d’un objectif30. Globalement, sans qu’on ait établi un rapport de causalité entre la formulation des objectifs d’une part et la distance Objectif/Indicateur d’autre part, l’explication par le double bind apparaît ici comme une hypothèse pertinente : les objectifs imprécis (triviaux ou missions) sont nombreux et leur distance par rapport aux indicateurs qui les mettent sous contrôle est plus forte que pour les objectifs stratégiques ou opérationnels, plus particulièrement nous avons pu montrer qu’un objectif mis sous contrôle par un petit nombre d’indicateurs qui lui sont peu distants n’est pas un objectif trivial. L’étude a aussi confirmé des observations ou des propositions connues de longue date en matière de gestion publique31 à savoir par exemple la difficulté de mettre sous contrôle les résultats finals de l’action publique (impacts, et dans le vocabulaire de la LOLF, effets socio-économiques). Un prolongement fructueux de l’étude pourrait consister à abandonner la démarche de cotation des objectifs et des distances par consensus et à y substituer une cotation individuelle par chaque expert de façon à étudier les facteurs éventuellement responsables des différences de cotation.
- 32 Un changement d’indicateur au niveau d’un PAP peut fort bien provenir d’une demande des parlementai (...)
73Notre étude s’inscrit dans le courant de pensée qui estime que l’appréciation de la pertinence du management par la mesure dans le secteur public doit s’effectuer de façon « contextualisée » (Noordegraaf et Abma, 2003). L’étude n’écarte pas les autres hypothèses relatives à la faiblesse des indicateurs, hypothèses à notre sens plus cumulatives que strictement alternatives. L’hypothèse de déficit cognitif a été traitée au cours de l’étude, en considérant que sa traduction pourrait se trouver dans une dépendance entre le créateur de l’indicateur (le ministère d’appartenance) et la distance Objectif/Indicateur. Les tests menés permettent de mettre en évidence une dépendance entre ces deux variables, mais il n’est pas possible de trancher entre ce qui est attribuable à un déficit cognitif et ce qui relève des différences entre ministères dans la difficulté à mettre sous contrôle leurs domaines respectifs d’intervention. En ce qui concerne le phénomène d’apprentissage éventuel que l’on pourrait constater d’une loi de finances à une autre, son étude nécessiterait la prise en compte des interactions entre la conception pour le débat parlementaire des projets annuels de performance, l’élaboration des documents de déclinaison et de mise en oeuvre de la loi de finances que sont les Budgets Opérationnels de Programme (BOP) et le développement des systèmes de contrôle de gestion internes à chaque ministère32.
74Notons enfin que la lecture des Balanced Scorecard de nombreuses entreprises et le constat d’écarts parfois importants entre la formulation des objectifs et les indicateurs censés les suivre permettent également de penser que la spécificité du double bind pour les organisations publiques doit être relativisée et que ce genre d’étude pourrait être également effectué dans le cadre d’entreprises du secteur marchand.
Flux RSS
