Navigation – Plan du site
Dossier thématique

La donnée n’est pas un donné - Pour une analyse critique de l’évaluation chiffrée de la performance

Robert Salais
p. 15-36

Résumés

La rhétorique de la performance a occulté les enjeux politiques, éthiques et normatifs des réformes de la gestion publique (LOLF, RGPP) relativement au rôle de l’État et à son action. Une dérive essentielle réside dans le fait que, du haut en bas, les acteurs sont incités, non plus à améliorer les résultats des politiques menées vis-à-vis de leurs objectifs fondamentaux, mais à accroître directement, par tous les moyens, leur score sur les indicateurs selon lesquels ils sont évalués. L’article rappelle que l’objectivité du chiffre repose sur des conventions de mesure et reste subordonnée à l’usage politique qui en est fait. Il met en lumière les problèmes soulevés : conciliation entre performance et justice sociale ; comparabilité ; normativité cachée (et donc non débattue) au sein des indicateurs ; risque de fabrication politique des chiffres. Un registre politique nouveau apparaît, celui de la représentation cognitive des situations, trop peu investi par la recherche.

Haut de page

Notes de la rédaction

Article publié précédemment à la Revue française d’administration publique (R. Salais, « La donnée n’est pas un donné » Pour une analyse critique de l’évaluation chiffrée de la performance, RFAP, 2010/3 n° 135, p. 497-515). Nous adressons nos sincères remerciements à la RFAP pour son amiable autorisation de reproduction.

Texte intégral

1La décision publique ne se limite pas à une question de « bonne » gestion des fonds publics. Elle consiste certes en une action administrative, déjà complexe en elle-même, par laquelle un gouvernement est amené à établir un budget, à élaborer une mesure dans un domaine spécifique (comme un dispositif d’insertion dans l’emploi), à mettre en œuvre cette dernière sur le terrain, etc. Mais la décision publique ne prend sens que dans le processus plus large qui conduit de la découverte collective, au sein d’une société, d’un problème d’intérêt général (comme la santé publique, le plein emploi, la protection sociale contre les aléas de la vie et du travail, le développement durable), jusqu’à la construction d’une base de connaissances sur les divers aspects du problème considéré, à l’élaboration d’une politique publique dans le domaine concerné, à sa mise en œuvre, à son évaluation, à la prise en compte des résultats de cette évaluation dans la conduite de cette politique. Dans nos pays, toutes ces phases et dimensions de la décision publique doivent être régies par des principes démocratiques.

  • 1   A.B.L. Cheung, « La compréhension des réformes du service public : tendances mondiales et questio (...)
  • 2   OCDE, La gestion des performances dans l’administration : mesure des performances et gestion axée (...)
  • 3   Car ces méthodes sont propagées, non seulement par des organisations internationales comme l’OCDE (...)

2Or, depuis une bonne quinzaine d’années, les politiques et les services publics sont traversés en Europe par un courant de réformes. Ces réformes se concentrent sur une logique d’amélioration de la performance de gestion. Elles tentent d’adapter des styles de gestion provenant des entreprises privées. Les composantes principales de la « nouvelle gestion publique » sont l’introduction de mesures de la performance (par exemple, les indicateurs de performance, le benchmarking encore appelé étalonnage), l’intégration de principes de concurrence, l’exigence d’efficience dans l’utilisation des ressources, le tout plus ou moins confondu avec une orientation vers la qualité des services1. Au total – selon l’OCDE2, incitatrice parmi d’autres3 en la matière et relayant des pratiques plus anciennes aux États-Unis et en Grande-Bretagne (au travers du new public management) – il s’agit pour l’État de passer d’une culture administrative à une culture de gestion, et d’une culture d’application des règles à une culture de la performance.

3Loin d’être un épiphénomène technique, ces réformes induisent un changement profond des conceptions de l’État et de son rôle ainsi que, de fil en aiguille, du rapport à construire, dans une démocratie, entre connaissance et action publique. Le présent article a pour ambition de traiter de certains phénomènes émergents dans la mise en œuvre de ces réformes, relativement à l’usage d’indicateurs de performance.

Introduction

  • 4   Pour une bonne analyse : voir F. Dreyfus, « La RGPP et la conception du rôle de l’État », Revue f (...)
  • 5   A. Desrosières, La politique des grands nombres, Paris, La Découverte, 1993 ; P. Lascoumes et P. (...)
  • 6   C’est ainsi que la Revue française d’administration publique publia en 2006 un article relatif à (...)
  • 7   A. Purenne et J. Aust, « Piloter la police par les indicateurs ? Effets et limites des instrument (...)
  • 8   A. De Cavarlay, « Lieux de privation de liberté : éléments de chiffrage » (Chapitre 10. Contribut (...)
  • 9   R. Salais, « La politique des indicateurs. Du taux de chômage au taux d’emploi dans la stratégie (...)
  • 10   Dans son numéro 5, 2010, la Revue française de socio-économie vient de publier un dossier sur les (...)

4Dans sa conception et sa mise en œuvre, la réforme en cours des politiques et services publics est en France presque exclusivement investie par les sciences de gestion, de l’organisation et les sciences administratives, selon une démarche essentiellement instrumentale, c’est-à-dire une démarche proposant des instruments ou visant à améliorer ceux qui existent. Les produits principaux de cette réforme sont la conception et la mise en œuvre de la « loi relative aux lois de finances » (LOLF) et de la « révision générale des politiques publiques » (RGPP)4. À part certains travaux pionniers, non directement tournés vers l’analyse de ces réformes5, les sciences humaines et sociales n’ont commencé à s’y intéresser vraiment qu’à partir du milieu des années 20006. Le basculement opéré, à partir de 2002, de la gestion des services de police vers une culture du résultat a fait l’objet de travaux approfondis et comparatifs7. La mise en œuvre de ces réformes du fonctionnement de la police révèle, parfois jusqu’à la caricature, les principaux problèmes abordés dans cet article. Dans le rapport 2009 du Contrôleur général des lieux de privation de liberté, Aubusson de Cavarlay apporte une contribution précieuse sur les implications des choix statistiques sur l’appréciation des politiques de la justice8. Mes travaux ainsi que ceux d’Isabelle Bruno ont attiré l’attention sur l’importation des techniques de new public management (pilotage par des indicateurs de performance, bonnes pratiques, benchmarking) dans les méthodes politiques européennes (la méthode ouverte de coordination) et ses effets potentiels sur la conception des politiques publiques9. Il reste donc beaucoup à analyser et l’urgence s’accroît10. Or il s’agit là d’un objet à construire dans une démarche de critique scientifique, autrement dit selon une démarche qui ne se contente pas de décrire ou de proposer, mais qui s’interroge sur ce qu’il produit, sur ce que son incursion bouleverse, dans une trop grande discrétion, quant aux principes et finalités de l’action publique. Déjà, aux quelques mots de présentation ci-dessus, le chercheur (et le citoyen) ne peuvent qu’être alertés par la conception qui s’y fait jour d’un État réduit à une machinerie administrative et bureaucratique, amputée de toute référence, autre que rhétorique, à ses objectifs essentiels que sont le bien public (ou bien commun), la justice sociale et la participation des citoyens à la décision publique et qui, du moins en France, font l’objet d’attentes de la part de la population.

  • 11   Ma légitimité à aborder le sujet a deux origines, une formation et une pratique de statisticien à (...)

5D’une façon générale, la matière est technique, rébarbative et surtout difficile d’accès. Pour comprendre les logiques à l’œuvre et spécialement leurs instruments, il faut pratiquement être un acteur de l’intérieur, et donc adopter et conserver une posture sous tensions qui combine participation et prise de distance critique11.

L’argument de l’article

  • 12   La présente étude est fondée sur une analyse du contenu du site web du ministère du Budget, des C (...)

6Les documents produits par l’administration ainsi que les travaux de recherche mentionnés ci-dessus montrent l’ampleur et la systématicité, progressivement construite, des réformes en cours, et ce dans une discrétion très grande relativement aux destinataires finals, les citoyens12. Il est évident, par ailleurs, que les enjeux politiques, éthiques et normatifs qui sont impliqués dans des choix apparemment techniques ont pour l’essentiel échappé aux décideurs politiques de tous bords (ou presque) quand ils ont donné leur approbation consensuelle à la mise en œuvre de la nouvelle gestion publique. C’est dire l’ampleur et l’importance des recherches qui restent à entreprendre.

7La croyance à l’œuvre dans l’usage d’indicateurs de performance – croyance irrationnelle bien qu’elle s’habille d’un appareillage technique fort savant – est qu’il est politiquement pertinent de réduire tout phénomène économique et social, y compris le plus complexe, à quelques données quantifiées sans que, malgré le caractère drastique de l’opération, tant le sens (signification comme direction) porté par ce phénomène, que la nature et les finalités de l’action à entreprendre en soient le moins du monde affectés. Le problème n’est pas de nature technique : une opération de réduction quantitative est toujours possible, de même que la possibilité d’exhiber un indicateur. Le problème est celui de la pertinence. Comment être sûr que la perte d’information qui en résulte, relativement à une connaissance qualitative approfondie du phénomène, demeure sans effet sur le caractère fondé et adéquat aux problèmes de la décision qui sera prise ?

8Il est clair que la fortune politique de ces méthodes provient de leur appui sur les propriétés apparemment indiscutables d’objectivité du chiffre. L’argument statistique a en soi une force certaine de persuasion. Et il est vrai que, si elle est bien menée, la quantification est une opération nécessaire et féconde qui contribue à la connaissance qu’une société a d’elle-même et ce dès l’apparition des premières sociétés humaines. Rappelons-nous les inventaires de richesses, le dénombrement des populations, le comptage des biens, le dressage de listes, la construction de nomenclatures, la définition de conventions de mesure (longueur, surface, volume, poids, prix, ). Une évaluation bien conduite des résultats d’une politique publique, de même que l’appui sur cette évaluation pour en améliorer le fonctionnement sont donc de nature à recueillir une approbation générale. Et c’est probablement à ce premier sentiment que se sont arrêtés les élus quand ils ont donné leur approbation à la mise en œuvre de réformes inspirées de la nouvelle gestion publique. Comment en effet s’opposer à des instruments qui prétendent, à dépense constante (voire décroissante), améliorer la performance des politiques publiques ? Comment résister à une rhétorique politique si prometteuse ?

  • 13   Voir par exemple les travaux de Jeremy Richardson sur les réformes engagées en Grande-Bretagne : (...)
  • 14   E. Suleiman, Dismantling Democratic States, Princeton, Princeton University Press, 2003, p. 153.

9On aurait pu pourtant s’inquiéter du caractère de boîte à outils universelle, revendiqué par les promoteurs du new public management, s’affranchissant des spécificités concrètes, sociales, historiquement construites et nationalement enracinées des domaines de l’action publique, comme si ces particularités n’avaient ni signification, ni impact. Une telle revendication est a priori suspecte. Ce que l’on aurait pu savoir aussi de l’évaluation de leurs applications dans les pays les plus précoces aurait pu freiner les ardeurs13. Ezra Suleiman14pointait déjà cependant un phénomène qu’on peut juger inquiétant : l’absence d’apprentissage et d’esprit critique sur ce que ces méthodes engendrent réellement, par les gouvernements pionniers en la matière qui disposaient pourtant du temps pour en tirer un bilan.

  • 15   E. Suleiman, op. cit., p. 58.

10Il est clair, d’une part, que la réflexion politique s’est arrêtée beaucoup trop tôt. On n’a pas vu les innovations radicales qu’implique l’application des technologies de contrôle de gestion à l’action de l’État par rapport aux modes de quantification « traditionnels ». La culture de la performance ne relève pas vraiment d’une préoccupation d’efficience dans laquelle il s’agirait de dépenser mieux, relativement aux objectifs fondamentaux poursuivis par la puissance publique. Il s’agit prioritairement de dépenser moins et, dans une seconde phase, de mettre en concurrence la délivrance publique d’un service avec celle offerte sur un marché pour transférer à terme ce service au marché. L’usager des services publics et bénéficiaire des politiques publiques change de statut. Il n’est plus le citoyen inscrit dans la vie de la cité, doté d’une conscience politique et soucieux d’un État garant notamment de l’égalité, mais un consommateur uniquement préoccupé du rapport « qualité, prix » du service ou produit qu’il achète. Comme le souligne Ezra Suleiman : « Quand un consommateur est à la recherche d’un réfrigérateur, son achat n’implique aucun engagement pris avec le vendeur… Pourquoi se sentirait-il concerné par le sort des autres consommateurs ou par celui de sa communauté ? »15. Ce qui conduit l’auteur à s’interroger sur la viabilité d’une nation qui ne serait plus composée à terme que de free riders.

11Il est clair, d’autre part, que ceci témoigne d’un changement en cours des rapports entre politique, communication et évaluation. Il ne s’agit plus en effet, de manière

12« classique », d’appuyer l’action politique sur des justifications chiffrées externes à celle-ci. Dans le new public management, sous des formes diverses, l’évaluation de la performance quantifiée se trouve internalisée, à la fois comme référence et comme objectif, dans le processus de l’action. Une sorte de « court-circuit » se produit entre l’évaluation comme référence et la performance comme objectif. C’est sur ce point et ses conséquences que nous voudrions insister, car il est au cœur d’une série de dérives potentielles, en partie déjà observables, de l’action publique. La principale dérive réside dans le fait que les acteurs sont peu à peu convoqués et incités à un exercice nouveau qui consiste, non à améliorer les résultats des politiques engagées du point de vue de leurs objectifs fondamentaux, mais à chercher, par tous les moyens, d’accroître la performance de ces politiques telles que mesurées par une batterie d’indicateurs. La quantification ainsi opérée altère l’objectivité de la mesure, car elle vise à optimiser celle-ci du point de vue de l’usage politique qui peut en être fait. L’évaluation des résultats de l’action publique en est biaisée. La connaissance acquise n’est plus mise au service de la réalisation des objectifs fondamentaux de la collectivité, ce qui risque de conduire à un divorce entre les chiffres et la réalité vécue par les citoyens.

L’objectivité des données quantifiées, comme produit de conventions de mesure

  • 16   L’article s’appuie sur une série de publications, consacrées soit à la méthode ouverte de coordin (...)

13La première question à se poser est de réfléchir aux conditions de validité de l’argument statistique16. L’objectivité du chiffre doit être questionnée.

14La réaction de tout un chacun est de considérer la donnée qu’on lui présente comme un « donné », c’est-à-dire comme un point de départ de l’argumentation et de la discussion sur lequel on ne revient pas (et même sur lequel on ne vient jamais, ou trop rarement). Les propriétés des nombres (addition, soustraction, plus grand, plus petit, accroissement, diminution) ont en effet comme vertu, merveilleuse, d’être en soi indiscutables. Ces propriétés sont sans doute parmi les rares certitudes que nous pouvons avoir dans la vie. Quinze est plus grand que treize. Passer de 100 à 80 signifie une réduction de 20 %. Quiconque nierait ces affirmations passerait pour un esprit dérangé ou un plaisantin. Le chômage a diminué de 5 % entre juillet et septembre 2008, voilà qui paraît net et précis.

  • 17   A. Desrosières, La politique des grands nombres, op. cit. ; A. Desrosières, L’argument statistiqu (...)

15Mais, dans les faits, pour obtenir cette information, il a fallu se livrer à une série complexe d’opérations en amont : élaborer un questionnaire, recueillir les réponses à ce questionnaire, établir des nomenclatures, définir des catégories, coder, faire des tableaux simples ou croisés, calculer des corrélations, etc. S’agissant des demandeurs d’emploi, la donnée dépend des règles d’indemnisation, des règles de fonctionnement des agences, des catégories administratives privilégiées pour leur gestion, des comportements d’inscription des personnes sans travail, de la densité du réseau d’agences sur le territoire, etc. La donnée n’a donc rien de donné, elle est produite à l’issue d’un véritable processus de production en plusieurs étapes ; les choix faits à chacune de ces étapes influent sur les suivantes, et donc sur la donnée finale. Comme l’a bien montré Alain Desrosières, la quantification est un processus social de connaissance17. Il faut tout d’abord comprendre les étapes successives d’un processus de production d’une donnée sur le monde social et ensuite étudier le rôle que cette donnée joue dans la décision publique et dégager la nature de sa signification. De cela découlent trois interrogations légitimes quant à la validité de l’argument statistique.

16Première interrogation : la validité en termes d’information produite d’un argument statistique repose sur les conventions de définition et de mesure du phénomène qui en est l’objet. Le taux d’emploi, par exemple, n’a de signification qu’en relation avec la définition de ce qu’on appelle un emploi : s’agit-il de toute tâche de travail ou enrichit-on la définition de critères de qualité, comme la durée ou le type de contrat de travail par exemple ? Selon la convention retenue, le niveau et la variation de la grandeur considérée vont être différents. Le sens d’une donnée dépend, en d’autres termes, des conventions qui la définissent ; pour être intelligible, une donnée doit être accompagnée de l’explicitation, non seulement technique, mais sociale, de ces conventions.

17La seconde interrogation porte sur la nature des affirmations appuyées sur des arguments statistiques. Prenons le cas d’une affirmation comme « Le chômage a diminué de 5 % ». Il importe d’être conscient du fait que cette affirmation opère une identité entre deux propositions qui n’ont que peu à voir l’une avec l’autre. Elle prospère même sur la confusion entre deux niveaux de réalités différents. L’énonciateur fait comme si on pouvait passer, sans s’interroger sur la légitimité de ce passage, de la proposition A à la proposition B suivante.

18La proposition A relève d’un constat empirique, d’une evidence comme le disent les anglais : « Le nombre de demandeurs d’emploi inscrits à l’Agence nationale pour l’emploi et classés en catégorie 1 a diminué de 5 % ». Pour apprécier la valeur de vérité empirique, la production de cette evidence a besoin d’être analysée en profondeur dans ces différentes étapes. La proposition B est ce à quoi se limite l’énonciateur : « Le chômage a diminué de 5 % ». Elle renvoie à un ensemble de présupposés qui lui donnent sens, mobilisés par ce mot du langage courant, « chômage ». Ce mot a sa propre histoire ; il a de multiples significations, indigènes ou savantes. Il dispose de différentes constructions conceptuelles, adossées à autant de théories sur les réalités économiques et sociales. Il s’ensuit que la proposition B est d’une autre nature que la proposition A. Elle n’est pas un constat empirique, mais un jugement de valeur, tout le monde pensant (ou étant attendu comme pensant) que cette réduction de 5 % correspond à une amélioration de l’état du monde, en l’espèce de la « situation de l’emploi », autre expression mettant en scène un autre mot du langage courant tout aussi problématique, celui d’« emploi ». La force et l’efficacité politique de l’énonciation reposent largement sur l’absence d’interrogation publique (et collective) sur la légitimité qui consiste à identifier les propositions A et B et sur le sens que chacune a.

19Troisième interrogation : le consensus postulé par l’énonciateur sur le sens et la valeur de son affirmation est-il vraiment partagé par tout le monde ? La réponse est négative. Car, en réalité, tout dépend de ce qu’il en est de la vision sous-jacente du monde selon laquelle il est bon que le chômage diminue. Aujourd’hui, pour ne donner qu’un exemple, la Banque centrale européenne (BCE) opère le raisonnement selon lequel, toutes choses égales par ailleurs, moins de chômage implique davantage de revendications de hausse des salaires. Le problème posé par ce raisonnement n’est pas tant que la Banque centrale européenne n’intègre pas l’emploi parmi ses objectifs, que la théorie économique sur laquelle elle s’appuie quant au fonctionnement du marché du travail. Dans la mesure où – pour simplifier – cette théorie analyse le salaire comme résultant directement de la confrontation de l’offre et de la demande de travail, la Banque centrale européenne peut juger que cette réduction du chômage est néfaste pour d’autres objectifs économiques, comme la maîtrise de l’inflation voire le niveau de l’emploi. Selon son modèle de raisonnement en dynamique, elle peut en effet conclure que cette réduction du chômage menace la croissance économique, donc au bout du compte la situation de l’emploi. Néanmoins pour le citoyen ordinaire, l’équation qui fonctionne est la suivante : moins de chômage signifie plus d’emplois, davantage d’opportunités de gagner sa vie, moins de précarité. Le citoyen suit tout simplement une autre théorie sur le fonctionnement ordinaire du monde et a une conception de ce qu’est un bon emploi d’une manière qui n’est pas celle de la Banque centrale européenne. Cette coexistence d’une pluralité de significations donne naissance à ce que l’on peut appeler une situation d’ambiguïté cognitive.

Deux modèles de la décision publique

20Pour des raisons heuristiques (se faire comprendre) plus qu’historiques (retracer un processus en cours), on peut distinguer : d’un côté, le modèle qu’on qualifiera de « classique » de la décision publique, celui avec lequel on pourrait analyser l’« avant » du déploiement en France des techniques de new public management, et de l’autre, le « nouveau » modèle en germe dans la réforme en cours des politiques publiques.

Le modèle classique : construction de la base de connaissances et délibération démocratique

21Dans le modèle classique, le préalable à la décision publique est la constitution d’une base de connaissances relative à l’objet de la décision. La statistique publique et, au-delà l’appareil public d’enquêtes, d’études et de recherches sont les producteurs dominants de cette base de connaissances. Cette production demande un immense travail par lequel s’élaborent des concepts, des catégories statistiques, des questionnements concrétisés dans des questionnaires, des enquêtes (méthodes, échantillonnage), un appareillage de conventions de mesure. Sans recourir au détour historique, on peut néanmoins illustrer brièvement ces propos par le processus qui va de l’émergence de la question sociale au début du xxe siècle à l’établissement de l’État providence après la seconde guerre mondiale (processus bien étudié à ce jour par les sciences sociales dans divers pays européens). La constitution d’une base de connaissances sur le social a été inséparable d’un débat intense, d’une sorte d’effervescence collective auxquels ont participé et contribué les sciences sociales (en la personne notamment des économistes, juristes, politistes, sociologues), les représentants des forces sociales (syndicats, organisations professionnelles, collectivités territoriales), les partis et élus, les bureaucraties des ministères. Pourquoi une telle mobilisation collective dans cet exemple qui relève du modèle que nous qualifions de classique ? Parce que, pour produire des connaissances valables et opératoires, tout processus social de connaissances doit être en quête de vérité. Bien entendu, mais insistons quand même sur ce point, dans le monde social la quête de la vérité – autrement dit des faits sociaux qui importent pour la collectivité – ne peut pas être comprise dans le sens positiviste d’une vérité scientifique. Ce qui est cherché dans un tel processus de connaissance n’est pas le simple reflet du monde tel qu’il est. Il s’agit de s’approcher d’une situation où chacun doit pouvoir se dire quand il prend connaissance des données produites : « oui c’est bien cela qui se passe et il est juste socialement de s’en préoccuper ». Dans une telle situation politique et sociale où l’accord s’est ainsi établi sur les faits sociaux auxquels les politiques publiques doivent porter remède, les décisions à prendre peuvent être qualifiées de justes au double sens de justesse et de justice. Les difficultés rencontrées aujourd’hui pour réformer les États-providence témoignent a contrario de la profondeur du consensus politique qui s’est ainsi historiquement établi autour d’eux.

  • 18   Sur cette question voir : R. Salais, « Capacités, base informationnelle et démocratie délibérativ (...)

22Pour satisfaire à ces deux conditions de justesse et de justice, autrement dit pour être objectif, un processus social de connaissances doit donc être inséparable de formes démocratiques de délibération publique et du débat contradictoire18. Car un tel processus vise à transformer la diversité des expériences vécues par chacun (diversité recueillie précisément par l’enquête, outil élémentaire des sciences sociales) en un savoir général (qui prend la forme d’une connaissance commune, pourrait-on dire) sur l’objet de la décision publique qui doit être prise. À son issue, les facteurs explicatifs et les variables d’action pertinentes ont été produits et ainsi repérés. Il faut préciser la nature de l’accord collectif qui peut s’établir sur l’objectivité de ce savoir. Il ne s’agit pas d’un consensus de nature politique et stratégique. Il s’agit d’un accord sur l’étendue et la composition de ce qu’il y a à connaître et sur les catégories pour le rendre intelligible. Le désaccord n’est pas supprimé ; il se poursuit et demeure sur le poids relatif des problèmes, les facteurs explicatifs et les variables par lesquelles agir. Néanmoins chacun s’est accordé sur la teneur de ce qu’il est nécessaire de connaître et sur les procédures pour le connaître. Et c’est l’un des produits les plus précieux de la démocratie, l’antagonisme qui pouvait dominer au début du processus s’est changé en un débat public où l’on échange des faits et des raisons. Il résulte aussi de cette exigence d’objectivité que la base de connaissances doit être établie avec rigueur, sur le plan méthodologique et scientifique, car c’est le fondement de sa crédibilité. À cette fin, l’appareil statistique et de recherche doit disposer de l’autonomie nécessaire pour fixer son agenda et décider librement de ses méthodes et outils.

Le « nouveau » modèle : prédétermination du tableau de bord et gestion par la maximisation de la performance

  • 19   Source : site web cité, DRB, 2005, « Les concepts de la performance » (diaporama Powerpoint).

23Dans le modèle de décision publique en germe dans les différentes variétés de new public management, la logique à l’œuvre est tout autre. Le principe de ces technologies de gouvernance est le pilotage de l’action publique par la performance, telle que mesurée par un ensemble d’indicateurs, quantitatifs le plus souvent. Comme le dirigeant d’une entreprise, le centre fixe sans concertation sérieuse (autre qu’interne) un tableau de bord composé d’objectifs quantitatifs à réussir. Tous les acteurs du haut en bas de la filière de la décision publique doivent ensuite s’ingénier pour trouver à leur niveau la manière d’accroître, à moyens constants, la performance telle qu’elle s’inscrira in fine dans le tableau de bord du décideur central. Comme le souligne, on ne peut mieux, un diaporama (très complet) de formation aux concepts de la performance ci-après reproduit19 :

« La performance est la capacité à atteindre des résultats prédéfinis. La démarche de performance est le dispositif de pilotage ayant pour but d’améliorer l’efficacité de la dépense publique en orientant la gestion vers des résultats prédéfinis » (p. 3).

24Autrement dit, les acteurs d’une « démarche de performance » connaissent à l’avance leurs cibles quantitatives à atteindre (« les résultats prédéfinis »), donc savent dès le départ sur quels critères (ces cibles précisément) ils seront évalués. Cette confusion de la cible et de l’évaluation est une incitation directe à l’adoption d’un comportement rationnel de maximisation du score, tel que mesuré par les indicateurs. L’enjeu n’est plus d’améliorer réellement les situations (ce réel étant constaté par des méthodes d’enquête et de recueil de données qui privilégient une connaissance véritable des situations de vie et de travail), mais d’obtenir la performance quantitative souhaitée, quelle qu’en soit la méthode. Les propriétés, par ailleurs si merveilleuses, des nombres évoqués en introduction révèlent, dans ce second modèle, leurs potentialités politiques. Toute modification de l’existant devient bonne à prendre du moment où elle se traduit par un accroissement de la performance. On ne peut certes être hostile a priori à l’amélioration de l’efficacité, à obtenir de meilleurs résultats à moyens constants. Mais les caractéristiques que l’action prend dans la pratique engendrent une série de problèmes. Le risque encouru est d’abandonner toute référence, autre que rhétorique, à l’intérêt général, au bien commun et à des objectifs fondamentaux de justice sociale.

Un exemple : la police nationale et la culture de la performance

  • 20   Source (dans le site web cité) : Réseau interministériel de contrôle, 2006, « La déclinaison des (...)
  • 21Ibidem, p. 3.
  • 22Ibidem, p. 8.
  • 23   L. Mucchielli, « The new “management of security” put to the test : crime and police activity und (...)

25Prenons trois indicateurs de performance parmi ceux suivis dans les « projets d’amélioration de la performance » (PAP) et les « budgets opérationnels de programme »( BOP (qui sont définis, du niveau national au niveau local, pour la police nationale20 : l’évolution annuelle du nombre de faits élucidés de voie publique ; le taux de présence policière sur la voie publique ; la corrélation entre le taux de présence et la délinquance. La présence de ces indicateurs, avec d’autres, traduit « une impulsion politique forte en faveur de la culture du résultat [depuis 2002 : la volonté du ministre de faire passer la police nationale d’une « culture de moyens » à une « culture de la performance »]. Des réunions mensuelles de préfets examinent les résultats (les cinq meilleurs, les cinq moins bons). Une prime de résultats exceptionnels est mise en œuvre : « 5 puis 10 puis 15 millions d’euros en 2006 qui concerne environ 25 000 fonctionnaires sur 150 000 »21. Pour chacun des trois indicateurs ci-dessus des cibles de croissance sont fixées. « Ces valeurs-cibles figurant dans le projet d’amélioration de la performance s’imposent à tous. Ceux qui sont déjà au-dessus de la cible nationale doivent faire au moins aussi bien que l’objectif national »22. Leur réalisation est analysée comme un témoignage de réussite de l’action policière, comme satisfecit à leur égard. Cela établi, on peut s’interroger sur la signification d’une telle réussite, sur le type d’action efficace pour les atteindre, sur la philosophie de l’action publique qu’elle véhicule. Précisons dès le départ que ni la professionnalité, ni la qualité du travail des policiers ne sont en jeu dans nos questions. Sont en jeu les conceptions et le cadre d’action qui leur sont donnés par ce type de pilotage pour organiser et faire leur travail. De quoi rend compte l’accroissement des faits élucidés ? D’un meilleur travail de la police (augmentation de l’élucidation) ? D’un accroissement de la délinquance, à travail égal ? D’une définition plus extensive de la notion de « fait de voie publique » (les agents ayant tendance à recenser et qualifier ainsi des circonstances qui ne l’auraient pas été en l’absence de telles incitations) ? D’un accroissement de la présence policière ? D’une concentration de la présence des policiers dans les lieux, les jours et les heures où ils savent d’expérience que la délinquance a le plus de chances de se manifester, ce qui leur permet d’accroître leur score sur l’ensemble des trois indicateurs (le dernier – le taux de corrélation – constituant une incitation rationnelle à ce type de stratégie) ? De tout cela à la fois, très probablement, et de manière indémêlable. À mesure que les services de police entrent dans une logique d’apprentissage de ce qu’on attend d’eux et des gains de rémunération et de satisfecit qu’ils peuvent en espérer, les comportements rationnels d’accroissement direct du score risquent de s’étendre. Le durcissement des cibles quantitatives sans que les moyens suivent ne peut que renforcer la tendance. Les services de police seront enclins à concentrer leur présence sur les endroits et aux moments les plus rentables : dans les quartiers difficiles et en direction des populations jugées à risque par exemple – voire, dans les cas extrêmes, en adoptant des comportements inconsciemment provocateurs. En contribuant à entretenir un climat d’affrontement, la « culture du résultat » s’éloigne alors dangereusement de ce que demanderait un travail efficient et responsable du point de vue des attentes de sécurité de la population, l’objectif officiellement visé et pris comme justification. Plus encore, si l’on creuse un peu, la performance ainsi mesurée et exigée a, paradoxalement, besoin de la délinquance et, d’une certaine manière, elle tend à la créer statistiquement. Une diminution ou une absence de délinquance, et c’est l’espoir d’atteindre les objectifs qui disparaît et, dans la foulée, une possible stigmatisation pour mauvaise performance qui apparaît. On se rend compte ainsi que la culture du résultat part, comme fondement de l’action publique en matière policière, d’une logique de répression, et non d’une logique de prévention. En effet, on ne peut pas, par définition, comptabiliser les faits de délinquance évités. La logique de prévention implique, elle aussi, une présence régulière et suffisante, mais une présence fondée sur le contact et le dialogue ouvert avec la population et avec ses membres les plus difficiles, une présence fondée sur la prise au sérieux pour tenter de les résoudre des souffrances et des besoins dont témoignent les pulsions délinquantes, une présence fondée sur le concours avec les autres agences publiques et locales ainsi qu’avec les habitants pour trouver des solutions durables qui préviennent l’apparition des problèmes. Cette logique relève d’une démocratie de terrain qui encourage la participation de tous les intéressés23.

26Rapporter des progrès d’une politique de prévention relève davantage d’une appréciation qualitative que quantitative. Le « problème » qu’une telle politique pose est, en outre, qu’elle interdit une stratégie de communication politique centrée sur l’affichage de résultats quantitatifs, autrement dit sur une utilisation politique de l’argument statistique.

  • 24Ibid. ; R. Salais, « La politique des indicateurs. Du taux de chômage au taux d’emploi dans la st (...)
  • 25   Voir, dans le même sens, les recherches sur l’application de ces méthodes à New York, citées dans (...)
  • 26   De son côté Jean-René Brunetière, 2006, s’était attaché à analyser un échantillon tiré au sort de (...)

27L’objectif de communication politique a été mis au centre des réformes de management de la police en France 23. Une analyse mensuelle des statistiques de la police a été établie, avec transmission à la presse (pression a été faite pour qu’il en soit de même au niveau local). En interne, ont été convoqués chaque mois au ministère les préfets et responsables de la police des cinq meilleurs et des cinq plus mauvais départements. Cette opération publique qui correspond à la pratique qualifiée de stigmatisation dans les pays anglo-saxons (naming and shaming) est caractéristique et s’observe également dans la « méthode ouverte de coordination » (MOC) européenne (sous la forme du peer review). Caractéristique, également – malgré l’étendue de la batterie des indicateurs déployés – est la focalisation de la communication sur un ou deux indicateurs agrégés au nom de la simplicité et de la comparabilité : les crimes enregistrés par les services de la police et de la gendarmerie ou, pour la « stratégie européenne pour l’emploi » (SEE), le taux d’emploi brut. Dans ces deux cas, il s’agit de montrer et d’afficher l’efficacité des politiques entreprises. Une analyse précise de ce qui est comptabilisé et des modes de comptabilisation révèle, dans chaque cas, que ces indicateurs ne reflètent en réalité aucunement ce que prétend le discours politique24. Rien ne vient étayer l’idée selon laquelle l’intensification mesurée de l’action de la police serait le principal facteur de la réduction de la délinquance25. Dans le cas de la stratégie européenne pour l’emploi, l’augmentation du taux d’emploi brut doit beaucoup à la création de tâches précaires et de basse qualité en contradiction avec la stratégie de Lisbonne (« des emplois plus nombreux et meilleurs »)26.

  • 27   A. Purenne et J. Aust, « Piloter la police par les indicateurs ? Effets et limites des instrument (...)

28L’adoption d’un comportement rationnel de maximisation des scores est avérée dans les travaux sur la réforme de gestion de la police. Il ne s’agit pas nécessairement d’un comportement nouveau, mais d’une accentuation ou, plutôt, d’une redéfinition stratégique de l’action des services autour de cette préoccupation centrale : montrer à léchelon supérieur qu’on est de plus en plus performant. Comme le soulignent A. Purenne et J. Aust, des acteurs nouveaux en quête de légitimité, échelons intermédiaires à mi-chemin entre les services d’état-major et les niveaux inférieurs, vont s’appuyer sur les instruments de suivi de la performance pour assurer leur autorité sur les unités placés sous leur responsabilité27. D’où toute une série de comportements des membres de ces unités : se placer au bon moment et au bon endroit, se polariser sur les groupes réputés les plus en infraction ; rechercher des cibles potentiellement multi-infractions, car plus rentables quant au score ; tenir le cap sur certains indicateurs phares ; éviter les variations trop amples de manière à ne pas attirer l’attention sur soi, etc.

De quelques problèmes pesant sur les politiques publiques28

  • 28   Cette troisième partie reprend, avec des illustrations différentes, une partie déjà présentée dan (...)

29On évoquera quatre problèmes dans ce qui suit : la difficile conciliation entre performance et justice sociale ; les pièges posés par les exigences de comparabilité et de simplicité ; la normativité cachée au sein des groupes d’indicateurs ; la fabrication des preuves par l’usage des conventions statistiques à des fins politiques.

Premier problème : la difficile conciliation entre performance et justice sociale

  • 29   Dans le site web cité : ministère de la Santé et des Solidarités / ministère de l’Emploi, de la C (...)

30L’expérimentation, entreprise en 2006 dans trois régions, relative à l’intervention des ministères sociaux et intitulée « Politiques en faveur de l’inclusion sociale »29, fixe comme objectif stratégique du « Projet d’amélioration de la performance et opérationnel » du « budget opérationnel de programme » (BOP) : « Améliorer l’efficience de la prise en charge des personnes vulnérables ». L’indicateur central est le « coût moyen de la prise en charge d’une personne hébergée dans un centre ». Cet exemple met bien en valeur la difficile conciliation entre recherche (et mesure) de la performance quantitative et justice sociale.

31Parmi les quatre enjeux identifiés dans l’étape n° 2 (« équité territoriale, animation des services, efficacité et coût ») du schéma ci-dessous, les deux derniers expriment la « volonté de mesurer l’incidence des dispositifs » (efficacité) par « l’impératif de maîtriser les dépenses » (coût). Ils apparaissent prioritaires et donnent leur sens aux deux premiers. L’équité territoriale porte sur la péréquation d’une région à l’autre des subventions aux associations de manière à ce qu’elle incite ces associations à la maîtrise des coûts (« rebasage des subventions aux associations pour gommer les traditionnelles inégalités d’une région à l’autre »). L’animation des services a pour objectif que les différents partenaires acquièrent la culture de la gestion quantifiée, l’outil utilisé étant « la mise en place de chartes territoriales ». L’étape n° 4 vise à sélectionner quelques indicateurs de « leviers d’action », à chacun desquels est associé un « facteur explicatif ». Au niveau central, « un indicateur global consolide l’ensemble des indicateurs de chaque action ».

  • 30Op. cit., page 5.

Schéma n°1. La méthodologie de déclinaison des objectifs / indicateurs en leviers d’action30.

32À quelle conduite de l’action publique ce pilotage par les coûts induit-il les acteurs ? Prenons un exemple proche, relatif aux performances des activités d’insertion dans l’emploi : placements par l’Agence nationale pour l’emploi (ou par France-emploi), entreprises d’insertion par l’économique, les différentes formules pour l’insertion des jeunes. L’indicateur central utilisé est le « taux de placement des bénéficiaires » À première vue, voilà un indicateur susceptible de faire consensus. Le problème est qu’il va servir de variable clé pour déterminer le financement alloué, soit dans les négociations préalables internes au ministère de tutelle, soit dans les négociations entre ce dernier et le ministère du Budget. Car le taux de placement s’accompagne de son corollaire, le coût moyen de prise en charge. Le financement obtenu va dépendre de la combinaison de la performance, mesurée par le taux de placement, avec le coût moyen.

33Les praticiens, quant à eux, savent d’expérience que l’insertion dépend de multiples facteurs, tenant à l’hétérogénéité des personnes et à la diversité des situations locales. La distance à l’emploi est très variable selon les bénéficiaires potentiels, leurs caractéristiques individuelles, leurs profils, leurs situations de famille, etc. Il n’y a pas deux personnes identiques. Toutes choses égales par ailleurs, la facilité de l’insertion dépend des possibilités locales, de la bonne volonté des acteurs locaux, de l’engagement plus ou moins important des chefs d’entreprise. Les résultats sont aussi très sensibles aux contraintes qu’on se donne quant à la qualité de l’insertion, sa durabilité, quant aux possibilités que la tâche, le stage, l’emploi trouvés offriront à l’intéressé pour sortir durablement de ses difficultés. Schématiquement, les personnes qui mériteraient le plus d’effort et qui devraient être les publics prioritaires sont celles qui, individuellement, coûtent le plus. Elles sont les moins « rentables » du point de vue de l’obtention de la performance quantitative. Plus on est exigeant sur la qualité de l’insertion, plus il est difficile d’avoir une bonne performance.

  • 31   Selon une démarche explicitée dans l’illustration qui suit : « valeur actuelle, valeur précédente (...)

34Malgré eux, en dépit de toute leur bonne volonté ou de leur engagement social, les praticiens de l’insertion sont contraints à un processus rationnel d’apprentissage, qui consiste à découvrir les moyens les plus efficaces pour atteindre la performance fixée au moindre coût. Un effet de sélection à l’entrée risque de se mettre en place. On estimera ex ante, avec l’expérience acquise, voire avec des instruments sophistiqués de profilage, les chances d’insertion des candidats à l’issue de la mesure ; un biais de sélection s’introduit en faveur des candidats estimés les moins difficiles à insérer. Des stratégies complexes voient le jour par lesquelles on accepte quelques candidats « difficiles », pourvu que la performance attendue des autres compense le handicap. Le management par la performance quantitative engendre ainsi un effet pervers, qui a de bonnes chances de croître à mesure qu’on durcira l’objectif à atteindre31 : l’exclusion des candidats les plus en difficulté (ou leur traitement insuffisant), alors qu’ils devraient être prioritaires.

35On peut présumer, pour la plupart des praticiens qui croient à leur métier, le développement d’un sentiment diffus de gêne, sinon davantage. Car la délégation de responsabilité au niveau local et au niveau des services opérationnels, ajoutée au fait d’être soumis soi-même à une évaluation de sa propre performance (délégation et évaluation qui sont des règles élémentaires du new public management) conduit à ce que ces praticiens doivent assumer les conséquences d’un tel management (travail mal fait, moyens insuffisants, exclusion des cas les plus difficiles, dépersonnalisation) en contradiction avec leur éthique professionnelle. La question de fond est, en effet, la référence du jugement porté sur la performance. S’agit-il de l’état des personnes prises en charge dans leur diversité, auquel cas la performance devrait être évaluée en dynamique pour chaque personne : son état s’est-il amélioré ou non depuis l’entrée dans le dispositif jusqu’à une période suffisamment lointaine pour qu’on puisse évaluer si l’amélioration a ou non été durable, voire irréversible ? Ou s’agit-il de l’accroissement de la performance de l’organisation à laquelle le praticien appartient dans une sorte de boucle autoréférentielle par laquelle on oublie que la raison d’être de l’organisation, et spécialement d’un service public, réside dans la satisfaction de ses usagers et dans le fait de les avoir réellement aidés à surmonter leurs difficultés ou problèmes ?

Second problème : les exigences de simplicité et de comparabilité aboutissent à ce que les mauvais indicateurs chassent les bons

  • 32   Document cité, note : « À chaque niveau supérieur, sont recueillis les indicateurs les plus perti (...)

36Face aux critiques, une réaction fréquente est de raffiner et de multiplier les indicateurs, jusqu’à avoir, dans bien des cas, des batteries de plusieurs dizaines d’indicateurs. Les « projets d’amélioration de la performance » et « budgets opérationnels de programme » de la police nationale évoqués plus haut comportent, pour le premier, 25 indicateurs, et pour le second 27 ; on arrive au niveau départemental à 45 indicateurs32. L’amélioration obtenue ne doit pas être sous-estimée, mais elle ne supprime pas le biais de sélection, ni l’apprentissage rationnel. Ces batteries devenant ingérables, de nouveaux problèmes apparaissent, liés aux exigences de simplicité et de comparabilité. Car, plus on remonte vers le centre, plus les indicateurs conservés doivent être peu nombreux et simples.

  • 33   Source : DRB, 2005, « Les concepts de la performance », diaporama (Powerpoint) p. 3-4.

37Selon le diaporama servant de support de formation déjà cité33, un indicateur doit : (1) « permettre de formuler un jugement ; (2) être immédiatement interprétable ; (3) être robuste et élaboré à un coût raisonnable ; (4) être documenté ». Néanmoins qu’entendent par là les formateurs ? Qu’« un indicateur doit être compréhensible ou clairement expliqué » et que sont nécessaires « des précisions méthodologiques : source des données, construction de l’indicateur (ratio : indiquer numérateur et dénominateur ; mode de collecte des données de base ; services responsables) », etc. ? L’examen de la fiche de documentation proposée montre que les précisions demandées ne portent pas sur la compréhension de la chaîne de production de la donnée (depuis, disons, l’enregistrement d’un délit sur le terrain jusqu’à l’agrégation des enregistrements au niveau d’un indicateur national). Cette chaîne demeure non questionnée. Cet aveuglement est nécessaire à un usage des indicateurs selon les fins attendues par leurs promoteurs.

  • 34   On trouve des phénomènes semblables dans les pratiques d’audit, M. Power, The Audit Society. Ritu (...)

38Ne pas douter de la comparabilité est en effet décisif car la dynamique recherchée d’accroissement des performances est actionnée par la technique du benchmarking (étalonnage). La comparaison des performances, par exemple entre les agences locales, vise à classer celles-ci selon un ordre qui va des bonnes aux mauvaises, et à pénaliser les mauvaises en réduisant leurs moyens ou à les inciter fortement à se saisir des « bonnes pratiques » des autres. Pour cela, les conditions sont les suivantes : il faut que l’indicateur soit calculable par tous et que tous aient à leur disposition les données requises. Ces conditions sont procédurales. Pour les satisfaire, il n’est pas besoin d’interroger les moments singuliers concrets où les données se forment, puis s’agrègent, mais seulement d’être en mesure d’exhiber du respect formel de ces règles34. Dans bien des cas néanmoins, la contrainte est forte et conduit à exclure les indicateurs les moins mauvais, car trop sophistiqués. Par exemple, l’insertion dans l’emploi gagnerait en qualité, si on ne considérait comme inclus que les personnes encore en emploi trois mois plus tard. Il suffirait d’imposer cet indicateur. Mais il faut pour cela mettre en place des opérations de suivi, qui s’avèrent rapidement coûteuses et difficiles à maintenir au degré de précision voulu. Un tel indicateur, s’il était inclus dans la « stratégie européenne pour l’emploi » (SEE), par exemple, impliquerait que tous les (ou la grande majorité des) États membres disposent de statistiques de suivi des trajectoires des demandeurs d’emploi ; or ce n’est le cas que d’une faible minorité.

39Accroître le nombre d’indicateurs multiplie en outre les risques d’incohérence entre eux, spécialement entre les orientations qu’ils donnent quant aux politiques à suivre. Dans la plupart des systèmes de gestion des demandeurs d’emploi en Europe, tout demandeur qui revient dans son agence après avoir perdu l’emploi dans lequel il avait été placé est considéré comme formulant une nouvelle demande, quel que soit le temps, même très court, passé dans cet emploi. Il est considéré comme un nouveau demandeur, alors que si l’on imposait trois mois minimum dans l’emploi, tous ceux en dessous de trois mois revenant à l’agence resteraient dans le cadre de leur demande initiale ; ils ne seraient pas « nouveaux ». Or, parmi les autres indicateurs de la stratégie européenne pour l’emploi, figure un objectif de réduction de la part des demandeurs d’emploi de plus d’un an dans l’ensemble des demandeurs d’emploi. L’intention – a priori louable si elle ne générait pas, elle aussi, des effets contraires – est de faire en sorte qu’aucun demandeur ne soit laissé trop longtemps sans qu’on s’occupe de lui, sans qu’une proposition ne lui soit faite. Le problème est que porter à trois mois la durée minimale dans l’emploi accroîtrait mécaniquement la part des chômeurs de longue durée ; ce ne serait pas « bon » pour la performance alors qu’en refusant de profiter de la précarisation de l’emploi pour accroître le score, on ne la favoriserait pas indûment.

40Enfin, plus fondamentalement, un indicateur n’est profitable à la communication politique que s’il peut être, non pas compris au sens profond du terme, mais simplement évocateur dans l’esprit du destinataire d’une opinion favorable quand bien même, apparaîtrait-elle erronée si par (mal)chance, elle se confrontait sérieusement aux réalités de la situation. Pour qu’un indicateur soit politiquement bon, il faut et il suffit que fonctionne sans heurts chez le destinataire du message l’équivalence entre les propositions A et B évoquées ci-dessus et qui conduisent à la croyance selon laquelle « le chômage a diminué de 5 % ».

Troisième problème : la normativité cachée au sein des batteries d’indicateurs

41Tout groupe d’indicateurs sélectionne et construit les domaines supposés pertinents pour l’action publique à entreprendre dans le secteur considéré. En d’autres termes, une batterie d’indicateurs offre à l’avance une description du monde tel qu’il devrait être, tel qu’il devrait fonctionner. Mais cette normativité n’est pas véritablement débattue, car elle est incorporée dans une matière hautement technique pour le profane (ainsi que pour les élus ou les bureaucrates) : celle du choix des indicateurs, de leurs modalités de calcul, des sources statistiques utilisées pour les mesurer. Elle est de ce fait dissimulée.

42Dès la stratégie européenne pour l’emploi dans sa première version (jusqu’en 2002-2003), les indicateurs pour mesurer la performance des politiques nationales d’emploi ont été centrés sur un seul versant du marché du travail, celui de la demande d’emploi, spécialement sur les comportements individuels de recherche d’emploi et l’employabilité individuelle. Or, comme chacun le sait, le marché du travail comporte un autre versant, tout aussi important, celui de l’offre d’emploi par les employeurs. Aucun indicateur n’existe pour apprécier la vulnérabilité au chômage, c’est-à-dire le risque de perdre son emploi. L’apprécier aurait pour intérêt de faire entrer dans le domaine de l’action européenne la gestion de la main d’œuvre par les entreprises, ses mauvais comme ses bons côtés dans un objectif de réduction de la vulnérabilité. Un tel indicateur inscrirait dans l’agenda européen, la lutte contre la précarité de l’emploi. Il inciterait aussi à soutenir des gestions préventives de la main d’œuvre par les employeurs, c’est-à-dire des gestions qui visent à réduire la vulnérabilité au chômage. Même si un tel indicateur n’est pas à l’abri, comme les autres, de tentatives d’instrumentalisation (telles que déguiser des licenciements en départs volontaires), il pourrait favoriser des comportements vertueux : reclassements internes, formation dans l’emploi, gestion prévisionnelle des compétences en fonction des mutations à venir des produits et des modes de travail, etc.

Quatrième problème : la fabrication des preuves par l’usage des conventions statistiques comme instruments politiques

43Un tableau statistique n’est pas simplement une collection de chiffres (un dans chaque case, par exemple, dans un tableau à double entrée) dont certains sont plus grands ou plus petits que d’autres et dont on tire des affirmations du genre : « le taux d’emploi féminin est en 2005 plus élevé en Grande-Bretagne qu’en France ». Un tableau statistique est, avant tout, une procédure d’agrégation de situations individuelles singulières, singulières par exemple sous l’angle de l’emploi et de la position sur le marché du travail. Dans la même case, sont regroupées des situations que le fabricant du tableau considère (et veut faire considérer) comme identiques, comme équivalentes au regard de tel critère ou propriété. Ainsi, on mettra dans la même case toutes les femmes « qui ont un emploi » ; elles seront considérées comme équivalentes au regard de la propriété « avoir un emploi ». La question devient de savoir ce qu’on entend par « emploi ».

  • 35   Commission européenne, 2005. On trouve l’indication dans le tableau de bord dans la partie straté (...)

44L’indicateur pivot de la stratégie européenne pour l’emploi est le taux d’emploi. La convention statistique qu’il est demandé aux États membres de suivre35est la suivante :

  • 36   La Commission européenne classe les indicateurs en deux catégories. Les monitoring indicators son (...)

45« Les personnes ayant un emploi sont celles qui, durant la semaine de référence, ont fait un quelconque travail rémunéré (ou fournissant un profit) pour une durée d’au moins une heure, et celles qui, tout en n’ayant pas travaillé, ont un emploi dont elles étaient temporairement absentes ». Statistiquement parlant, appliquer cette définition est simplement suivre la définition du Bureau international du travail (BIT). Traduite en convention politique, la définition prend un autre sens. Elle implique que, quelle que soit la tâche en termes de qualité (niveau du salaire, conditions de travail, type de contrat…), elle peut être considérée comme un emploi si elle a duré au moins une heure. On doit parler de « convention de l’emploi sans qualité ». Une telle convention politique est donc loin d’être triviale. Un emploi sans qualité est, ultimement, une tâche débarrassée de toute garantie légale (en termes de recrutement, de protection contre les licenciements ou de salaire minimal) et de toute protection sociale (droits économiques et sociaux). Ces spécifications n’importent pas dans la construction des tableaux demandés par la Commission européenne pour évaluer les performances des États membres. Toutes les tentatives faites pour introduire une politique de la qualité des emplois ont, pour l’essentiel, échoué, y compris celle de hisser l’indicateur « taux d’emploi équivalent temps plein » du rang d’analysing indicator à celui de monitoring indicator36. En écartant les critères de qualité et en utilisant un simple étalonnage quantitatif, la « méthode ouverte de coordination » de l’Union européenne encourage de fait les États membres à affaiblir la qualité de leurs propres conventions d’emploi de manière à pouvoir accroître leur performance quantitative, et à adopter ultimement la convention de l’emploi sans qualité comme référence de leurs réformes de structure.

  • 37   Voir les données dans : R. Salais, « Usages et mésusages de l’argument statistique : le pilotage (...)

46S’en tenir à l’indicateur brut a un impact certain sur le jugement que la Commission européenne et les États membres peuvent porter quant à l’évolution de leur performance en termes d’emploi. Avec cet indicateur, la performance s’améliore de 1997, début de la stratégie européenne pour l’emploi, à 2005 dans les grands pays37. La Commission européenne, tout en remarquant qu’il faudrait encore faire plus, ne se prive pas de se féliciter des progrès accomplis. Néanmoins, pour tout économiste un tant soit peu sérieux, la capacité d’une économie à créer du travail se mesure au nombre total d’heures de travail effectuées dans l’année par la population active. Le calcul est nettement plus compliqué, mais il est possible de le faire grâce à l’enquête européenne sur l’emploi (labour force survey). Dans l’hypothèse où l’horaire légal de travail est de quarante heures par semaine, une personne qui travaille une heure par semaine compte pour 1/40e seulement et non pour un. Ainsi mesurée, la performance des pays considérés apparaît médiocre, souvent stagnante de 1997 à 2005. La France, si vilipendée, afficherait en revanche une bonne performance, car le passage de l’horaire légal de 39 à 35 heures dans la période réduit la référence de l’emploi à temps plein et améliore d’autant le taux d’« emploi équivalent temps plein ». Il n’y a, à vrai dire, rien de surprenant dans la modestie des résultats obtenus en termes de création de travail, car la croissance économique n’a pas été bien vigoureuse toutes ces années.

***

Un nouveau registre politique : la représentation cognitive des situations

47Ce nouveau modèle s’ajoute à celui que nous connaissons, avec des effets de compromis, de rétroaction, voire de substitution à moyen et long terme. Les exemples présentés plus haut attirent l’attention sur le fait qu’il existe, en fait, deux registres de la représentation politique, et non un seul. Le seul pris en compte habituellement est le registre de la représentation des intérêts par les partis politiques, les organisations collectives, les associations, les groupes d’intérêt, etc. Or l’emploi systématique de batteries d’indicateurs, de tableaux statistiques à des fins politiques révèle qu’il existe un second registre, celui de la représentation cognitive des situations. Ces méthodes déterminent, dans la préparation des décisions budgétaires, la représentation cognitive de la situation à traiter. Elles orientent ainsi la décision publique dans des directions et vers des objectifs précis, qui n’ont fait l’objet d’aucun processus collectif de délibération démocratique du genre de ceux que nous évoquions pour le modèle « classique ». Ce qui importe, c’est le taux brut d’emploi et non la qualité de l’emploi par exemple. Autrement dit, cela revient à décider à la place des citoyens, de ce qu’ils sont et de ce à quoi ils aspirent, avant même qu’ils aient pu faire entendre leur voix. Car chacun d’entre nous est représenté dans un ensemble d’indicateurs. Nous sommes quelque part dans une case d’un tableau au croisement de catégories de classification sociale, au hasard d’une grandeur ou d’un taux. Par exemple, le taux d’emploi représente chacun d’entre nous comme satisfait d’avoir un emploi, quel qu’il soit, ou en voulant un, indépendamment de sa qualité ou de nos aspirations ou revendications.

48Ce second registre de la représentation politique porte sur le formatage de l’information et le système de catégories qui représente la situation d’une personne du point de vue de l’action publique à entreprendre. Les sciences sociales doivent s’intéresser aux conditions dans lesquelles les citoyens participent ou non, et dans l’affirmative à quels niveaux et comment, à l’élaboration des cadres cognitifs de manière à les rendre adéquats à ce qu’ils considèrent être un traitement juste des problèmes. En un mot, elles doivent se saisir du problème de la démocratie des choix collectifs, non seulement du problème des procédures optimales de délibération (ce à quoi s’attachent les recherches sur la démocratie délibérative), mais, plus fondamentalement et en amont, du problème des voies démocratiques par lesquelles un accord collectif peut être obtenu sur la construction des faits qui rendent compte d’une manière juste (au sens toujours, de justesse et justice sociale) des questions à résoudre. En l’absence d’un tel questionnement par les sciences sociales, nous risquerions collectivement de glisser subrepticement dans ce qu’on pourrait appeler l’a-démocratie, c’est-à-dire l’apparence de la démocratie dans les choix collectifs, mais sans son contenu (la réalisation du bien commun et la satisfaction des droits fondamentaux).

Haut de page

Notes

1   A.B.L. Cheung, « La compréhension des réformes du service public : tendances mondiales et questions diverses », Revue internationale des sciences administratives, décembre, 1997, p. 513-537.

2   OCDE, La gestion des performances dans l’administration : mesure des performances et gestion axée sur les résultats, Paris, Études hors série, 3, 1994.

3   Car ces méthodes sont propagées, non seulement par des organisations internationales comme l’OCDE ou la Banque mondiale, mais aussi par les écoles de management et des armées de consultants et d’instituts de recherche, sans parler des gouvernements et administrations nationales (États-Unis, Grande-Bretagne spécialement) qui ont appliqué ces méthodes dès la fin des années 1980 et le début des années 1990.

4   Pour une bonne analyse : voir F. Dreyfus, « La RGPP et la conception du rôle de l’État », Revue française d’administration publique, 2010.

5   A. Desrosières, La politique des grands nombres, Paris, La Découverte, 1993 ; P. Lascoumes et P. Le Galès (dir.), Gouverner par les instruments, Paris, Presses de sciences-po, 2004.

6   C’est ainsi que la Revue française d’administration publique publia en 2006 un article relatif à la question de la pertinence et de la légitimité des indicateurs utilisés dans la LOLF : Brunetière (Jean-René), « Les indicateurs de la LOLF : une occasion de débat démocratique ? », Revue française d’administration publique, no 117, 2006, p. 95-112.

7   A. Purenne et J. Aust, « Piloter la police par les indicateurs ? Effets et limites des instruments de mesure des performances », Déviance et société, 34, 1, 2010, p. 7-28 ; L. Mucchielli, « The new “management of security” put to the test : crime and police activity under Ministry Sarkozy (2002-2007)”, Champ pénal, vol. V, 2008, http://champpenal.revues.org/7717  ; J.-H. Matelly et C. Mouhanna, Police : des chiffres et des doutes. Regard critique sur les statistiques de la délinquance, Paris, Michallon, 2007 ; E. Didier, Des statistiques pour un nouveau management de la police ? Travaux sur l’importation du Compstat new-yorkais par la Préfecture de police de Paris et sur ses effets, en particulier pour la sécurité routière, Rapport de recherche, Paris, ACI-SRS, 2005. Je dois ces références à Jérôme Gauthier (Centre Marc Bloch, Berlin) que je remercie chaleureusement. Jérôme Gauthier termine une thèse sur la comparaison des méthodes de la police et du recrutement de policiers issus des « minorités » à Berlin et en Ile-de-France.

8   A. De Cavarlay, « Lieux de privation de liberté : éléments de chiffrage » (Chapitre 10. Contribution), in Rapport 2009 du contrôleur général des lieux de privation de liberté, 2009, p. 233-274.

9   R. Salais, « La politique des indicateurs. Du taux de chômage au taux d’emploi dans la stratégie européenne pour l’emploi », in B. Zimmermann (dir.), Les sciences sociales à l’épreuve de l’action. Le savant, le politique et l’Europe, Paris, Éditions de la MSH, p. 287-331 ; R. Salais, « On the correct (and incorrect) use of indicators in public action », Comparative Labor Law & Policy Journal, vol. 27, 2, Winter, 2006, p. 237-256 ; R. Salais, « Capacités, base informationnelle et démocratie délibérative. Le (contre-) exemple de l’action publique européenne », in J. De Munck et B. Zimmermann (dir.), La liberté au prisme des capacités. Amartya Sen au-delà du libéralisme, Paris, Éditions de l’EHESS (Raisons pratiques 18), 2008, p. 297-329 ; R. Salais « Usages et mésusages de l’argument statistique : le pilotage des politiques publiques par la performance », Revue française des affaires sociales, vol. 1-2, 2010, p. 127-149 ; I. Bruno, Déchiffrer l’Europe compétitive. Étude du benchmarking comme technique de coordination intergouvernementale dans le cadre de la stratégie de Lisbonne, Thèse, Sciences-po, CERI, 2008.

10   Dans son numéro 5, 2010, la Revue française de socio-économie vient de publier un dossier sur les politiques de quantification.

11   Ma légitimité à aborder le sujet a deux origines, une formation et une pratique de statisticien à l’INSEE, la conduite de recherches sur l’avatar de la nouvelle gestion publique que constitue la « méthode ouverte de coordination » employée par la Commission européenne pour contourner son absence de compétences dans certains domaines (comme l’emploi et la protection sociale ; Programmes EUROCAP et CAPRIGHT).

12   La présente étude est fondée sur une analyse du contenu du site web du ministère du Budget, des Comptes publics et de la réforme de l’État, https://mioga.minefi.gouv.fr/DB/public/controlegestion/index.html. Dans sa partie en accès public, le site fournit, à des fins de formation du personnel de l’administration publique, de nombreux exemples de mises en œuvre de la réforme de la gestion publique et de problèmes posés dans divers services et administrations. Ces exemples datent (pour les plus anciens) de 2006, mais leurs enseignements restent valables. La matière est extrêmement riche, notamment dans la présentation de la mise en œuvre opérationnelle et de l’arrière-plan. Un exemple parmi d’autres : Contrôle de gestion des programmes (CGP), 3e réunion plénière, 2007, « L’analyse comparative au service de l’amélioration de la performance », 27 juin.

13   Voir par exemple les travaux de Jeremy Richardson sur les réformes engagées en Grande-Bretagne : J. Richardson, « Doing Less by Doing More : British Government 1979-1993 », West European Politics,17, 1994, p. 178-197

14   E. Suleiman, Dismantling Democratic States, Princeton, Princeton University Press, 2003, p. 153.

15   E. Suleiman, op. cit., p. 58.

16   L’article s’appuie sur une série de publications, consacrées soit à la méthode ouverte de coordination (MOC) développée par l’Europe dans le cas de sa stratégie européenne pour l’emploi (SEE) (Salais, 2004), soit au problème plus général de l’usage des indicateurs dans l’action publique (Salais, 2006). Une partie des conclusions tirée de ces travaux a également été présentée dans la Revue française des affaires sociales.

17   A. Desrosières, La politique des grands nombres, op. cit. ; A. Desrosières, L’argument statistique, Paris, Presses de l’École des mines, 2008.

18   Sur cette question voir : R. Salais, « Capacités, base informationnelle et démocratie délibérative.
Le (contre-) exemple de l’action publique européenne », op. cit.

19   Source : site web cité, DRB, 2005, « Les concepts de la performance » (diaporama Powerpoint).

20   Source (dans le site web cité) : Réseau interministériel de contrôle, 2006, « La déclinaison des objectifs de performance au sein du programme de la Police nationale », diaporama Powerpoint, 6 juillet 2006.

21Ibidem, p. 3.

22Ibidem, p. 8.

23   L. Mucchielli, « The new “management of security” put to the test : crime and police activity under Ministry Sarkozy (2002-2007) », op. cit.

24Ibid. ; R. Salais, « La politique des indicateurs. Du taux de chômage au taux d’emploi dans la stratégie européenne pour l’emploi », in B. Zimmermann (dir.), Les sciences sociales à l’épreuve de l’action. Le savant, le politique et l’Europe, op. cit. ; R. Salais, « Usages et mésusages de l’argument statistique : le pilotage des politiques publiques par la performance », op. cit.

25   Voir, dans le même sens, les recherches sur l’application de ces méthodes à New York, citées dans A. Purenne et J. Aust, « Piloter la police par les indicateurs ? Effets et limites des instruments de mesure des performances », op. cit.

26   De son côté Jean-René Brunetière, 2006, s’était attaché à analyser un échantillon tiré au sort de 32 indicateurs au sein des 1 300 retenus par la LOLF. Pour la plupart d’entre eux, il arrive à la conclusion que ces indicateurs, une fois décortiqués, n’enregistrent pas ou ne répondent guère aux attentes de la LOLF, améliorer l’efficacité de la dépense publique : J.-R. Brunetière, « Les indicateurs de la LOLF : une occasion de débat démocratique ? », op. cit.

27   A. Purenne et J. Aust, « Piloter la police par les indicateurs ? Effets et limites des instruments de mesure des performances », op. cit., p. 4.

28   Cette troisième partie reprend, avec des illustrations différentes, une partie déjà présentée dans : R. Salais, « Usages et mésusages de l’argument statistique : le pilotage des politiques publiques par la performance », op, cit.

29   Dans le site web cité : ministère de la Santé et des Solidarités / ministère de l’Emploi, de la Cohésion sociale et du Logement, sans date, « Des objectifs / indicateurs du PAP aux leviers d’action opérationnels. Une expérimentation sur un programme d’intervention des ministères sociaux. “Politiques en faveur de l’inclusion sociale” ». Le schéma reproduit est en page 5.

30Op. cit., page 5.

31   Selon une démarche explicitée dans l’illustration qui suit : « valeur actuelle, valeur précédente, objectif du levier d’action, taux d’atteinte de l’objectif », page 12 du diaporama « Formation à la performance ».

32   Document cité, note : « À chaque niveau supérieur, sont recueillis les indicateurs les plus pertinents. Chaque échelon a la possibilité de rajouter des indicateurs propres en fonction du contexte local », p. 6.

33   Source : DRB, 2005, « Les concepts de la performance », diaporama (Powerpoint) p. 3-4.

34   On trouve des phénomènes semblables dans les pratiques d’audit, M. Power, The Audit Society. Rituals of Verification, Oxford, Oxford University Press, 1997.

35   Commission européenne, 2005. On trouve l’indication dans le tableau de bord dans la partie stratégie européenne pour l’emploi sur le site de l’Union européenne.

36   La Commission européenne classe les indicateurs en deux catégories. Les monitoring indicators sont les indicateurs de performance utilisés pour évaluer les politiques nationales ; ils jouent un rôle important dans le benchmarking et ce sont surtout eux qui comptent. Les analysing indicators permettent d’approfondir la connaissance du domaine, mais n’ont pas d’implications politiques.

37   Voir les données dans : R. Salais, « Usages et mésusages de l’argument statistique : le pilotage des politiques publiques par la performance », op. cit.

Haut de page

Table des illustrations

URL http://journals.openedition.org/cdst/docannexe/image/314/img-1.jpg
Fichier image/jpeg, 26k
Haut de page

Pour citer cet article

Référence papier

Robert Salais, « La donnée n’est pas un donné - Pour une analyse critique de l’évaluation chiffrée de la performance », Cahiers Droit, Sciences & Technologies, 4 | 2014, 15-36.

Référence électronique

Robert Salais, « La donnée n’est pas un donné - Pour une analyse critique de l’évaluation chiffrée de la performance », Cahiers Droit, Sciences & Technologies [En ligne], 4 | 2014, mis en ligne le 01 novembre 2015, consulté le 25 mai 2018. URL : http://journals.openedition.org/cdst/314 ; DOI : 10.4000/cdst.314

Haut de page

Auteur

Robert Salais

Économiste et statisticien, chercheur à l’École normale supérieure de Cachan et au Centre Marc Bloch de Berlin.

Articles du même auteur

Haut de page

Droits d’auteur

Tous droits réservés

Haut de page
  • Logo Réseau Droit, Scences et techniques
  • Logo CNRS
  • Logo AMU
  • OpenEdition Journals