1L’analyse d’impact (AI) est une innovation de la gouvernance de la régulation (Black, Lodge, Thatcher, 2005) qui s’est répandue à l’échelle internationale (De Francesco, 2013). Cerner sa viabilité institutionnelle n’est pas simple. Contrairement à l’événement hautement symbolique de l’adoption d’une politique (Goodman and Steckler, 1989), la mise en œuvre de l’analyse d’impact est complexe et passe par plusieurs phases au cours desquelles les relations et les positions respectives de pouvoir des acteurs de la politique varient (De Francesco, Radaelli and Troeger, 2012). À l’instar d’autres innovations (Goodman and Steckler, 1989 ; Steckler et al., 1992), l’analyse d’impact serait institutionnalisée lorsque les régulateurs respectent les normes d’évaluation ainsi que les procédures habituelles.
2Comment peut-on évaluer le degré d’institutionnalisation des analyses d’impact (AI) ? En tant qu’exemple d’élaboration de politique fondée sur des données probantes, l’institutionnalisation de l’AI peut avoir deux fonctions alternatives (2016). Selon les tenants de pratiques reposant sur des méthodologies d’évaluation rigoureuses et scientifiques, les analyses d’impact devraient être évaluées sur leur production d’éléments scientifiques (nouveaux) assurant l’efficacité économique de la politique. Selon une approche moins ambitieuse, mais réaliste il convient de considérer qu’une bonne élaboration de politique est fondée sur un ensemble des « meilleures techniques disponibles de preuves » produites par l’expertise professionnelle (Head, 2016 : 474).
3C’est sur la base de cette seconde approche que le présent article suggère une méthode simple de « suivi des éléments de preuve » pour évaluer a posteriori la qualité des méthodes scientifiques utilisées dans les analyses d’impact. Cette méthode postule que les régulateurs et les entités responsables de l’évaluation des politiques devraient être évalués sur le critère de l’utilisation qu’ils font de la meilleure méthodologie (professionnelle et scientifique) d’évaluation plutôt que sur les éléments de preuve produits afin de prendre la meilleure décision.
4Il existe plusieurs modes d’évaluation a posteriori des analyses d’impact (voir, pour un examen de l’expérience internationale OCDE, 1999 ; OCDE, 2003 ; Radaelli et De Francesco, 2007 ; De Francesco et Radaelli, 2007 ; Radaelli et Fritsch, 2011). En dépit des efforts déployés par l’OCDE (1999, 2003), il n’existe pas encore de normes stabilisées d’évaluation de la qualité des analyses d’impact. Les gouvernements ont été seulement en mesure d’évaluer la quantification des charges administratives engendrées par les programmes (De Francesco, 2013) par la « méthode des coûts standard » par exemple (Coletti, 2013). Des universitaires et des consultants ont tenté de combler cette lacune en proposant un certain nombre de méthodes pour évaluer les analyses d’impact.
5Les analyses rétrospectives des analyses d’impact peuvent être classées selon trois dimensions : celles de la fonction, de la procédure et de la précision 0méthodologiques. Des études d’impact (OCDE, 1999 : 19) ou des tests de fonction (Harrington et Morgenstern, 2004 : 13-14 ; Bizer, Lechner et Führ, 2010 : 33) évaluent si une analyse d’impact a influencé le processus décisionnel et amélioré la qualité de la législation. Des études de conduite (OCDE, 1999 : 19) ou des tests de contenu (Bizer, Lechner et Führ, 2010 : 33) ont pour but d’évaluer l’écart entre les conditions procédurales prescrites par les lignes directrices concernant l’analyse d’impact et le contenu des analyses de la régulation (Hahn et al., 1999 ; McLaughlin et Ellig, 2011). Enfin, les études de précision analytique (OCDE, 1999 : 19), ou des tests de résultat (Bizer, Lechner et Führ, 2010 : 33) mettent l’accent sur la qualité des prévisions économiques et leur concordance avec l’impact réel d’un nouveau règlement.
6S’inscrivant dans le dernier groupe d’analyse rétrospective, le présent article recommande de suivre l’évolution des modèles utilisés par les économistes pour évaluer l’incidence de la libéralisation, afin d’identifier les tendances générales de la pratique de l’évaluation telle qu’elle transparaît dans les documents d’AI (sur la pratique de la rédaction de documents gouvernementaux voir Freeman et Maybin 2011 ; Wesselink, Colebatch, Pearce, 2014). La méthode est appliquée à 16 analyses d’impact et études d’évaluation de politique menées entre 2004 et 2017 en ce qui concerne la libéralisation du transport ferroviaire dans l’Union Européenne. Une analyse approfondie de deux analyses d’impact complète cette appréciation qualitative.
7Bien que l’évaluation du registre de l’utilisation des connaissances scientifiques ne soit pas une nouveauté dans la littérature sur l’analyse d’impact (de la réglementation) (Desmarais et Hird, 2014 ; Costa, Desmarais et Hird, 2016 se fondent sur des indicateurs bibliographiques), cet article met l’accent sur le niveau de compétence manifesté par les régulateurs au travers de leurs documents d’AI et au regard de l’état des connaissances scientifiques disponibles au moment où la proposition de réglementation est effectuée. La longue succession de réforme des chemins de fer et le nombre d’analyses d’impact et d’études d’évaluation produit permettent également de saisir l’ampleur de l’apprentissage diachronique reflété dans l’utilisation des informations scientifiques à travers plusieurs trains de réformes réglementaires nécessaires à l’achèvement de la libéralisation (Torriti (2010) qui analysa une seule analyse d’impact de l’Union Européenne sur la libéralisation du marché de l’énergie).
8La suite de cet article est structurée comme suit. Replaçant la contribution méthodologique du présent article, la section suivante est consacrée à une analyse des avantages et des inconvénients des modèles existants et des pratiques utilisées pour évaluer la qualité des analyses d’impact. La section 2 donne un bref aperçu de la libéralisation du rail dans l’Union. Tandis que la section 3 range et retrace l’évolution des méthodes scientifiques disponibles pour apprécier l’incidence de la libéralisation du secteur ferroviaire. La section 4 estime si les connaissances scientifiques disponibles se sont traduites dans les pratiques en matière d’analyse d’impact. La section 5 conclut en résumant les principales conclusions formule des recommandations de politique ainsi que des pistes de recherche futures.
9En raison de la difficulté de mener des études d’impact sur les analyses d’impact (Shapiro 2008 ; Shapiro et Morrall III, 2012), la littérature sur l’évaluation des analyses d’impact a tendance à se concentrer sur deux types d’analyse rétrospective : les études de conduite (l’étendue de la « conformité » aux lignes directrices relatives à l’analyse d’impact) et les études d’exactitude (vérification des estimations des coûts et avantages). Les deux modes d’évaluation présentent des avantages et des inconvénients méthodologiques.
10Depuis le premier tableau de bord élaboré par Hahn et al. en 1999, la cotation de la conduite des évaluateurs de politique est devenue un standard commun de l’évaluation (voir Cecot et al., 2008 ; Fritsch et al., 2013 pour des tableaux de bord appliqué aux analyses d’impact de l’UE). Les économistes (Hahn et al. 1999 ; Hahn et Tetlock 2008 ; Lee et Kirkpatrick, 2006), les politistes (Adelle, Hertin et Jordan, 2006), des groupes de réflexion (Vibert 2004 ; Wilkinson et al., 2004), et les parties prenantes (NNR, 2006) s’appuient sur des tableaux de bord pour l’évaluation de l’état de l’art des programmes d’analyse d’impact (de la réglementation) aux États-Unis, au Royaume-Uni et au niveau européen. La caractéristique de ce type d’analyse rétrospective est de se fonder sur les lignes directrices concernant l’analyse d’impact afin de déterminer les types de comportement normal d’une autorité de régulation. Par exemple, Hahn et al. (1999) se sont référés aux lignes directrices de l’OMB-OIRA pour évaluer le respect du décret présidentiel 12866.
11Les tableaux de bord sont composés d’une série de questions aux réponses binaires, oui/non, génératrices de mesures simples. Elles peuvent être pondérées et agrégées dans un indicateur composite global. Ceci différencie les tableaux de bord de simples check-lists. Ces dernières constituent habituellement un ensemble de mesures isolées qui ne sont pas agrégées.
12Les tableaux de bord des analyses d’impact sont généralement élaborés en intégrant les critères qualitatifs suivants : la monétisation ou la quantification des coûts et avantages de la réglementation (Vibert 2004 ; Torriti, 2007), la prise en compte du développement durable (Wilkinson et al., 2004 ; Adelle, Hertin et Jordan, 2006), ainsi que l’examen d’une pluralité d’options (Renda, 2006 ; Cecot et al., 2008). Comme le champ de la réglementation est généralement vaste, on n’a jamais appliqué des tableaux de bord à un ensemble cohérent de règles spécifiques relatives à un programme donné de libéralisation. En conséquence, il n’est pas possible d’estimer l’étendue de l’apprentissage diachronique de l’analyste de la réglementation pour une réforme réglementaire spécifique. En outre le tableau de bord de l’analyse d’impact n’a pas été conçu en vue d’évaluer l’importance de l’écart entre les connaissances scientifiques et les connaissances exprimées dans les analyses d’impact. Cet objectif est mieux atteint par le mode d’évaluation qui vérifie les estimations des coûts et avantages de la réglementation.
13Plusieurs experts ont comparé l’estimation ex ante des coûts et avantages de réglementations spécifiques à l’évaluation ex post de l’impact de ces réglementations. Il existe trois sources de divergences entre les incidences prévues et réelles. La première source d’imprécision est implicite dans l’incertitude qui s’attache aux futurs changements imprévisibles : i) des prix relatifs des éléments de coût, ii) de la technologie et des parties concernées par l’adaptation à de nouvelles réglementations, et iii) des conditions économiques générales. La deuxième source d’imprécision est liée à l’absence de connaissances scientifiques sur les relations de cause à effet. La dernière source d’imprécision fait référence à des « incertitudes liées à la modélisation des activités, notamment en ce qui concerne les hypothèses qui doivent être effectuées par des analystes » (OCDE, 1999 : 39). Si les premier et deuxième types d’imprécision sont extrêmement difficiles à faire diminuer grâce à la réalisation d’une AI, c’est la dernière source d’imprécision qui importe dans l’appréciation de la qualité de l’utilisation des connaissances scientifiques, et de la pertinence des analystes de la réglementation. En d’autres termes, il importe d’établir une distinction entre les écarts résultant des applications erronées des connaissances scientifiques et des modèles économiques et ceux qui proviennent d’autres sources d’imprécision.
14Il existe donc un volet de la littérature qui a passé en revue les estimations des coûts et avantages de la réglementation contenue dans les analyses d’impact de la réglementation en matière de sécurité environnementale et professionnelle afin d’y repérer des configurations de biais. À partir des coûts de la réglementation, Hammitt (2000) a comparé le coût marginal de la limitation de la consommation de chlorofluorocarbone aux États-Unis avec des estimations rétrospectives fondées sur les prix du marché effectifs. Il a constaté que l’estimation des coûts de mise en conformité avait été considérablement surestimée. Cette surestimation se produit en particulier lorsqu’il s’est révélé nécessaire d’avoir recours à des solutions innovantes qui n’étaient pas encore disponibles au moment de l’analyse. Cette source d’imprécision est souvent difficile à gérer dans l’analyse. Harrington et al. (2000) ont élaboré une méta-analyse de 28 cas d’estimations de coûts ex ante des agences de régulation et les ont comparés aux coûts ex post fournis par des universitaires ou des analystes indépendants. Par le biais d’une approche qualitative (les estimations ex ante étaient considérées comme valables si elles entraient dans une plage de plus ou moins 25 % de l’appréciation ex post), ils ont conclu qu’il existe une tendance à la surestimation globale et ont fourni des recommandations méthodologiques utiles pour estimer les coûts induits par la réglementation.
15Un autre courant de la littérature s’est concentré sur des recommandations plus pratiques concernant les modèles d’estimation des coûts et des avantages. Hammitt a examiné les avantages et les inconvénients de différents modes d’évaluation de risque de mortalité (Hammitt, 2000b) et a opposé les années de vie ajustées et la disposition à payer (Hammitt, 2002). Dans le même ordre d’idées, Torriti et Löfstedt (2012) ont examiné les évaluations et pratiques de l’Union européenne en matière d’AI et ont demandé qu’une plus grande attention soit portée à l’analyse de risque. Ils ont plaidé en faveur de l’utilisation de la valeur statistique de la vie et du prix du carbone, et pour l’intégration de la modélisation macroéconomique et des analyses de scénarios. Matthews et Lave (2001) ont estimé les coûts de la sécurité au travail en se fondant sur un modèle entrées-sorties, qui permet d’identifier l’impact économique direct et indirect des blessures ainsi que d’attribuer une valeur monétaire aux blessures, aux maladies et à la mortalité. Matthews (2001) a proposé d’évaluer la qualité des analyses coûts-avantages rétrospectives effectuées par l’agence (américaine) de protection de l’environnement en ce qui concerne la loi sur l’air pur (Clean Air Act).
16Pour ce qui est des recommandations méthodologiques concernant la régulation économique, à ma connaissance, une seule étude a évalué la qualité des analyses d’impact de l’UE concernant la libéralisation du marché. Torriti (2010) a passé en revue les analyses d’impact de la Commission européenne sur le troisième paquet de libéralisation des marchés de l’énergie. Son évaluation avait trait, entre autres, à la qualité des données quantitatives et des impacts macroéconomiques. Il a mis en évidence plusieurs problèmes rencontrés dans l’application du modèle macroéconomique choisi. Il a également fait observer, et c’est plus grave, l’erreur méthodologique que constituait l’utilisation de modèles macroéconomiques dans les analyses d’impact qui demandent plutôt que les estimations reposent sur les réponses individuelles apportées à l’évolution du cadre réglementaire (Torriti, 2010 : 1076-7). Dans son analyse, toutefois, il n’est fait aucune référence aux meilleures connaissances disponibles en ce qui concerne l’impact de la libéralisation sur la productivité et l’efficacité des marchés de l’énergie. Le meilleur appariement des connaissances scientifiques et méthodologiques disponibles et de l’évaluation rétrospective de l’analyse d’impact est particulièrement important en ce qui concerne la libéralisation du transport ferroviaire de l’Union qui a connu plusieurs étapes dans la réforme réglementaire. La prochaine section mettra l’accent sur les principes de libéralisation du transport ferroviaire en Europe (Pour un examen détaillé et approfondi de la libéralisation du rail dans l’UE, voir Dyrhauge, 2013 ; Finger et Messulam, 2015).
17Le marché ferroviaire européen unique et ouvert a été finalement réalisé en décembre2016, avec l’adoption du volet « marché » du quatrième « paquet » ferroviaire. Les entreprises ferroviaires opérant dans l’un des États membres peuvent opérer des services de transport de voyageurs partout dans l’Union européenne. Lancé en 1991, le processus de libéralisation du marché a été progressif et fondé sur la stratégie d’appui (support-building) de la Commission européenne, (Knill et Lehmkuhl, 2000 ; Di Pietrantonio et Pelkmans, 2004 ; Holvad, 2009). En effet, la création d’un espace ferroviaire unique européen a été menée à bien grâce à l’adoption et à la mise en œuvre progressive des trois principes suivants de la gouvernance économique : I) une séparation financière entre les gestionnaires de l’infrastructure et les fournisseurs de service ferroviaire ; II) la transparence du processus d’octroi de licences grâce à la mise en place d’agences nationales de régulation et de l’Agence ferroviaire européenne, laquelle avec la mise en œuvre du quatrième train de réformes agit aujourd’hui comme un guichet unique centralisé pour les licences et la certification en matière de sécurité des opérateurs ferroviaires ; et III) l’harmonisation technique et l’interopérabilité des réseaux ferroviaires nationaux.
18En particulier, la séparation verticale et la mise en place d’organes indépendants de régulation peuvent être considérées comme les plus importantes innovations institutionnelles associées à la libéralisation du secteur ferroviaire européen (De Francesco et Castro, 2016). La séparation verticale impose que les gestionnaires de l’infrastructure soient financièrement indépendants des opérateurs ferroviaires. Ce principe de la gouvernance économique a été la première étape majeure de la réforme de l’Union européenne. La directive 91/440 prévoit uniquement la séparation des comptes entre la gestion des infrastructures ferroviaires et la fourniture de services ferroviaires de fret et de passagers. Afin de se conformer à cette obligation, certains États membres de l’UE ont opté pour une séparation institutionnelle complète ; pendant que d’autres ont choisi un modèle verticalement intégré où le gestionnaire de l’infrastructure et l’opérateur ferroviaire national sont détenus par la même société mère. Un modèle intermédiaire (dans lequel le gestionnaire de l’infrastructure est indépendant mais délègue plusieurs fonctions à l’opérateur étatique historique) est également possible. La directive précise, en outre, que les fonctions essentielles telles que la répartition des capacités, les redevances d’infrastructure et les licences ne doivent pas être exercées par les opérateurs ferroviaires.
19Après avoir établi la séparation verticale, l’UE a poursuivi une ouverture progressive à la concurrence et une harmonisation progressive des normes techniques et de sécurité ainsi que des processus administratifs en vue d’accroître l’interopérabilité des systèmes ferroviaires nationaux. Se concentrant sur le fret ferroviaire, le premier « paquet de réformes » a été adopté en 2001 et définit un réseau transeuropéen de fret ferroviaire. Pour assurer aux nouveaux entrants des conditions de concurrence égales, ce « paquet » a requis l’indépendance, par rapport à l’opérateur ferroviaire historique, de l’autorité nationale chargée de la procédure de délivrance des licences. Il est important de noter que le paquet ferroviaire de l’UE ne requiert pas un organisme de régulation politiquement indépendant (Nash, 2008 : 65). En 2004, le deuxième paquet ferroviaire a augmenté la transparence administrative, en développant les spécifications en matière d’interopérabilité et de normes communes de sécurité du fret ferroviaire ainsi qu’en créant l’Agence ferroviaire européenne (AFE).
20La réforme réglementaire du fret ferroviaire a ouvert la voie au troisième train de réformes qui a concerné le marché du transport de passagers. Ce « paquet » de 2007 a établi la norme de qualité de service et la certification des conducteurs de train opérant sur le territoire de l’UE, et a introduit des droits de libre accès pour les services de transport ferroviaire international de passagers. Depuis 2010, le transport ferroviaire transfrontalier de voyageurs a été officiellement libéralisé pour tous les pays de l’UE. Les entreprises ferroviaires internationales sont autorisées à collecter du trafic national dans un pays et à acheminer les passagers sur un autre arrêt dans le même pays avant de franchir les frontières.
21En 2016, le quatrième paquet ferroviaire a étendu les droits de libre accès aux marchés nationaux (passagers) et complété le système ferroviaire de l’UE. Ce paquet renforce l’impartialité et évite la discrimination entre les opérateurs ferroviaires. Il rend obligatoire une procédure d’appel d’offres pour les contrats de service public. La section suivante montre comment ces réformes institutionnelles et d’harmonisation technique ont été évaluées par les économistes et comment les différents types de raisonnements économiques utilisés pour évaluer l’incidence de la réforme réglementaire du marché ferroviaire peuvent être cotés.
22Les économistes ont analysé l’impact de la libéralisation des marchés sur des gains de productivité et d’efficacité des chemins de fer dans les pays développés. Ils se fondent sur plusieurs indices pour tirer des conclusions quant à une entreprise, à un ensemble d’entreprises ou à un secteur industriel (Oum, Waters et Yu, 1999). Une évaluation des incidences de la libéralisation sur l’efficacité ou la productivité ferroviaire nécessite d’isoler les différences entre les environnements réglementaires des différentes sources d’amélioration de la performance, telles que l’efficacité organisationnelle, les économies d’échelle, et des caractéristiques des réseaux, ainsi que des facteurs exogènes tels que l’évolution technologique (Oum, Waters et Yu, 1999 : 10). Étant donné la complexité méthodologique découlant d’un secteur industriel générant de multiples outputs, les économistes ont eu tendance à se concentrer sur l’efficience technique entendue comme la minimisation des intrants pour un volume donné d’extrant.
23Oum et al. (1999) fournissent un excellent examen des différentes méthodes de mesure de la productivité dans le secteur ferroviaire. Ces méthodes peuvent être notées en fonction de leur degré de raffinement des hypothèses théoriques. La classification suivante reflète également l’évolution des connaissances scientifiques et fournit une référence utile pour évaluer la qualité des analyses économiques résumées dans les analyses d’impact de la Commission européenne, et dans les études d’évaluation.
24La méthode la plus simple pour évaluer la productivité et l’efficience technique repose sur des indices qui sont des ratios de type productivité/efficience et ne requiert pas d’estimation statistique d’une fonction de production ou de coût. Ces indices peuvent être classés en trois grandes catégories : productivités partielle et totale des facteurs, méthode d’analyse d’enveloppement des données (DEA).
25Une mesure de la productivité partielle d’un facteur lie un résultat spécifique à un seul facteur, par exemple, les recettes de tonnes-kilomètre par salarié. Ce type de mesures de productivité est facile à calculer et c’est pourquoi il a été largement utilisé par les universitaires comme par les professionnels du secteur pour comparer les performances des opérateurs et des systèmes de chemins de fer (Nash, 1981). Ces indicateurs portent sur la productivité de la main-d’œuvre, celle du carburant et celle du matériel roulant. Cette méthodologie présente deux défauts. Il existe un problème de comparabilité des facteurs puisqu’ils sont interdépendants. En second lieu l’indice de produit partiel ne peut représenter le véritable output économique total quelle que soit la mesure considérée (Oum, Waters et Yu, 1999 : 14). La plus récente méthodologie de productivité partielle distingue la performance opérationnelle de la performance financière. Cette séparation permet de prendre en compte les effets de la libéralisation sur les recettes et les coûts des opérateurs ferroviaires.
26Une mesure de la productivité globale des facteurs est le ratio d’un indice de la production totale à un indice global de facteurs. L’indice global des facteurs est soit « la somme pondérée des taux de croissance des divers indices de volume de facteur » soit le « ratio du total des dépenses (y compris les revenus du capital) sur un indice de prix d’input agrégé. (Oum, Waters et Yu, 1999 : 17). L’indice d’output global est « la somme pondérée des catégories d’output telles que les tonnes – kilomètre de marchandises ou les passagers kilomètre, (Oum, Waters et Yu, 1999 : 18). Cet indice rend compte de manière appropriée de la production de l’industrie ferroviaire aux extrants et intrants multiples.
27Il existe différentes méthodes pour établir ces indices exhaustifs. Afin de comparer la productivité au niveau des entreprises, la démarche méthodologique consiste à supposer que les environnements d’exploitation et les économies d’échelle sont identiques pour l’ensemble des entreprises (Freeman, 1985). La décomposition est une méthode statistique permettant d’assouplir cette supposition, par régression de l’indice de la production totale sur « diverses combinaisons de variables, y compris les kilométrages de trajet, la moyenne de trajet du fret, la longueur moyenne des trajets et une variable muette de la firme » (Oum, Waters et Yu, 1999 : 22). La décomposition a été utilisée par Gathon et Pestieau (1995) dans l’évaluation des chemins de fer européens en isolant, des composantes de la réglementation, l’efficience managériale.
28La méthode d’analyse d’enveloppement des données (DEA) est une méthode utilisée pour construire un indice d’efficience fondé sur une fonction de production linéaire non paramétrique. Elle nécessite un gros travail de collecte de données sur chaque entreprise ferroviaire dans l’échantillon étudié pour chaque année de la période d’observation. L’indice DEA varie entre 0 et 1 et dépend des meilleures pratiques observées dans l’échantillon, situées le long de la frontière de production (Oum, Waters et Yu, 1999 : 24). La DEA est utilisée pour la comparaison de la productivité des entreprises de chemin de fer (par exemple Bookbinder et Qu (1993) ont classé ainsi deux sociétés canadiennes de chemin de fer et cinq Américaines).
29Cette méthode a été utilisée pour comparer l’efficacité de la productivité dans 19 pays de l’OCDE (Oum et Yu, 1994). Des modèles de régression statistiques permettent d’isoler les effets des différents environnements d’exploitation afin de quantifier l’effet des subventions publiques et de la réforme réglementaire sur l’efficience des entreprises (Oum et Yu, 1994).
30Le principal problème de la DEA est lié à sa sensibilité aux valeurs aberrantes et aux erreurs de mesure. En outre, les indices d’efficience de la DEA sont sensibles à la sélection des intrants et des extrants inclus dans l’analyse (Oum, Waters et Yu, 1999 : 24). Ces limitations ont conduit les économistes à se fonder sur des modèles paramétriques pour estimer une fonction de production des opérateurs ferroviaires.
31Les méthodes économétriques permettent d’estimer une fonction de production et de quantifier des changements dans la productivité ou le rendement, en tenant compte également du niveau et des sources d’inefficience. L’expression « inefficience » peut être perçue comme une valeur déterministe ou stochastique. Alors que les variables muettes et les variables relatives à l’évolution dans le temps d’une entreprise sont des méthodes communes pour les modèles de frontière déterministes, dans les modèles stochastiques l’inefficience est l’écart de chaque entreprise à la frontière de production stochastique (Oum, Waters et Yu, 1999 : 31).
32Les deux méthodes ont été utilisées pour évaluer l’impact de la séparation verticale des réseaux d’infrastructures ferroviaires et des opérateurs sur les économies de gamme pour les entreprises et les systèmes ferroviaires européens. Gathon et Perelman (1992) ont montré que l’autonomie de gestion par rapport à l’autorité publique augmente l’efficience technique des compagnies de chemin de fer. Cependant, en se fondant sur la base de données européenne de 12 chemins de fer européens possédés par les Etats entre 1973-1990, Cantos Sanchez (2001) défendait l’argument d’une intégration verticale entre les infrastructures et les opérations des entreprises publiques afin d’éviter d’éventuelles inefficiences.
33Dans l’ensemble, la méthode de la frontière stochastique est apparue comme la méthode standard pour évaluer l’impact de la libéralisation progressive de l’UE sur la croissance de l’efficience des chemins de fer (Wetzel, 2009). La méthode scientifique pour évaluer l’impact de la libéralisation des chemins de fer a évolué des indices de productivité partielle et totale vers des indices d’efficience fondés sur la DEA, de l’utilisation d’indices à des modèles d’estimation des changements dans la productivité ou l’efficience.
34La section suivante évalue si cette évolution progressive se retrouve dans la qualité des connaissances scientifiques et des méthodes utilisées dans les analyses d’impact de l’UE portant sur la libéralisation du rail.
- 1 J’ai exclu de l’échantillon les AI concernant le réseau transeuropéen de transport.
- 2 https://ec.europa.eu/transport/modes/rail/studies/rail_en et https://ec.europa.eu/transport/facts-f (...)
35Depuis 2003, la Commission européenne produit des analyses d’impact sur les projets de réglementation. Le Comité d’examen de la réglementation gère un répertoire électronique rassemblant toutes les analyses effectuées jusqu’ici. J’ai pu identifier dans ce répertoire, 11 AI portant spécifiquement sur les chemins de fer (voir Tableau 1).1 Une analyse d’impact supplémentaire a été extraite de sites web de la direction générale de la mobilité et des transports (DG MOVE).2 Dans cet échantillon, il existe neuf AI liées à la libéralisation du rail européen (indiquées en gras dans le Tableau 1). Dans les pages web de la DG MOVE consacrée aux études d’évaluation, j’ai consulté sept autres rapports (voir Tableau 2).
36Le Tableau 1 montre qu’il existe une grande diversité dans les modèles d’évaluation utilisés pour estimer l’impact économique dans les analyses d’impact. Six analyses d’impact se sont fondées sur une évaluation qualitative et sur une analyse multicritères ; tandis que seules trois analyses d’impact se sont fondées sur une évaluation quantitative comme un modèle dynamique de ratio opérationnel, des modèles de régression et des formules financières. Parmi cette population de neuf analyses d’impact, j’ai sélectionné deux analyses d’impact pour une analyse approfondie de leur contenu. L’une concerne la réforme du transport ferroviaire de passagers, il s’agit de l’analyse d’impact de 2004 sur le développement du domaine ferroviaire dans l’union (SEC (2004)236), l’autre est l’analyse d’impact de 2010 sur la refonte du premier paquet, qui porte sur la réforme du secteur du fret (SEC (2010)1042). Ces analyses d’impact sont liées aux principaux paquets de libéralisation concernant respectivement le secteur du fret et celui des passagers. Bien que limitées, ces deux analyses d’impact relativement éloignées dans le temps (2004 et 2010) sont représentatives des deux stades différents du processus de libéralisation du transport ferroviaire de l’UE. L’analyse d’impact de 2004 a été rédigée en relation avec le troisième paquet de libéralisation de 2007 ; l’AI de 2010 se réfère aux mesures de refonte de 2012, mesures intermédiaires nécessaires pour réaliser la libéralisation complète du quatrième paquet ferroviaire. En outre, ces analyses ont utilisé deux types différents d’indices quantitatifs et de modèles.
37Tableau 1 - IAS sur la libéralisation et la régulation du secteur ferroviaire de l’UE
38
- 3 https://ec.europa.eu/jrc/en/scientific-tool/trants-tools-transport-forecasting-and-scenario-testing
393… et des tests de scénarios
40Le Tableau 2 montre également que les études d’évaluation se sont appuyées sur une variété de méthodes. Cette variété est essentiellement due à la diversité des sociétés de conseil auxquelles on a eu recours pour les rapports d’évaluation. Dans l’ensemble, ces méthodes utilisées pour les analyses d’impact comme pour les études d’évaluation sont différentes des indices de productivité et d’efficience et des modèles utilisés par les économistes.
41Tableau 2 - Études d’évaluation concernant l’UE, la régulation du secteur ferroviaire et la libéralisation du régime des visas
42L’AI de 2004 se compose de 35 pages. De même, la seconde analyse d’impact est de 38 pages, mais s’accompagne d’une annexe de 140 pages. Au travers d’une analyse globale des preuves scientifiques contenues dans les deux analyses d’impact, nous pouvons conclure que les analyses d’impact susmentionnées ne sauraient se présenter comme un système autonome, puisque toutes deux reposent sur des analyses externes et des études rédigées par des consultants. Bien qu’elles aient pour but d’estimer l’impact des propositions réglementaires, elles ne fournissent pas suffisamment d’informations sur la méthodologie et les hypothèses sur lesquelles elles reposent et ne contiennent aucune référence à la littérature scientifique et universitaire, mais elles se réfèrent plutôt à d’autres rapports de conseil tel que celui élaboré par OGM intitulé International Rail Passenger Transport: Assessment of the actual and potential market for international rail passenger services.
43L’AI de 2004 repose sur une étude de 165 pages sur l’analyse de l’impact de la libéralisation du transport ferroviaire de voyageurs de l’Union, rédigée par Steer Davies Glaeve (2004), une société de conseil en matière de transport établie au Royaume-Uni. Ce rapport est librement accessible sur Internet. Dans l’ensemble, fondé sur un projet européen financé au titre du 4e programme-cadre, le rapport de conseil est clair quant à sa méthodologie et ses hypothèses mais ne fournit pas de références scientifiques ou académiques.
44L’AI de 2010 repose également sur un rapport de conseil rédigé par Price Waterhouse Cooper (PWC). Bien que citée dans l’AI avec une adresse de page web, le document du rapport n’est pas consultable sur l’internet car le lien fourni n’est plus disponible. Outre le rapport de PWC, l’AI de 2010 cite une étude de 150 pages, réalisée par SDG sur la mise en œuvre du premier paquet ferroviaire (Steer Davies Gleave, 2005). En outre, cette AI de 2010 fait largement référence aux données contenues dans une autre analyse d’impact préparée pour la communication de la Commission européenne sur les chemins de fer (SEC (2008) 3028). Cette pratique des évaluateurs de politique de s’appuyer sur des documents antérieurs (et de s’y référer), rapports de conseil et AI précédentes, crée un ensemble de données et de connaissances dispersées, plutôt qu’elle ne consolide le savoir acquis au fil du temps. En conséquence, il est impossible pour le lecteur de ces AI de comprendre quel est l’état de l’art des connaissances et des données factuelles sur l’impact d’un processus de libéralisation économique des chemins de fer en Europe.
45La présente section se fonde sur une lecture attentive des rapports des AI. Mon appréciation générale est que, tandis que les connaissances scientifiques et la littérature économique résumées dans la sectionIV ont trait à l’efficience des différents opérateurs ferroviaires ou des systèmes ferroviaires nationaux, les deux analyses d’impact sur les paquets de libéralisation des chemins de fer ont couvert un large éventail de retombées économiques. C’est ainsi que le rapport 2004 de SDG sous-tendant la première analyse d’impact compare les différentes options stratégiques alternatives, en fonction de la dimension d’amélioration du bien-être apprécié à partir : des volumes de kilomètres-passager, du niveau du service fourni aux passagers, du prix payé par les passagers ainsi que de la viabilité des entreprises ferroviaires. Cette approche méthodologique qui consiste à analyser une série d’incidences économiques au-delà des entreprises ferroviaires est conforme aux lignes directrices concernant l’analyse d’impact et à la notion standard d’économie du bien-être.
46Toutefois, il est important de rappeler ici que la stimulation de la compétitivité du chemin de fer (par rapport aux autres systèmes de transport) et de la viabilité des compagnies de chemin de fer a été la principale priorité de la réforme ferroviaire de l’UE comme de toute initiative visant à libéraliser les services d’utilité publique. La sous-section qui suit montre que lorsque l’accent a été mis sur les incidences économiques sur les opérateurs ferroviaires, les approches méthodologiques utilisées par les économistes n’ont pas été pleinement prises en compte dans les analyses d’impact.
47L’analyse d’impact de 2004 et les rapports, auxquels elle se réfère, de conseils établis par SDG sont fondées sur le « ratio d’exploitation », c’est-à-dire « le rapport entre le chiffre d’affaires anticipé et les coûts anticipés » pour les entreprises de chemin de fer. En conséquence, le modèle s’efforce d’estimer les recettes et les coûts attendus. Le calcul du ratio s’effectue sur la base d’une série d’hypothèses relatives aux contrats de service public, à leurs modes de passation, ainsi qu’à d’autres caractéristiques de la gouvernance économique des chemins de fer (comme des pratiques tarifaires non discriminatoires ou l’absence de réglementation nouvelle relative au matériel roulant).
48Constituant le modèle de simulation dynamique de la viabilité des entreprises ferroviaires, cet ensemble d’hypothèses est nécessaire à la construction du ratio d’exploitation. Afin d’évaluer la viabilité des opérateurs ferroviaires, le rapport du cabinet de conseil et par conséquent l’AI se sont fondés sur un modèle de simulation dynamique des coûts et des recettes, du niveau des bénéfices et des objectifs de performance des entreprises ferroviaires. Ce choix méthodologique est sensible à la complexité qu’il y a à modéliser le comportement des entreprises ferroviaires ainsi qu’à la fiabilité des données. Plus précisément, le modèle suppose que les entreprises ferroviaires surveillent les niveaux prévisionnels des dépenses et des recettes et, partant, sont en mesure de réagir si l’accroissement du ratio des recettes est inférieur à leur profit cible, soit en augmentant les recettes soit en réduisant les coûts (Steer Davies Gleave, 2004).
49D’une manière générale, afin d’évaluer l’impact de la libéralisation sur la performance économique des entreprises ferroviaires, les économistes préfèrent s’appuyer sur des indices de productivité ou des gains d’efficience plutôt que sur le ratio chiffre d’affaires /coûts (voir section 3.1.1, les chiffres d’affaires et les coûts ne sont pris en compte que par une productivité partielle de facteur). Les hypothèses qui sous-tendent cette vision des économistes sont moins raffinées mais moins nombreuses et reposent sur des données des entreprises ferroviaires qui sont disponibles. Au lieu de cela, le ratio Chiffre d’affaires/coûts requiert d’importantes quantités de données pour les hypothèses relatives à la demande, aux coûts du côté de l’offre, et aux paramètres et préférences relatives aux décisions d’exploitation. Le problème de la collecte des données a été insurmontable, comme cela a été reconnu dans la même analyse d’impact :
La Commission a demandé à plusieurs bureaux d’études d’évaluer des aspects des marchés ferroviaires, mais il s’est révélé difficile, voire impossible, d’obtenir des chiffres fiables sur le transport international de voyageurs par rail, comme le nombre de kilomètres-passagers ; le chiffre d’affaires ; la rentabilité, etc. Les entreprises ferroviaires sont réticentes à fournir ces données, invoquant la nature commerciale de l’information. (Commission européenne, 2004 : 11)
50Pour faire face à cette difficulté reconnue de « l’exercice de modélisation » (Commission européenne, 2004 : 4), le choix méthodologique a été de se fonder sur « [l]’ importance de l’approche qualitative de l’évaluation, qui s’est principalement traduite par une enquête approfondie et étendue auprès des principales parties prenantes, notamment les actuels monopoleurs, et a révélé un soutien mitigé à la proposition concernant l’ouverture des marchés » (Commission européenne, 2004 : 4). Une seconde étude de terrain approfondie a été commandée par la Commission européenne pour avoir une vue d’ensemble des effets de l’ouverture progressive du marché du transport international de voyageurs. Les pays sélectionnés ont été la Hongrie, l’Allemagne, l’Espagne, et la Suède. Ceci constitue une autre preuve de l’absence de confiance dans les méthodes d’évaluation de politique développées par les économistes.
51L’AI de 2010 se réfère à la refonte et la simplification des précédentes mesures de libéralisation figurant dans le premier train de réformes, les analyses économiques visaient des aspects fondamentaux de la réforme de la réglementation de l’UE, telles que la séparation comptable, les mesures destinées à éviter les traitements discriminatoires envers les nouveaux entrants et l’établissement d’agences de régulation indépendantes (du gestionnaire ou de l’entreprise de l’infrastructure ferroviaire) pour garantir la transparence de la gouvernance économique des marchés ferroviaires.
52Tout au long de son annexe, cette analyse d’impact fournit une série d’analyses visant à prévoir l’évolution du marché, la viabilité des entreprises ferroviaires et les frais administratifs résultant de cinq des neuf propositions de libéralisation visant à faciliter l’entrée sur le marché et la concurrence. Quatre mesures avaient été précédemment évaluées dans une précédente analyse d’impact, SEC (2008)3028, relative au réseau ferroviaire européen pour un fret compétitif (voir Tableau 1). L’analyse d’impact est complétée par un résumé de la consultation des parties prenantes menée en vue de la définition du problème, de l’évaluation de l’efficacité des options réglementaires, et de la collecte des données en vue de l’établissement du scénario de base.
53L’évaluation des options de politique associées à chacune des cinq propositions nouvelles de réglementation était qualitative. Elle combinait des « scores » des parties prenantes et le score d’une « évaluation indépendante » (non spécifiée) à travers une analyse multicritère qualitative de l’efficacité de la mise en œuvre. En conséquence, le choix des options n’était pas fondé sur l’économie du bien-être et des preuves scientifiques. Ce fait a été attesté par la demande par le comité d’analyse d’impact de deux nouvelles moutures devant apporter des améliorations à l’analyse d’impact. Par exemple, l’exclusion de l’option en faveur d’agences de régulation politiquement indépendantes avait été justifiée par l’affirmation selon laquelle cette option ne permettrait pas d’accroître l’indépendance vis-à-vis des opérateurs en place sur le marché et que, par conséquent, les incidences qu’on pouvait en attendre seraient exactement les mêmes que celle de l’option d’une agence indépendante des opérateurs ferroviaires. Ceci alors que les connaissances scientifiques ont déjà argumenté en faveur de l’impact positif sur l’efficience du marché des agences de régulation indépendantes sur le plan politique (Friebel, Ivaldi, et Vibes 2010 ; Wetzel, 2009).
54L’option privilégiée a ensuite été analysée au moyen de modèles de régression quantitative afin de quantifier les effets économiques, sociaux et environnementaux de l’ensemble de la proposition de réforme de la réglementation. L’analyse de régression a été fondée sur le changement prévu de plusieurs sous indices de l’indice de libéralisation du rail (Kirchner, 2007) en tant que principales variables indépendantes représentant la suppression des barrières à l’entrée sur le marché de nouveaux opérateurs. La part modale du fret ferroviaire, le nombre et la part de marché des opérateurs non historiques et les coûts d’exploitation par kilomètres-train ont été considérés comme variables dépendantes des modèles de régression. Les notes des critères qualitatifs du degré d’efficacité des mesures proposées ont été utilisées pour pondérer le lien direct de causalité entre, d’une part, l’élimination des entraves et la compétitivité du fret ferroviaire. Enfin, une analyse de sensibilité a été menée afin de prendre en compte des variations, dans le cadre du scénario de référence, de la part modale du rail dans le transport de marchandises.
55Le modèle a identifié également les effets indirects de l’évolution de l’ouverture du marché à la suite de nouvelles mesures réglementaires. Les résultats des modèles sont les suivants : une augmentation de la concurrence sur le marché du transport ferroviaire de marchandises, qui se manifeste par une augmentation des nouveaux entrants et la part des nouveaux entrants sur le marché. L’analyse d’impact estime l’augmentation récurrente des coûts administratifs supportés par les pouvoirs publics (16,23 millions d’euros) et les entreprises privées (11,89 millions d’euros). L’analyse d’impact a anticipé un impact social positif sous la forme d’une augmentation de plus d’un millier des travailleurs employés dans le secteur, ainsi qu’une une incidence positive sur l’environnement en termes d’émissions et de qualité de l’air, d’émissions sonores et de consommation d’énergie.
56D’une manière générale, le modèle méthodologique utilisé pour l’évaluation de l’impact de la refonte du fret ferroviaire de l’UE repose largement sur des jugements subjectifs concernant le lien de causalité entre l’élimination des entraves aux échanges et la concurrence. En outre, il y a un problème avec la variance exogène car le modèle n’intègre pas les autres possibles déterminants de l’accroissement du niveau de compétitivité sur le marché. Le choix du niveau d’analyse, par pays, est également discutable étant donné que les études réalisées par les économistes de l’impact des changements réglementaires préfèrent le niveau de l’entreprise, en mettant l’accent sur l’efficacité opérationnelle. Là encore, il n’y a aucun essai d’utiliser des indices communément utilisés dans la littérature économique. Il n’y a aucune justification, non plus, de l’absence de référence aux connaissances scientifiques disponibles.
57Le présent article soutient la recommandation méthodologique selon laquelle les connaissances produites dans une analyse d’impact doivent être comparées aux connaissances et à la méthodologie scientifiques. Cette comparaison nous permet de contribuer au débat en cours sur les normes méthodologiques des études d’impact ex post qui repose principalement sur des tableaux de bord et des analyses économiques pour la vérification des estimations ex ante des coûts et bénéfices de la réglementation. En appliquant cette recommandation méthodologique à la libéralisation du transport ferroviaire de l’Union européenne, cet article présente une évaluation nuancée des pratiques d’élaboration de politiques sur la base de données probantes (evidence-based). Les conclusions empiriques peuvent être résumées comme suit :
-
Alors que les économistes et les articles scientifiques s’appuient sur la productivité et l’efficience économique et tiennent compte de la complexité qu’il y a à collecter des données des sociétés de chemin de fer, les connaissances produites dans les analyses d’impact et les études d’évaluation de la Commission de l’UE, s’appuient sur une vaste gamme de méthodes d’évaluation rarement utilisées par les économistes.
-
Il existe un remarquable décalage entre le monde scientifique et les décideurs en ce qui concerne les pratiques de production de connaissances. Les connaissances scientifiques ont évolué au fil du temps, suivant un schéma progressif passant des simples ratios de productivité partielle et des ratios de productivité aux modèles de DEA, modèles de données de panel et d’un modèle déterministe à de séries chronologiques et à des applications transversales de modèles stochastiques de la frontière de production. En revanche, la configuration du savoir des analyses d’impact est éclatée. Chaque analyse (ainsi que le rapport de conseil qui y est associé) tend à réinventer les connaissances sur l’impact de la libéralisation du rail en proposant une méthodologie ad hoc de l’impact économique. Une explication possible réside dans le caractère prêt à l’emploi (plug and play) des méthodes évaluatives des consultants qui ont produit les études d’évaluation et les analyses d’impact.
-
Les économistes privilégient les modèles parcimonieux qui tiennent compte de la disponibilité des données ; les deux analyses d’impact analysées reposent soit sur des modèles dynamiques qui requièrent un vaste ensemble d’hypothèses et données (indisponibles) soit sur des méthodes évaluatives fondées sur des jugements subjectifs.
-
Aucune analyse d’impact ne présente un résumé de l’état de l’art et des meilleures connaissances disponibles en matière de libéralisation du rail. Les connaissances produites, au fil du temps, dans les AI successives ne sont pas consolidées. Cette situation a sapé la lisibilité des AI et de l’apprentissage associé aux différents stades de la réforme réglementaire.
58En ce qui concerne la contribution méthodologique du présent document, même si la conception de la recherche pour mener une telle évaluation est simple, le développement effectif de la recherche a été bien plus complexe. Plus précisément, la collecte des preuves a été rendue difficile en raison de l’absence de pratiques de communication et de résumé de l’étendue et de la qualité des connaissances scientifiques. En outre, il y a une tendance de sous-traitance de la production de connaissances et chaque consultant propose un nouveau modèle d’évaluation ainsi que sa méthodologie d’évaluation. La richesse des résultats empiriques confirme le bien-fondé de la méthodologie d’évaluation proposée qui évalue l’étendue de la variété des pratiques de production de connaissances. La différence en ce qui concerne les pratiques et l’absence de recours aux meilleures connaissances et méthodes d’évaluation disponibles sont telles qu’il semble opportun de recommander l’élaboration des lignes directrices spécifiques sur la manière de garantir que les connaissances scientifiques sont effectivement utilisées dans la pratique des analyses d’impact.
59Une autre contribution méthodologique concerne l’unité d’analyse. Afin d’évaluer la qualité des connaissances incorporées dans les études d’impact et le degré de dépendance à l’égard du meilleur savoir scientifique disponible, il est essentiel d’analyser une série d’analyses économiques associées à une réforme réglementaire spécifique. Les IA peuvent difficilement être analysées comme des documents autonomes. Ceci parce que le programme de libéralisation se matérialise par des paquets différents mais liés, mais aussi par le fait que les analyses d’impact sont souvent imbriquées les unes dans les autres. Cela jette un doute sur les recherches précédentes qui ont produit des notes sur des ensembles petits ou grands d’analyses d’impact.
60L’évidente limite d’ordre méthodologique tenant au petit échantillon d’analyses d’impact ouvre la voie à deux pistes pour l’avenir de la recherche. La première serait d’appliquer la méthode proposée à d’autres programmes de libéralisation de l’Union européenne en vue de généraliser la conclusion « empirique » du présent article. La seconde concerne l’amélioration de notre compréhension des raisons des obstacles au transfert et/ou à la traduction des connaissances scientifiques pour l’élaboration des politiques de l’UE et des programmes de libéralisation. Cela nécessiterait des études de cas approfondies comprenant des entretiens et des discussions avec les scientifiques et les économistes afin de déterminer l’influence des consultations, de l’interaction avec les parties prenantes, des interfaces avec la science politique, du rôle des entreprises de conseil dans l’élaboration des politiques de l’UE et de l’importance de la production de connaissances en réseau.
Flux RSS
