Introduction

1Le succès de la Silicon Valley et d’autres clusters spontanés (Saxenian, 1994) ainsi que les travaux de Porter (1990, 1998) sur l’avantage concurrentiel des entreprises situées dans des clusters, ont entraîné la multiplication, dans le monde entier, de politiques de clusters. Ces politiques s’inspirent de ces modèles pour essayer de faire émerger des clusters ou d’amplifier la dynamique de clusters spontanés (OECD, 2007 ; Rosenberg, 2002). Parallèlement, de nombreuses recherches ont tenté de théoriser les composantes de ces politiques et, en amont, d’analyser les mécanismes vertueux produisant, dans un cluster, des effets bénéfiques sur l’efficacité économique des firmes et des territoires sur lesquels elles sont implantées (cf. Cruz et Teixeira, 2009 pour un résumé de la littérature sur les clusters).

2Pourtant, certains chercheurs académiques émettent des doutes sur les effets des clusters. Martin et Sunley (2007) écrivent par exemple qu’« il n’existe pas d’étude ayant cherché à tester l’hypothèse clé de Porter, à savoir l’impact positif de l’appartenance à un cluster sur la compétitivité des entreprises » (traduit et cité par Bocquet et Mothe (2009, p. 106)). D’autres, comme Duranton, Martin, et Mayer (2008), doutent également du bien-fondé des politiques cherchant à encourager ou accélérer la naissance de clusters.

3Les pouvoirs publics ne sont pas insensibles à ces critiques, et par ailleurs, même s’ils sont convaincus de l’efficacité des clusters et des politiques de clusters, particulièrement en Europe, ils ont besoin de justifier l’emploi des fonds publics qui leur ont été consacrés. C’est pourquoi on assiste également à une multiplication de rapports d’évaluation commandités par les instigateurs de ces politiques (par exemple CMI et BCG, 2008 ; Jakoby, 2006 ; Staehler, Dohse et Cooke, 2007), avec un double objectif : améliorer et éventuellement réorienter les politiques, ne serait-ce qu’à la marge, et rendre compte de l’utilisation des fonds publics.

4Malgré ces objectifs assez communément partagés, au vu des évaluations réalisées et publiées dans divers pays occidentaux, on constate assez vite la grande variété des démarches, et de critères d’évaluation adoptés. Au-delà de cette diversité, nous nous sommes demandé s’il était malgré tout possible d’identifier un ou plusieurs modèles d’évaluation des politiques de clusters, ce qui permettrait de se dispenser de réinventer chaque fois tout un dispositif d’évaluation. Nous verrons que nous sommes amenées à distinguer deux grands modèles idéal-typiques en matière d’évaluation des politiques de clusters et essaierons de les caractériser en les reliant notamment aux usages faits des évaluations réalisées. Cet article est volontairement centré sur les questions liées à l’évaluation des politiques de clusters mais comme nous le verrons, il s’inscrit dans des problématiques plus générales liées à l’évaluation des politiques publiques, problématiques que nous avons déjà traitées plus spécifiquement dans d’autres publications (Gallié et al., 2012) et que nous ne reprendrons donc pas ici dans le détail.

1. Méthodologie

5Notre recherche, qui s’inscrit dans le courant de pensée de la recherche qualitative (ou compréhensive) défendant l’intérêt des études de cas (Dumez, 2013 ; Eisenhardt, 1989 ; Flyvbjerg, 2006), s’appuie sur différents travaux, bibliographiques et empiriques, réalisés depuis 2009, sur la question de l’évaluation de la performance des clusters et des politiques de clusters. Nous avons particulièrement travaillé sur l’évaluation des pôles de compétitivité français réalisée en 2008. Pour ceux-ci, nous avons eu accès aux sources les plus nombreuses puisque, outre la synthèse publique de l’évaluation, nous avons pu disposer de matériau brut et interagir à la fois avec les commanditaires, les évaluateurs et un certain nombre des « évalués ». Nous renvoyons à l’article que nous en avons tiré, déjà cité (Gallié et al., 2012). Nous avons aussi travaillé sur des expériences d’évaluation des politiques de clusters à l’étranger, de façon directe pour certains (accès aux rapports d’évaluation, entretiens avec les acteurs concernés), ou à travers une littérature secondaire. En Basse-Autriche par exemple, un certain nombre d’entretiens ont pu être réalisés : directeurs de cluster, responsables de l’agence EcoPlus et de la politique de cluster au gouvernement régional. Ces rencontres ont permis d’accéder au rapport d’évaluation. En revanche, en Wallonie et en Allemagne, nous n’avons pu disposer que de textes publics, qui étaient néanmoins suffisamment documentés pour apporter un contrepoint intéressant à nos deux premiers cas. Les investigations sont donc « de profondeur différente », ce qui est une limite pour certaines de nos analyses, comme on le verra. Au total, nous disposons donc de quatre cas : la France, la Wallonie (une des régions belges), l’Allemagne, la Basse-Autriche (une des régions autrichiennes).

6Précisons enfin que cette recherche a été menée pour l’essentiel en 2010, avant la deuxième évaluation des pôles de compétitivité français menée en 2012, et également avant certaines évaluations qui, dans les pays sélectionnés, ont pu prolonger celles que nous avons analysées.

Données

7Le Tableau 1 ci-dessous résume les documents primaires, c’est-à-dire les rapports d’évaluation sur lesquels nous avons travaillé pour chacun des quatre pays. Le Tableau 2 présenté ensuite résume les principaux documents et sources secondaires que nous avons mobilisés pour mieux comprendre et analyser nos quatre rapports d’évaluation. Les documents secondaires consultés pour chaque pays nous ont notamment permis de compléter mais aussi de trianguler nos informations, pour ensuite alimenter notre grille d’analyse, et pour enfin construire des cas comparables. Cependant il n’y a pas d’homogénéité entre les différents documents secondaires consultés pour chacun des pays.

8Tableau 1 - Documents primaires

9Tableau 2 - Documents et sources secondaires

Plan de l’article

11Dans un premier temps, nous présenterons la grille d’analyse que nous avons utilisée pour étudier les quatre cas sélectionnés. Cette grille permet de structurer l’essentiel des problématiques présentes dans la littérature sur l’évaluation des politiques de clusters et d’effectuer ensuite l’analyse comparative visée. Dans un deuxième temps, après avoir succinctement présenté les politiques de clusters dans les quatre pays choisis, et les modalités de leur évaluation, nous tenterons d’analyser, sur la base de cette grille, quelques traits marquants de ces évaluations, en travaillant sur un mode comparatif. Enfin, nous montrerons, en conclusion, comment ces éléments nous semblent renvoyer à deux modèles idéal-typiques d’évaluation, que nous essaierons de caractériser et dont la validation empirique constituerait une perspective de recherche future.

2. Évaluation de politiques de clusters : construction d’une grille d’analyse à partir des problématiques récurrentes

12Bien que les politiques de clusters diffèrent d’un pays à l’autre (OECD, 2005, 2007, 2009), tous les pays font face aux mêmes difficultés en matière d’évaluation de ces politiques : le caractère systémique des clusters et la multiplicité des parties prenantes en sont à l’origine. Les réflexions sur l’évaluation des politiques de clusters ou d’innovation en sont encore à leurs balbutiements (Diez, 2001 ; Learmonth, Munro et Swales, 2003). Bellandi et Caloffi (2010, p. 70) résument les difficultés en montrant que ces évaluations demandent « une combinaison pertinente des langages et des outils de domaines d’étude différents : l’évaluation des politiques publiques et l’analyse des processus d’innovation et de développement ».

15Nous ne développerons pas en tant que telles ces questions qui concernent toute évaluation de politique publique et qui ont été abondamment traitées dans la littérature (Chanut, 2009 ; Gibert, 2003 ; Perret, 2008 ; Thoenig, 2002). Nous allons seulement revenir rapidement sur chacun de ces trois items pour les expliciter et montrer le type de problématiques que ces questions génèrent, dans le cas des politiques de clusters, sans qu’il y ait, à l’heure actuelle, dans la littérature, de réponse univoque. Cela permettra de mettre en perspective, ensuite, les choix opérés dans les quatre pays étudiés.

2.1. Objets de l’évaluation et schéma de causalité

Le problème des objets de l’évaluation

16Théoriquement, une évaluation de politique devrait s’appuyer sur la connaissance des objectifs de cette politique, qu’on suppose clairement définis ex ante. De nombreux auteurs, comme par exemple Perret (2008), ont toutefois mis en évidence le caractère largement irréaliste d’une telle position dans toute évaluation de politique publique, problème particulièrement visible dans le cas des politiques de clusters :
- Les objectifs des politiques de clusters sont souvent formulés de manière vague (compétitivité et visibilité d’un territoire, performance économique des entreprises…) qui autorise de multiples interprétations. Ceci n’a rien d’étonnant : la logique politique s’accommode mieux du confort de l’ambigüité que des contraintes de la précision (Benzerafa, Garcin, Gibert et Gueugnon, 2011) ;
- La nature systémique des clusters et les multiples acteurs impliqués rendent la définition de la performance problématique et donc les processus d’évaluation compliqués (Diez, 2001 ; Zabala-Iturriagagoitia, Voigt, Gutiérrez-Gracia et Jiménez-Saez, 2007). En effet, les acteurs peuvent avoir des intérêts et des buts variés. Par exemple, on peut s’interroger sur l’identité des bénéficiaires d’une politique de cluster : s’agit-il des entreprises ou de la « collectivité » (région, nation) ? En outre, les clusters eux-mêmes peuvent avoir des objectifs différents selon leur maturité, leur secteur d’activité, etc. Comment intégrer cette diversité dans une évaluation standardisée ?
- Enfin, à supposer qu’on puisse les identifier à un instant donné, les objectifs sont eux-mêmes évolutifs, en fonction des changements de personne ou des évolutions de la politique.

17Il n’est donc pas étonnant que beaucoup d’évaluations de politiques de clusters mettent surtout en évidence des « objets » d’évaluation, qui sont reliés aux objectifs supposés de la politique par une rhétorique parfois assez lâche. Il faut donc avant tout prêter attention à ces objets, qui, de notre point de vue, discriminent fortement les différentes démarches d’évaluation et sont, eux, parfaitement observables quand on analyse a posteriori des démarches d’évaluation. Pour les définir de manière un peu systématique, nous nous appuyons sur les auteurs, déjà cités (BIPE, 2007 ; Sölvell, 2008), qui ont cherché à modéliser les processus d’évaluation de politiques de clusters, ainsi que sur nos connaissances empiriques concernant le cas français (Fen Chong, 2009 ; Gallié et al., 2012).

18La Figure 1 tente de représenter les grandes catégories d’objets évalués quand on cherche à évaluer une politique de clusters. Les objets d’évaluation peuvent se focaliser sur les clusters eux-mêmes (rectangles blancs), mais ils peuvent concerner globalement la politique de clusters ou, pour chaque cluster, les conditions historiques de son émergence (rectangles gris clair). Tous les objets sont en permanence influencés par les facteurs « exogènes » du cluster comme par exemple l’environnement fiscal, juridique, ou social (rectangle gris foncé).

19Figure 1 - Les objets d’évaluation d’un cluster

20

21Ce schéma met d’abord en évidence la différence entre l’évaluation d’une politique de cluster (rectangle gris clair, côté gauche) et l’évaluation d’un cluster (rectangles blancs). En effet, si la première nécessite l’évaluation des seconds, la réciproque n’est pas vraie et l’évaluation d’un cluster peut tout à fait être faite isolément.

22Il montre surtout que, concernant l’évaluation des clusters, les « objets » évalués, regroupés dans les rectangles blancs, peuvent se situer, schématiquement, à trois niveaux différents (de bas en haut) : celui des impacts finaux, celui des actions et résultats intermédiaires, ou celui de l’organisation du cluster.

23Les impacts finaux sur le territoire, ou sur les acteurs impliqués dans le cluster (représentés sur le niveau du bas du schéma) semblent mesurer l’atteinte des objectifs de la politique (par exemple compétitivité accrue des entreprises, attractivité des territoires) et sont donc a priori les plus pertinents.

24Cependant, outre le fait que ces impacts ne sont pas évidents à objectiver (quels impacts, économiques, sociaux, environnementaux etc. à identifier et comment les mesurer ?), les effets réels de la politique ne peuvent être décelés qu’au bout d’un certain temps en termes d’impacts finaux. Faute de ce recul temporel, on est donc souvent conduit à évaluer d’autres objets, à un niveau intermédiaire, à savoir des résultats intermédiaires de l’action de chaque cluster, ainsi que les actions menées par ces clusters. Il s’agira par exemple d’évaluer les succès des clusters en matière de financement de projets collaboratifs, ou la nature des actions menées en matière de mise en réseau des entreprises, d’aide au montage de projets, de soutien au développement international, de communication, etc. Ces actions et résultats intermédiaires pouvant être eux-mêmes difficiles à appréhender et à objectiver, on peut finalement souhaiter se centrer sur des objets qui caractérisent l’efficacité de l’organisation et du pilotage des clusters (comme le fait l’ECEI évoquée plus haut), en faisant l’hypothèse que cette efficacité sera source de résultats pour le cluster. On examinera alors les modalités d’animation mises en place, l’organisation de la structure de gouvernance, les compétences des dirigeants, etc. On est ainsi amené à « remonter » le schéma de bas en haut pour appréhender des objets possibles à évaluer.

25Nous percevons maintenant mieux la variété des démarches évaluatives en matière de clusters : elles peuvent ainsi se focaliser sur la politique de clusters ou sur les clusters eux-mêmes ; sur les impacts économiques ou sur l’efficacité organisationnelle, sur les territoires ou sur les entreprises, etc. Chaque démarche évaluative est caractérisée par un choix spécifique des objets qui sont soumis à évaluation.

26Mais ces différents objets ne sont pas indépendants les uns des autres. Ils sont en général reliés par un schéma de causalité, sur lequel s’appuient plus ou moins explicitement la politique publique et son évaluation. Dans ce schéma interviennent d’ailleurs aussi, comme on l’a dit, des facteurs exogènes (environnement fiscal par exemple), ou les caractéristiques « héritées » du cluster comme les ressources du territoire ou l’histoire des coopérations entre acteurs (Crespo, 2010 ; Fen Chong, 2009 ; John et Pouder, 2006). Ce schéma de causalité est à notre sens le deuxième élément important qui caractérise telle ou telle démarche évaluative. Nous allons donc examiner ce point dans ce qui suit.

Le problème de l’imputabilité des résultats et du schéma de causalité

27La question centrale pour juger des effets d’une politique de clusters est : que ce serait-il passé en l’absence de cette politique, c’est-à-dire sans soutien volontariste à la création et au développement de clusters ?

28On peut tenter de mesurer des résultats par rapport à une situation de référence. Mais, même quand cela est possible, si l’on veut imputer ces résultats à la politique menée, il est nécessaire, dans le processus évaluatif, d’explorer le schéma de causalité, pas toujours explicité, qui est sous-jacent à cette politique, d’autant que d’une politique à l’autre, ces schémas peuvent être sensiblement différents. En effet, les jugements portés par les évaluateurs s’appuieront sur les liens de cause à effet qu’ils supposent entre les objets évalués.

29Ainsi, certaines politiques de clusters comme la politique française s’emploient à inciter les entreprises à développer des projets de R&D collaboratifs en supposant que ces collaborations stimuleront leurs capacités d’innovation, ce qui sera source d’impacts économiques positifs pour elles et leur territoire d’implantation. Pourtant, on peut se demander si les projets coopératifs accélèrent toujours l’innovation, certains pensant que « la mauvaise collaboration est pire que son absence » (Hansen, 2009, p. 1). Mais, si la politique est construite sur l’hypothèse du rôle majeur des projets collaboratifs, la démarche évaluative devra identifier des critères qui permettent de tester cette hypothèse.

30En d’autres termes, une politique publique met toujours en œuvre une « théorie de l’action » (Gibert, 2003), même si celle-ci n’est pas toujours explicite, et ce n’est autre que le schéma de causalité qui relie les différents objets du schéma précédent. Ce sont donc ces liens logiques supposés qu’il s’agit d’explorer dans le processus évaluatif, et dont la caractérisation distingue les différents processus d’évaluation.

2.2. Démarche et méthodologie de l’évaluation

31Le processus institutionnel et les choix de méthode propres au processus évaluatif constituent une deuxième grande catégorie de variables qui interviendront dans notre analyse comparative.

33Les choix méthodologiques constituent également une autre source importante de variété. Ils doivent donc être caractérisés précisément. La méthodologie suppose en général un choix entre démarche qualitative ou quantitative, ou une combinaison entre ces deux approches. Mais, dans tous les processus d’évaluation, l’idée est d’objectiver les jugements, et donc de rechercher au maximum à quantifier les phénomènes analysés, par exemple l’impact économique de la politique. D’où l’importance du choix des indicateurs.

34Le choix des indicateurs est largement dépendant des objets d’évaluation que le commanditaire et les évaluateurs ont choisis. Nous en donnons quelques exemples dans le schéma déjà utilisé ci-avant, que nous reprenons ci-dessous. Ces choix sont néanmoins fortement contraints par la disponibilité et la fiabilité des données recherchées.

35Figure 2 - Exemples d’indicateurs sur les différents objets évalués

36

37Cependant, certains des phénomènes que l’on cherche à appréhender ainsi que la pertinence même des schémas de causalité qui ont été explicités ne peuvent être finement compris que si l’on utilise des méthodes qualitatives, fondées sur des entretiens avec les acteurs. Exemples : la collaboration, la qualité du management et de l’animation, les liens préexistants à la création du cluster, la progression des mises en relation, etc. Il faudra donc caractériser le « mix » méthodologique choisi dans chaque cas étudié.

2.3. Effets et usages de l’évaluation

38Dernier volet de notre grille d’analyse : l’interaction entre les résultats de l’évaluation et les décisions politiques, en d’autres termes les effets et usages du processus d’évaluation.

39Un processus d’évaluation de politique publique a en effet, on le sait, des objectifs affichés qui sont en général de deux ordres :
- rendre compte de l’usage des fonds publics ;
- réorienter la politique et améliorer son pilotage par les pouvoirs publics.

40Sur le premier volet, on peut voir dans l’évaluation, plus cyniquement, l’occasion, pour les acteurs décisionnaires, de communiquer sur le bien-fondé et les résultats de leurs politiques. Sur le deuxième, on sait que les résultats des évaluations sont diversement utilisés par les décideurs, et qu’ils peuvent aussi servir à légitimer des décisions déjà prises.

41Il faut donc se départir d’une vision utopique où « … l’évaluation est vue comme un processus linéaire dans lequel les résultats scientifiques corroborés, basés sur les meilleurs moyens de mesure, sont transmis à une machine de prise de décision bien huilée, où les résultats sont reçus, adoptés et mis en œuvre par les responsables publics. » (Vedung, 2009, p. 267). La réalité est tout autre.

42Une évaluation a aussi des effets collatéraux importants, recherchés ou non. Une évaluation peut avoir pour effet de mobiliser les différents acteurs de clusters, de forger des représentations communes, d’accroître les connaissances des acteurs, notamment les pouvoirs publics, sur le fonctionnement des clusters et les pratiques d’évaluation efficaces (effet d’apprentissage).

43Nous essaierons donc, autant que possible, dans nos quatre cas, de caractériser ces différents effets et usages. Cependant, il s’agit là des éléments les plus difficiles à appréhender quand on n’a accès qu’à des sources secondaires, car leur compréhension nécessite en général une étude empirique fine auprès des principales parties prenantes de la politique. Nos analyses sur ce troisième volet seront donc nécessairement succinctes.

3. L’émergence de politiques de clusters dans quatre pays européens et leurs évaluations

45France. En 2005, le gouvernement français lançait une politique de clusters (appelés pôles de compétitivité) sur l’ensemble de son territoire. Cette politique nationale devait stimuler l’innovation des entreprises, et donc la compétitivité des territoires, grâce à un dispositif de subventions à des projets de R&D faisant collaborer entreprises, petites et grandes, et laboratoires de recherche publics. Entre 2005 et 2008, le gouvernement français consacra une enveloppe de 1,5 milliard d’euros à cette politique, et la reconduisit pour 3 ans en 2008, à la même hauteur. À noter qu’une petite partie des fonds (3,3 %) était consacrée, non pas au financement des projets collectifs, mais au financement de l’animation des clusters, et que par ailleurs, les collectivités territoriales (notamment les Régions) participèrent également au financement des pôles labellisés nationalement.

46Allemagne. Au milieu des années quatre-vingt-dix, l’Allemagne, comme d’autres, se lançait dans une politique industrielle fondée sur la notion de clusters (Dohse, 2007), notamment en organisant en 1996 un processus de sélection national (BioRegio), destiné à soutenir des clusters de pointe dans le domaine des biotechnologies. Des processus analogues suivirent dans d’autres secteurs. L’objectif était de devenir le leader européen dans ce domaine en stimulant la croissance des entreprises. Sur la base de dossiers, un jury choisit trois régions qui reçurent chacune 50 millions de marks (environ 26 millions d’euros), charge à elles d’aider les acteurs concernés à atteindre les objectifs fixés en cinq ans (Staehler et al., 2007). À la différence de la France, le gouvernement fédéral allemand joua uniquement un rôle de « catalyseur et de facilitateur » (Dohse, 2007, p. 90), laissant aux Länder la liberté du pilotage de la politique.

47Basse-Autriche. En Autriche, la responsabilité des politiques de clusters incombe aux régions (même si, récemment, le gouvernement autrichien a commencé à mettre l’accent sur la question de la coordination des initiatives régionales). En 1995, la Styrie, bientôt suivie par les autres, fut la première région autrichienne à développer une politique dans ce domaine. Le principe en est un soutien financier destiné à encourager la structuration de clusters et à développer les services aux entreprises qu’ils proposent. En revanche, ces subsides publics n’ont pas pour but de financer des projets de recherche, qui continuent à émarger aux sources traditionnelles de financement. La Basse-Autriche, qui créa quatre clusters entre 2001 et 2004, date de la première évaluation, est la région que nous avons étudiée. En Basse-Autriche, la structure de management de chaque cluster est abritée par l’agence économique régionale, EcoPlus. Deux des objectifs majeurs de la politique sont de stimuler la compétitivité des PME locales et de les aider à accéder à de nouveaux marchés (par le biais de projets coopératifs au niveau national et international).

48Wallonie. Comme en Autriche, les politiques de clusters en Belgique sont régionales. En Wallonie, elles ont démarré en 2000, le gouvernement régional ayant décidé d’encourager la naissance de réseaux d’entreprises (Lepage, 2009). De 2001 à 2006, quatre clusters expérimentaux furent mis en place. Les subventions publiques avaient pour but le soutien à l’émergence de ces regroupements, en prenant en charge les frais de fonctionnement au début du processus : pendant les trois premières années, un budget annuel de 480 k€ était garanti aux clusters, budget qui fut ensuite réduit progressivement.

49Le Tableau 3 ci-dessous résume les principales caractéristiques de ces politiques.

50Tableau 3 - Quatre politiques de clusters

51

4. Quatre processus évaluatifs : un regard comparatif

52Après cet aperçu rapide des quatre politiques développées dans les quatre pays européens choisis, nous nous intéressons aux évaluations réalisées dans les quatre cas.

53Nous allons maintenant, en nous aidant de la grille d’analyse présentée plus haut, sur les trois dimensions choisies, mettre en évidence un certain nombre de rapprochements ou de différences observés en comparant nos quatre cas.

4.1. Objets des évaluations et schémas de causalité

Les objets des évaluations

54Nous résumons d’abord, pour les quatre pays étudiés, la nature des objets d’évaluation choisis dans chacun des processus évaluatifs.

55L’évaluation des pôles français s’est centrée sur trois grandes catégories d’objets, à l’exception des impacts économiques, qu’il semblait prématuré de regarder. L’évaluation française a d’abord investigué la politique publique en termes de cohérence, pertinence, et implémentation. Ensuite, elle s’est concentrée sur la gouvernance et l’organisation des pôles (structuration des organes de gouvernance, budgets et moyens humains, mise en place…). Enfin, elle a également regardé les actions menées et leurs résultats intermédiaires (subventions obtenues, projets labellisés…). Les éléments quantifiés, fournis par les tutelles et les pôles, et qui ont permis de nourrir ces investigations, ont été complétés par des entretiens avec les responsables de clusters et de la politique. Le point de vue des membres des pôles n’a pas été sollicité de manière systématique.

56L’évaluation autrichienne a considéré trois objets. D’abord, la politique de cluster, et son insertion dans la politique industrielle de la Basse-Autriche (sur la base d’indicateurs généraux de structure et de budget). Ensuite, le management de l’agence économique EcoPlus qui coiffe les quatre clusters. Enfin, la satisfaction des entreprises membres concernant le fonctionnement du cluster, ses moyens et ses actions, les projets coopératifs menés. Comme en France, aucune analyse d’impact n’a été réalisée.

57En Wallonie, l’évaluation a abordé de nombreux thèmes. Schématiquement, après avoir caractérisé chaque cluster en termes de composition, de poids économique, de nature du management interne, les évaluateurs ont réalisé une étude de leur activité et de leurs résultats (nombre d’actions collectives, taux de participation, nombre de projets R&D, etc.) et ont tenté, au cours des entretiens, de qualifier leur impact sur deux niveaux : (i) les entreprises situées dans le cluster (nouveaux produits, taux de création de nouvelles entreprises, etc.) ; (ii) le territoire dans son ensemble (développement d’exportations, offres d’emploi, etc.). Ils ont parallèlement analysé la pertinence et la cohérence de la politique, ainsi que la qualité du pilotage gouvernemental.

58Enfin, en Allemagne, l’évaluation s’est centrée sur la question de la valeur ajoutée économique du programme, de sa place par rapport aux autres politiques, et surtout sur l’analyse de ses résultats macroéconomiques (développement du nombre d’entreprises, du marché du travail, mobilisation du capital-risque, résultats technologiques en termes de brevets et licences…). Cette analyse quantitative et comparative par rapport à des régions non retenues dans les programmes a été complétée par des analyses qualitatives sur les effets de la politique, le rôle des clusters, le développement de la coopération, la structuration du secteur des biotechnologies, en interrogeant l’ensemble des entreprises, les instituts de recherche et des « experts ». Enfin, une comparaison avec des clusters britanniques leaders en biotechnologies a été effectuée, sur la base d’indicateurs quantitatifs (caractéristiques du cluster, de sa composition, et des produits scientifiques et économiques de son activité).

59Finalement, trois points nous semblent discriminants dans le choix des objets d’évaluation :
- l’évaluation explore ou non, selon les cas, les impacts économiques finaux ;
- ces impacts finaux sont ciblés selon les cas sur les entreprises, ou la collectivité ;
- les évaluations s’attachent plus ou moins à l’analyse des organisations (des clusters ou des pouvoirs publics en charge de la politique).

60On retrouve le fait que les objets d’évaluation choisis dans les quatre pays ne sont pas les mêmes, malgré des recouvrements : l’évaluation allemande se concentre sur les impacts économiques finaux, alors que l’évaluation française ne traite pas cet aspect, mais cherche à caractériser à la fois l’efficacité du management et les résultats intermédiaires obtenus (par exemple en termes d’obtention de subventions ou de nombre de projets labellisés). L’évaluation autrichienne est également centrée sur l’efficacité du management des clusters et les résultats obtenus notamment en termes de services offerts aux entreprises, mais, outre une analyse interne, elle utilise une évaluation de la satisfaction des entreprises membres des clusters pour apprécier cette efficacité.

61En termes de bénéficiaires, il est notable que la Wallonie et l’Allemagne, bien qu’attentives aux effets de la politique sur les entreprises, cherchent à caractériser, plus généralement, l’impact sur la collectivité, au moins au niveau du territoire, en analysant par exemple les investissements de R&D, l’évolution de l’emploi, la création d’entreprises. La Basse-Autriche, par contraste, met davantage l’accent sur la satisfaction des entreprises qui apparaissent comme les bénéficiaires essentiels.

62Il est à noter enfin que, contrairement à l’Allemagne, les évaluations wallonne et autrichienne s’intéressent apparemment d’assez près au pilotage public de la politique : en Autriche, l’organisme qui pilote et gère les clusters, EcoPlus, est évalué (en termes de stratégie, de système de reporting, de développement du know-how), mais l’insertion de la politique de clusters dans la politique industrielle de Basse-Autriche est également examinée.

63En Wallonie, les évaluateurs se sont penchés sur la gestion de la politique par l’administration wallonne, notamment sur le processus de sélection, mais également sur l’organisation de l’administration, et ont participé aux « comités d’accompagnement » réunissant les représentants des clusters et de la région.

64L’évaluation française a également, dans une moindre mesure, analysé le pilotage public de la politique des pôles de compétitivité, essentiellement sous l’angle des procédures de financement et de reporting, mais sans rentrer dans les modes d’organisation des pouvoirs publics.

65Dans le Tableau 4, nous reprenons les catégories d’objets d’évaluation présentées dans la Figure 1 pour résumer d’une manière synthétique la palette d’objets évalués par chacune des évaluations analysées. Cette synthèse illustre que l’évaluation wallonne est la plus complète car elle a essayé de couvrir la totalité des objets répertoriés pour évaluer une politique de cluster tandis que les autres pays se sont focalisés sur une partie de ces objets. Toutes les quatre ont essayé d’investiguer les actions et résultats intermédiaires. Mais l’évaluation allemande, typique d’une évaluation ex post se concentre surtout sur les impacts économiques. Les évaluations intermédiaires réalisées en France et en Basse-Autriche, quant à elles, se concentrent surtout sur la mise en œuvre de la politique et l’efficacité de l’organisation des clusters.

66Nous verrons plus loin que le choix de ces objets d’évaluation n’est pas sans lien avec les usages qui ont été faits des évaluations.

67Tableau 4 - Les objets d’évaluation dans les quatre pays

68

Les schémas de causalité

71Les schémas de causalité ont été reconstitués à partir des documents d’évaluation et des exposés de la politique. Comme on l’a dit, le schéma de causalité sous-jacent à la politique française fait le lien entre projets collaboratifs de R&D, innovation, et compétitivité des entreprises et du territoire concernés. Pour les autres pays étudiés, la situation est assez contrastée :
- la Basse-Autriche fait l’hypothèse que la qualité des services offerts par le cluster aux entreprises, alliée à ses actions de mise en réseau, va augmenter la coopération des entreprises et donc les rendre plus compétitives ;
- l’Allemagne, quant à elle, ne détaille pas de schéma de causalité de sa politique, ce qui est cohérent avec le fait que l’État laisse les Länder libres de l’utilisation des fonds qui leur sont attribués à l’issue du concours. Les schémas de causalité sont donc en fait construits par les Länder, éventuellement différemment les uns des autres, et l’État ne cherche pas à les tester : ce sont essentiellement les résultats macro‑économiques de la politique qui sont examinés ;
- enfin, dans le cas de la Wallonie, le schéma de causalité sous-jacent à la politique est peu apparent, les actions encouragées dans le cadre de la politique de clusters étant diverses (R&D, formation, investissements). Sur ce point, ce cas se rapproche du cas autrichien par la transmission de la responsabilité des modalités d’action aux managers des clusters, et du cas allemand par l’absence d’explicitation des modalités d’action à mettre en œuvre…

72Tableau 5 - Les schémas de causalité dans les quatre processus évaluatifs

73

74Ces situations contrastées permettent d’éclairer le choix des objets d’évaluation qui ont été identifiés, dans chacun des quatre pays : en particulier, on comprend pourquoi l’évaluation allemande se centre sur les effets et impacts économiques des clusters ; alors que l’Autriche se préoccupe de l’évaluation du management des clusters, tournés vers les entreprises.

75À travers cette comparaison, on peut aussi d’ores et déjà noter que c’est le schéma de la politique française qui est le plus explicite, ce qui devrait permettre d’évaluer la pertinence même de la politique, si, à plus long terme, tous les maillons de la chaîne de causalité deviennent observables (en particulier les impacts économiques, mais aussi les caractéristiques héritées des pôles). Une telle observation n’est guère surprenante quand on sait que, en France, l’État pilote lui-même de près un certain nombre de politiques publiques. À l’inverse, l’État allemand, qui finance et conçoit une politique, mais en délègue la mise en œuvre aux Länder, peut difficilement s’intéresser à sa mise en œuvre détaillée sans mettre en cause le partage des rôles institué entre les deux niveaux institutionnels.

4.2. Démarche et méthodologie des évaluations

Démarche

76À l’exception de l’Allemagne, les évaluations ont toutes été lancées trois ou quatre ans après le lancement de la politique ; elles peuvent donc être considérées comme des évaluations intermédiaires.

77Dans les quatre cas, les évaluations ont été déclenchées par les commanditaires des politiques de clusters ou des entités publiques qui leur étaient proches, mais les évaluateurs avaient des profils assez différents selon les cas (consultants plus ou moins internationaux, universitaires d’autres pays, experts internationaux…). Ces choix donnent des indications sur la question de l’indépendance de l’évaluation, qui peut jouer un rôle dans les idéaux-types d’évaluation que nous tentons de mettre en lumière en conclusion.

78Tableau 6 - Les quatre processus évaluatifs

79

Méthodologie

80Si l’on s’intéresse maintenant aux choix méthodologiques mis en œuvre dans les quatre pays, on constate que, même si des points communs existent, une certaine diversité des approches se manifeste, notamment :
- dans la volonté de mettre en évidence des impacts économiques par des mesures objectives ;
- dans l’accent mis sur la comparaison avec des entités « témoin » ;
- dans l’équilibre choisi entre approches quantitative et qualitative ;
- dans le croisement des points de vue, et en particulier l’importance accordée aux jugements des membres des clusters (notamment les entreprises) sur les dispositifs.

81Les évaluateurs allemands optèrent pour une approche analytique la plus scientifique possible, en réalisant une comparaison statistique entre les régions distinguées par les programmes gouvernementaux et d’autres régions « témoins ». Pour ce faire, toutes les entreprises qui, début 2006, en Allemagne, avaient pour activité principale les biotechnologies (630 entreprises) ont été contactées, alors que 98 d’entre elles seulement (soit moins de 20 %) avaient bénéficié des subventions liées aux programmes BioRegio et BioProfile ; ces enquêtes ont cherché à savoir par exemple si les programmes avaient amélioré la réputation internationale de l’Allemagne en tant que site économique dans les biotechnologies, si, grâce aux programmes, des coopérations avaient été réalisées qui sans ceux-ci n’auraient pas débuté, ou si les coopérations étaient fructueuses et durables. On notera que le recul temporel de l’évaluation allemande permettait d’évaluer la progression de certains indicateurs économiques (valeur ajoutée par exemple). Par ailleurs, la comparaison s’effectuant au sein d’un même secteur (les biotechnologies), elle s’affranchissait des critiques portant sur la non-pertinence des comparaisons multisectorielles. Enfin, une comparaison des principales caractéristiques de la structure, de l’activité et du financement des clusters a été effectuée (pour les clusters leaders) avec des clusters britanniques majeurs, manifestant à nouveau le souci de trouver des entités témoin, auxquelles comparer les clusters allemands. Cela dit, des éléments en partie qualitatifs ont également été recueillis auprès des entreprises et des institutions de recherche pour caractériser l’action et les résultats des clusters.

82À l’inverse, la France, la Basse-Autriche, et la Wallonie optèrent pour des approches plus descriptives et qualitatives, imposées de toute façon par la faible durée d’existence de leurs clusters. C’est une des raisons qui explique qu’en France, mais aussi en Wallonie et en Autriche, une partie importante de l’évaluation s’attache à spécifier, par quelques indicateurs quantitatifs (nombre de membres des clusters, nombre de salariés concernés, nombre de projets, volume des subventions accordées…), mais surtout qualitativement, par des entretiens, la qualité de management des clusters et les résultats de leur activité.

83Enfin, il est intéressant de caractériser la manière dont la variété des parties prenantes a été prise en compte dans les différentes évaluations. Dans toutes les démarches sont interviewés des acteurs impliqués dans la politique, des responsables de clusters, et à un moindre degré, des représentants d’institutions de recherche. Toutefois, deux spécificités notables apparaissent :
- dans l’évaluation allemande, 19 interviews d’« experts » sont réalisées dans les 10 régions concernées par le secteur Biotechnologie ;
- dans deux des quatre pays étudiés (l’Allemagne et la Basse-Autriche), un questionnaire est adressé à toutes les entreprises concernées (y compris, pour l’Allemagne, des entreprises du secteur, mais dans des régions non lauréates). Ces questionnaires, destinés, entre autres, à recueillir de l’information économique dans le cas allemand, sont centrés, en Autriche, sur l’appréciation de la compréhension et de la satisfaction des entreprises vis-à-vis de la politique et de l’action des clusters qui les concernent.

84Au total, au-delà de difficultés classiques rencontrées par tous les évaluateurs en matière de collecte de données fiables, ou de définition de périmètres pertinents, problèmes que nous ne détaillerons pas ici, on constate surtout que toutes les évaluations essaient de multiplier les approches en termes d’angles d’attaque et de méthode.

85Cela dit, dans le “mix” méthodologique ainsi défini, on remarque le contraste notable entre l’approche allemande, beaucoup plus centrée sur les résultats économiques de la politique, appréciés par rapport à des points de référence, et l’approche autrichienne, orientée vers la mesure détaillée de la satisfaction des entreprises par rapport aux services apportés par les clusters. Les approches françaises, et surtout wallonne, sont plus hybrides.

86Tableau 7 - Sources des données et éléments de méthodologie

87

4.3. Effets et usages des évaluations

88Dans les sections précédentes nous venons d’analyser en profondeur les quatre rapports d’évaluation présentés dans le Tableau 1. Dans cette dernière section, nous abordons maintenant, sur la base d’autres types de sources (entretiens, communiqués publics, presse…) présentées dans le Tableau 2, les effets et usages des évaluations analysées. Mais sur ce point, compte tenu de la différence de profondeur de nos investigations selon les pays, nous ne pourrons donner que quelques aperçus succincts portant sur les usages faits par les pouvoirs publics des évaluations réalisées.

90Ensuite, en ce qui concerne l’intervention sur le pilotage des clusters eux-mêmes et la mobilisation de leurs acteurs par le risque de sanction liée à l’évaluation, elle a été différente selon les pays. En Wallonie, deux des quatre clusters pilotes ont été délabellisés immédiatement, avec les conséquences concomitantes en termes de soutien financier (Lepage, 2009). Suite à cette phase pilote et son évaluation, qui a donc permis à la Wallonie d’apprendre d’abord à petite échelle sur l’utilité et les effets de la politique, le « vrai » programme de cluster a été lancé en Wallonie. En France, où il n’y a pas eu de phase pilote, les 71 clusters ont été évalués. Pour treize d’entre eux, les évaluateurs ont recommandé de procéder à une « reconfiguration en profondeur », recommandation qui a été une incitation à restructurer et à clarifier leur politique et qui a fortement mobilisé les clusters concernés et leurs soutiens politiques régionaux. Presque deux ans plus tard (en mai 2010) six des treize pôles « mal évalués » lors de l’évaluation (publiée en juin 2008) se sont vus retirer leur label, avec les subventions associées. Contrairement à la Wallonie, l’effet sanction, en France, n’a joué qu’in fine, après avoir laissé les pôles apprendre de l’évaluation.

91Enfin, en ce qui concerne la réorientation de la politique, en France, une politique 2.0 est partiellement issue des préconisations des évaluateurs (par exemple obligation pour chaque cluster de développer un plan stratégique et ensuite de signer un contrat de performance avec la tutelle nationale et les régions ; plus grande ouverture vers les financements européens). Cependant, il faut se garder de toute forme d’angélisme et remarquer qu’un certain nombre de décisions ont été prises en amont, avant l’achèvement formel de l’évaluation. On sait plus généralement que l’évaluation d’une politique publique ne peut être considérée comme seule source de la décision politique ou administrative (Lacasse, 1995). En Allemagne, l’évaluation, effectuée ex post, ne pouvait avoir de conséquences sur un programme à durée déterminée. Cependant, l’évaluation positive du programme a influencé la réplication de celui-ci sur d’autres secteurs.

92Les usages de l’évaluation en termes de pilotage par les décisionnaires publics semblent donc plus manifestes dans les cas français et wallon que dans le cas allemand. Dans le cas autrichien, malgré l’absence de décision spectaculaire comme une délabellisation, nous ne pouvons émettre de jugement étayé sur ce point. Nous pouvons seulement faire l’hypothèse, par analogie avec des situations semblables, que le renvoi aux clusters des jugements portés par les entreprises a pu constituer un stimulant à l’amélioration du management, et donc un outil de pilotage.

Conclusion : au-delà de la diversité, deux modèles contrastés d’évaluation ?

93Au-delà de la variété des démarches évaluatives constatée dans les quatre pays étudiés, peut-on repérer quelques invariants et, au moins, trouver des explications à la diversité ? La première observation qui peut être faite, est que, dans chaque pays, nous décelons une certaine cohérence entre les trois grandes catégories de caractéristiques de notre grille d’analyse. Les objets d’évaluation et le schéma de causalité qui les relie, la méthodologie utilisée, les usages faits de l’évaluation ne sont pas indépendants les uns des autres.

94Figure 3 – Résumé : les trois volets d’une évaluation

95

96Ainsi, en Allemagne,
- les objets d’évaluation sont centrés sur la question de l’impact économique, et aucun schéma de causalité n’est explicité ;
- la méthodologie est essentiellement quantitative et l’évaluation s’appuie sur des universitaires et un expert international ;
- il n’y a pas d’usage direct des résultats (publics) de l’évaluation pour piloter la politique, (autre que le lancement ultérieur d’autres programmes analogues dans des secteurs différents).

97Par contraste, en France,
- les objets d’évaluation sont des résultats intermédiaires (des projets de R&D financés) et des modes d’organisation, mais pas les impacts finaux ;
- la méthodologie a une forte composante qualitative et les évaluateurs sont des cabinets de consultants pilotés par les administrations qui exercent la tutelle des pôles ;
- les résultats de l’évaluation, en partie publics seulement, sont utilisés à des fins de mobilisation des acteurs, de pilotage et de réorientation de la politique (Politique 2.0.).

98Le cas wallon, plus hybride en termes d’objets et de méthodologie, se rapproche toutefois davantage du cas français, en ce que l’évaluation est directement utilisée pour piloter la politique.

99Quant à l’Autriche, elle se rapproche du cas français, en termes d’objets et de méthodologie mais semble viser essentiellement, en termes d’usages, un pilotage des clusters via la mobilisation des managers, plus qu’une réorientation ou amélioration de la politique elle-même.

100Nous synthétisons ces constats dans le tableau ci-dessous.

101Tableau 8 : Résumé : les deux modèles d’évaluation

102

104À titre d’hypothèse heuristique, qui demanderait à être testée de manière plus approfondie et sur de plus nombreux exemples, on pourrait avancer que deux modèles idéal-typiques sont sous-jacents à ces différences, caractérisés notamment par des usages contrastés des évaluations :
- un modèle « économiste », qui s’intéresse prioritairement au bilan ex post de la politique, fait en termes d’impacts économiques, et qui, pour cela s’appuie nécessairement sur des approches quantitative et comparative, qui permettent, en apparence au moins, une « objectivation » plus grande des résultats, et dont la légitimité est renforcée par les caractéristiques des évaluateurs ;
- un modèle « gestionnaire » qui met en exergue le rôle d’aide au pilotage d’une démarche évaluative, et qui, à ce titre, cherche à qualifier in itinere des résultats intermédiaires, et à explorer des schémas de causalité explicites, sous-jacents à la politique, pour les tester et éventuellement réorienter la politique. À ce titre, ce type de démarche, qui, sans négliger l’intérêt d’indicateurs quantitatifs, s’appuie sur des méthodes qualitatives, pour « rentrer dans la boîte noire » du fonctionnement des clusters, ne revendique pas, en général, les mêmes caractéristiques de scientificité que la précédente. Un signe en est que l’indépendance de la démarche évaluative n’y est pas spécifiquement recherchée, le caractère « actionnable » de la démarche, souvent corollaire de la proximité aux décideurs, y étant en revanche privilégié.

105On retrouvera là une dualité qui renvoie, de manière plus générale, à l’opposition, classique en évaluation des politiques publiques (EPP), entre « évaluation de l’action » et « évaluation dans l’action » (Chanut, 2009).

106Comment, alors, les différents pays se déterminent-ils par rapport à ces deux idéaux-types ?

107Bien sûr, on sait que les modèles d’évaluation des politiques publiques sont largement nationaux, modelés par l’histoire institutionnelle et socio-politique de chaque pays (Barbier et Matyjasik, 2010 ; Lacouette-Fougère et Lascoumes, 2013). Mais, pour ce qui concerne le champ des politiques de clusters, le choix d’une démarche évaluative renvoyant à l’un ou l’autre de ces modèles nous semble orienté par au moins deux considérations complémentaires :
- d’une part, la maturité de la politique de clusters, car, on l’a vu, le modèle « économiste » demande un recul temporel qui n’est pas exigé par l’autre ;
- d’autre part, la légitimité des modes d’intervention des pouvoirs publics. En effet, les systèmes politico-économiques des différents pays et leur culture nationale, ne permettent pas toujours aux pouvoirs publics d’intervenir directement dans des processus gérés par d’autres acteurs, même si des soutiens financiers sont accordés via la politique de clusters : ainsi, en Allemagne, l’état fédéral n’est pas légitime à intervenir dans des programmes gérés par les Länder, alors que la tradition interventionniste de l’État français lui permet de demander des comptes sur les processus de gestion internes des pôles de compétitivité.

108Par ailleurs, on observera que ces deux modèles, également légitimes, ne sont bien sûr pas exclusifs l’un de l’autre. Ils apportent des points de vue complémentaires sur une politique et peuvent donc se combiner, ou se succéder au fil du temps. Ces choix dépendront des commanditaires des évaluations et des usages qu’ils souhaitent en faire. Mais la mise en évidence de ces deux modèles peut permettre aux instigateurs des évaluations de construire des démarches évaluatives plus cohérentes.

109Enfin, même si le modèle « gestionnaire » semble a priori plus tourné vers la production de connaissances actionnables, source d’apprentissage pour les acteurs opérationnels (responsables de clusters autant que décideurs politiques), on fera observer que, dans les deux cas, la démarche évaluative a une vertu qui n’est pas souvent mise en exergue : elle oblige l’évaluateur (en commun avec le commanditaire), en se posant le problème du choix des objets d’évaluation, à révéler les objectifs de la politique menée, qui ne sont pas nécessairement très explicites. À travers ce processus, les acteurs impliqués commencent alors à faire rétrospectivement sens de leurs actions déjà menées. Cette « interaction entre action et interprétation » (Weick, Sutcliffe et Obstfeld, 2005, p. 409) ajoute à l’évaluation cette vertu souvent oubliée : la clarification des objectifs sous-jacents de la politique. Cette clarification permet donc d’améliorer potentiellement l’orientation des politiques et des actions futures.