Les auteurs tiennent à remercier les collègues suivants pour leurs remarques : A. Leclerc (INSERM U687) et, plus généralement, l’ensemble des acteurs impliqués dans les projets ANR français « EPID – ERGO - Action » et « TMS – SUPOR » coordonnés par Annette Leclerc et Yves Roquelaure, dont les débats ont contribué à nourrir ce texte.
1L’amélioration de la performance des interventions conduites en milieu de travail constitue un enjeu majeur pour la prévention des troubles musculo-squelettiques (TMS). La prévention ne peut être réduite à une application des modèles étiologiques disponibles. Dans le cadre de l’intervention ergonomique, la prévention suppose une mobilisation d’acteurs singuliers selon des formes adaptées non définissables par avance, dans des contextes spécifiques (culturels, sociaux, économiques…) auxquels il faut également s’adapter. L’amélioration de nos actions nécessite une meilleure compréhension du passage des connaissances étiologiques générales aux actions dans des contextes singuliers. L’évaluation des interventions vise précisément à construire une meilleure compréhension des relations entre le déroulement, le contexte et les effets de ces interventions (Berthelette et coll., 2008 ; IRSST 2008 ; Landry et coll., 2006). Cet article prétend apporter une contribution à la précision des différents enjeux et conditions de l’évaluation des interventions en milieu de travail.
2Plusieurs articles scientifiques traitant de la question de l’évaluation des interventions s’inscrivent dans une « perspective descendante » (par exemple, Westgaard et Winkel, 1997 ; Tuncel et coll., 2008) : les « bonnes pratiques » de l’évaluation (souvent issues du point de vue de l’épidémiologie) sont définies, et les intervenants (chercheurs et/ou praticiens) sont invités à les suivre autant que possible. Nous pensons que cette approche, malgré toutes les connaissances utiles qu’elle fournit, ignore la plupart du temps les spécificités de l’intervention dans le milieu de l’entreprise. Cet article souligne l’intérêt d’une approche complémentaire et différente : nous adopterons une « perspective inverse, plutôt remontante ». En mettant en avant les caractéristiques et difficultés de l’intervention en milieu réel et les différents enjeux des intervenants engagés dans des actions de transformation, nous essaierons de proposer des orientations pour favoriser des pratiques d’évaluation efficientes, c’est-à-dire adaptées aux ressources dont disposent les intervenants la plupart du temps. Notre souhait n’est pas ici d’opposer les deux approches de l’évaluation des interventions : le lecteur constatera que nous proposons à plusieurs reprises des orientations qui se nourrissent des connaissances et recommandations élaborées dans la première approche. Nous souhaitons souligner dans le texte la nécessité du développement d’une approche de la recherche sur la pratique et l’évaluation des interventions qui assume les contraintes quotidiennes des intervenants en santé-travail et donc la rupture épistémologique entre les modèles étiologiques et les modèles d’intervention (Daniellou, 1996). L’enjeu est de taille, car l’amélioration des conditions de travail sur l’ensemble d’un territoire ne peut être atteinte sans une meilleure compréhension du travail des intervenants.
3Il apparaît nécessaire de considérer l’évaluation comme une dimension à part entière de l’intervention, et donc de s’entendre sur les conditions nécessaires. Les apports de l’évaluation d’une intervention sont nombreux : guider des décisions futures, tirer des leçons des interventions antérieures, gagner des marges de manœuvre pour l’action suivante, mais il faut s’entendre sur les objectifs et les moyens de l’évaluation, en cohérence avec des ressources négociées. Construire les modalités d’une évaluation sérieuse, qui évite les pièges classiques que nous reprendrons dans ce texte, est aussi une condition pour se donner une chance, en tant qu’intervenant, d’être évalué en tenant compte des différents enjeux de l’intervention.
4Évaluer, porter un jugement de valeur sur une action visant à répondre à un problème est inévitable, surtout de la part des décideurs, financeurs de l’action. Quand les critères de l’évaluation de l’intervention en santé au travail n’ont pas été clairement définis, ces personnes peuvent utiliser une approche très réductrice de l’évaluation. Cette situation peut alors conduire, d’une part, à des jugements de valeur plutôt négatifs au final, alors que l’intervenant peut être satisfait de son action et, d’autre part, à des évaluations positives alors que l’intervenant n’est lui-même pas satisfait de son travail. Nous montrerons ici :
-
quels sont les biais classiques relatifs à l’évaluation des interventions, et
-
comment les intervenants du champ de la santé au travail peuvent contribuer à la construction des conditions de vérification de leur efficacité.
5Les enjeux liés à la réalisation d’une évaluation sont donc nombreux et importants. Nous verrons qu’ils sont potentiellement de natures diverses : professionnelle, politique, sociale, économique, scientifique… Si le raisonnement semble classique, les modalités de mise en œuvre le sont moins. L’objectif de ce texte est d’apporter des éléments de réflexion pour définir un cadre général, précisant les différentes composantes de l’évaluation rigoureuse d’un projet en entreprise : l’évaluation des effets de l’intervention, l’évaluation de son processus et la prise en compte des effets potentiels du contexte dans lequel l’intervention est implantée (Contandriopoulos et coll., 2000). Nous tenterons donc de préciser des orientations concernant, d’une part, les objets de l’évaluation et, d’autre part, les modalités de cette évaluation.
6Que doit-on évaluer en ce qui a trait aux effets d’une intervention qui vise la prévention des TMS ? Autrement dit, comment apprécier le lien entre la démarche mise en place et les effets observables ?
7La réponse n’est pas aussi simple qu’on pourrait le supposer. En effet, la santé est un objet complexe, multidéterminé. Évaluer une intervention en milieu de travail à l’aune de l’évolution des symptômes présente de nombreuses difficultés :
81. Les effets de l’exposition sur la santé des travailleurs sont différés dans le temps (Volkoff, 2005). Ceci amène à deux questionnements. D’une part, quand peut-on espérer mesurer les effets sur la santé des transformations des situations de travail ? D’autre part, évaluer simultanément l’exposition et ses effets sur la santé implique l’hypothèse implicite que l’exposition actuelle mesurée est comparable à celle qui est à l’origine de l’état de santé actuel… Cette hypothèse reste hasardeuse du fait de la variabilité des temps de latence selon la nature des TMS et le terrain sur lequel ils surviennent (Aublet-Cuvelier et coll., 2006).
92. La validité et la fiabilité des verbalisations des symptômes notamment suppose des conditions de recueil rigoureuses et des garanties quant au respect de la confidentialité des données recueillies (sauvegarde, conditions d’accès aux données et restitution des résultats, etc.). Le contexte social peut constituer un biais majeur de déclaration : l’expression d’une plainte par les salariés n’est jamais anodine. Un plan social annoncé ou suspecté, une situation précaire par rapport à son emploi, une incertitude quant à l’utilisation des informations nuisent à la validité et à la fiabilité des réponses apportées par les salariés. Pour palier ces difficultés, d’autres moyens sont disponibles, comme la mise en œuvre du protocole de consensus clinique SALTSA qui, effectué par un médecin, permet le recueil d’informations à partir d’une démarche clinique systématique reposant non seulement sur la recherche de symptômes spécifiques à partir de l’interrogatoire du salarié, mais aussi sur la réalisation de tests cliniques standardisés (Sluiter et coll., 2001). L’entretien semi-directif est aussi un outil utilisable pour le recueil de données concernant les symptômes, notamment dans les contextes où les médecins du travail ne sont pas présents.
103. Les travailleurs déjà atteints avant l’intervention sont moins sensibles que les autres aux effets positifs du changement : les travailleurs, dont les symptômes sont devenus chroniques, peuvent ne pas constater d’amélioration de leur état de santé, même s’ils considèrent les changements positifs. Dans certains cas, ils peuvent néanmoins constater une stabilisation, alors que les symptômes pouvaient avoir tendance à s’aggraver ; dans d’autres cas, les symptômes peuvent demeurer, mais il peut être possible de mesurer une amélioration de leur statut fonctionnel (par exemple une meilleure capacité à réaliser des activités quotidiennes comme se laver les cheveux ou passer l’aspirateur) (Stock et coll., 2003). Le bénéfice de l’intervention demeure néanmoins très difficilement mesurable compte tenu du non-contrôle des nombreux facteurs pouvant influencer la pathologie.
114. Les travailleurs dont la fréquence des symptômes était faible avant le changement ne percevront pas d’évolution même si cette fréquence a pu être réduite par l’intervention. Même s’ils considèrent que les changements sont positifs, ils ne percevront donc aucune évolution du point de vue de leurs propres symptômes.
125. L’intervention s’accompagne généralement d’une sensibilisation accrue des salariés vis-à-vis des TMS. Mieux informés sur les symptômes, ils sont plus à même de les reconnaître et de les faire remonter. Ainsi, il n’est pas rare que l’un des effets de l’intervention se traduise par une augmentation initiale des plaintes de TMS qui n’est pas le reflet d’une dégradation des conditions de travail ou même d’une augmentation des symptômes de TMS, mais celui d’une meilleure information et d’une plus grande expression des salariés sur les TMS.
136. Il existe des interactions entre le monde du travail et le monde hors travail : la santé est sensible à d’autres événements que l’intervention, dans le monde du travail ou en dehors, dans un sens positif ou négatif. Un changement dans la sphère privée peut mettre à mal les équilibres fragiles construits par les salariés et faire en sorte que ces derniers ne supportent plus leurs conditions de travail. Non pas qu’elles ne furent pas difficiles avant, mais parce que les formes de compensation qui étaient présentes ne le sont plus. L’équilibre familial (Pezé, 2002) ou l’activité physique hors travail peuvent équivaloir à des formes de compensation. Tout changement, comme la perturbation de l’équilibre familial, qui apparaît entre le début de l’intervention et la mesure de ses effets, est un biais d’histoire (Shadish et coll., 2002).
147. L’évaluation de l’état de santé ne peut être réalisée qu’auprès des travailleurs effectivement présents sur le lieu de travail au moment de l’intervention, mais les travailleurs présents dans la situation observée par l’intervenant sont ceux qui ont supporté jusqu’à ce jour les conditions du travail. L’intervenant n’a pas directement accès à ceux qui ont quitté la situation ou l’entreprise, à ceux qui sont en arrêt de travail pour maladie, à ceux qui ont refusé le travail, etc. Les travailleurs les plus affectés par leurs conditions de travail quittent leur emploi. L’effet « travailleur sain » (Healthy Worker Effect) aboutit ainsi à une sélection sur la santé de la population qui travaille dans l’entreprise (Goldberg, 1995). L’intervenant n’a pas directement accès à ceux qui ont quitté la situation ou l’entreprise, à ceux qui sont en arrêt de travail pour maladie, à ceux qui ont refusé le travail, etc. Il est donc possible de constater un très haut niveau d’exposition et, simultanément, l’absence d’effet sur la santé des travailleurs présents dans l’entreprise. L’effet travailleur sain aboutit à une sélection sur la santé de la population qui travaille dans l’entreprise.
158. Quelle que soit la qualité des transformations opérées, un changement demande une adaptation qui peut être vécue comme un moment difficile par les salariés (remise en cause de gestuelles professionnelles, de statuts sociaux au sein de collectifs, etc.) et peut s’accompagner de nouveaux symptômes au lancement des nouvelles installations (liés par exemple à une situation d’apprentissage qui sollicite de nouveaux muscles ou coordinations musculaires). Lors de l’évaluation, il est important de suivre ces symptômes car, dans beaucoup de cas, ils seront temporaires. Une réévaluation à distance s’avère utile pour suivre leur évolution et leur donner du sens.
169. Parmi les facteurs professionnels impliqués dans l’étiologie des troubles musculo-squelettiques, certains ne pourront être transformés du fait des marges de manœuvre limitées de l’intervenant. Certains facteurs de risque peuvent ainsi être hors du champ des transformations possibles et négociables : l’intervenant peut faire un travail sérieux dans le cadre des contraintes fixées par l’employeur sans que cela ne se traduise par une amélioration de la santé des travailleurs.
1710. Quand l’entreprise procède en même temps que l’intervention à d’autres changements, les effets mesurés concernent aussi tous ces changements. La vie de l’entreprise ne s’arrête pas durant l’intervention. D’autres projets, plus ou moins cohérents avec l’action de prévention, sont en cours. Il est alors souvent difficile de faire la part des choses, un biais d’histoire pouvant altérer les résultats de l’évaluation (Vézina et coll., 2003).
18Pour ces différentes raisons, il est parfois très difficile d’établir une relation directe entre l’amélioration des conditions de travail et la santé des salariés. Les difficultés peuvent, pour certaines d’entre elles, être surmontées par des dispositifs adaptés nécessitant des compétences importantes et spécifiques.
19Pour le dire autrement, toute amélioration des conditions de travail ne s’accompagne pas nécessairement d’un effet bénéfique mesurable sur la santé des salariés concernés. Tous les cas de figure sont possibles lors d’une intervention en milieu de travail, y compris ceux, extrêmes, où :
-
l’intervention améliore « objectivement » la situation - c’est-à-dire sur des critères mesurables de réduction de l’exposition au risque - sans amélioration de la santé des travailleurs,
-
l’on constate une amélioration de la santé des travailleurs alors que les changements opérés dégradent objectivement la situation de travail. Les raisons peuvent être diverses : changements dans la vie privée, changement de la perception de leur situation par les travailleurs – les effets « Hawthorn », « Pygmalion », « Placebo », abondamment décrits dans la littérature, peuvent relever de cette catégorie.
20Dans la mesure où évaluer une action consiste, pour partie, à en apprécier l’efficacité, c’est-à-dire la concordance entre les résultats obtenus et les objectifs poursuivis, la construction des objectifs initiaux prend une importance souvent sous-estimée : à quoi s’engage-t-on en tant qu’intervenant ?
21En France comme au Québec, l’indicateur suivi par de nombreuses entreprises est le nombre de TMS déclarés et reconnus par la sécurité sociale lors de la mise en place d’une procédure officielle de déclaration. La démarche pour obtenir une indemnisation, réalisée à l’initiative des salariés, est potentiellement lourde d’enjeux et nombreux sont ceux qui refusent de l’enclencher (avantages financiers faibles, statuts précaires, peur d’être stigmatisés, contexte général de chômage, place dans le collectif de travail, lourdeur et incertitude liées à la démarche elle-même…). Le suivi de cet indicateur qui ne résulte pas d’une déclaration systématique ne peut à lui seul permettre une évaluation de l’intervention. Plus largement, évaluer l’efficacité d’une intervention en considérant comme seul critère l’amélioration de la santé des travailleurs est discutable. Le risque est grand pour l’intervenant s’il est évalué sur cette base uniquement, puisque de nombreux facteurs liés à l’évolution de l’état de santé ou à la nature même des indicateurs de santé retenus vont interagir avec les effets de l’intervention. D’autres orientations alternatives et complémentaires entre elles peuvent être construites :
-
mettre en place une mesure plus fine et plus sensible de la santé des salariés autour des symptômes (suivre la gravité, la durée ou l’occurrence) et/ou de la capacité fonctionnelle des travailleurs (Vézina et coll., 2003),
-
et, de manière indissociable, interroger l’efficacité à la lumière des moyens ou ressources mis en place (processus de l’intervention, périmètre négocié des transformations…). La relation entre les résultats obtenus et les ressources est appelée efficience (Bescos et coll., 1997).
22Malgré les difficultés soulevées précédemment, l’évaluation de l’état de santé (dans les conditions précisées au-dessus) reste l’une des dimensions importantes et utiles de l’évaluation des actions de prévention au travail, notamment si cette évaluation installe dans l’entreprise un suivi systématique et régulier. Le questionnaire est l’outil le plus commun pour réaliser ce suivi. Il permet d’obtenir de la part des travailleurs eux-mêmes des données concernant leur perception de leur état de santé et de leurs expositions professionnelles.
23Il est autoadministré dans beaucoup de cas, ce qui permet souvent d’interroger un grand nombre de salariés : le travailleur répond seul aux questions et adresse le questionnaire une fois rempli à un acteur chargé de réceptionner l’ensemble des réponses. Le traitement permettra ensuite d’évaluer des états de santé perçus (ainsi que des expositions professionnelles perçues, puisque les questionnaires associent souvent les deux).
24Il est important de noter les limites de cet outil et les conditions qui peuvent avoir un impact sur les résultats. Les conditions temporelles et opérationnelles de son administration sont importantes (Andersson et coll., 1987 ; Lasfargues et coll., 2003) :
-
il existe beaucoup de variations inter et intra individuelles dans le rapport des symptômes par les salariés ;
-
plus l’administration du questionnaire est limitée en fréquence, plus l’interprétation est difficile, même si, d’une part, il est vrai que l’analyse de données répétées entraîne d’autres difficultés (par exemple en matière de traitement statistique) et que, d’autre part, le choix de la fréquence d’administration est aussi lié à la temporalité des effets que l’on cherche à mesurer ;
-
les entretiens sont très utiles pour comprendre comment les travailleurs comprennent et utilisent le questionnaire dans une étape préalable à la passation, mais aussi dans une étape subséquente pour valider l’interprétation réalisée par les acteurs de l’évaluation.
- 1 Il importe de préciser que le recours à des groupes de référence n’élimine pas entièrement les risq (...)
25Enfin, pour optimiser la validité interne de l’inférence de l’évaluation1, les mesures avant changement doivent, autant que faire se peut, cibler d’autres groupes de travailleurs potentiellement concernés par le changement afin :
-
- 2 Par exemple, 100 % des travailleurs concernés par le changement, 50 % des travailleurs de l’atelier (...)
de suivre l’évolution de la santé des salariés qui viennent sur les nouvelles situations depuis un autre atelier ou service de l’entreprise, en ayant connaissance de leur état de santé avant le projet. La limitation du coût associé à l’élargissement des populations suivies peut se faire en définissant des strates dans les populations2 ;
-
- 3 Ce qui est dans les faits assez souvent le cas puisque, pour suivre des populations comparables du (...)
de suivre l’évolution de la santé des salariés dont les conditions de travail objectives ne changent pas et sont initialement comparables à celles qui sont l’objet du changement. Il s’agit de mettre en place un groupe contrôle et de suivre l’évolution de la perception des travailleurs concernant leur santé et leurs expositions. L’intérêt et des limites du groupe contrôle pour l’évaluation d’une intervention ont déjà été discutés (Coutarel et coll., 2005). À certaines conditions, cela reste intéressant, notamment pour apprécier les effets du changement sur des populations voisines de l’atelier transformé et a priori, mais a priori seulement, non concernées par le changement. Il a été démontré que lorsque le groupe contrôle connaît l’existence du projet3, la situation des personnes du groupe contrôle peut se dégrader du fait du changement de leur perception des situations de travail et des nouvelles perspectives d’évolutions qui se construisent à l’occasion du projet de l’atelier voisin : la santé serait socialement normée, de sorte que l’amélioration des conditions de travail dans l’atelier voisin dégrade quasi automatiquement la situation des travailleurs non concernés directement. Il s’agit d’un biais de contamination, et plus spécifiquement de « démoralisation rancunière » (Shadish et coll., 2002). Le groupe contrôle n’est pas une population qui ne bénéficie pas des améliorations, c’est une population qui est privée d’améliorations. « Il faut inverser ici l’opinion générale et convenir de ce que ce n’est pas la dureté d’une situation ou les souffrances qu’elle impose qui sont motifs pour qu’on conçoive un autre état de choses où il en irait mieux pour tout le monde ; au contraire, c’est à partir du jour où l’on peut concevoir un autre état de choses qu’une lumière neuve tombe sur nos peines et sur nos souffrances et que nous décidons qu’elles sont insupportables » (Sartre, J.-P., 1943, p. 479). L’effet inverse existe également : apprenant qu’ils ne sont pas exposés à l’intervention, les membres du groupe contrôle se mobilisent et se donnent des moyens autres pour atteindre les objectifs. Il s’agit du biais de « rivalité compensatoire ». Les biais de contamination réduisent la capacité d’extrapoler les résultats de l’évaluation à d’autres populations de salariés (Shadish et coll., 2002).
26Ces modalités de suivi des évolutions des perceptions des travailleurs peuvent faire l’objet d’un appariement individuel et permettront par exemple de comprendre comment s’est réalisé le choix des salariés occupant les nouvelles situations (volontaires, fragilisés, sans pathologie, expérimentés…). Il sera intéressant de tenter de retrouver les salariés « perdus de vue » au cours du processus de changement pour comprendre les raisons de leur changement d’atelier, de situation de travail, d’entreprise...
- 4 En France, une autorisation de la Commission nationale de l’informatique et des libertés, donnée ap (...)
27Pour ce faire, rappelons qu’il est indispensable de suivre les recommandations et procédures associées aux droits des travailleurs concernant la protection des données relatives à leur santé4.
28Le questionnaire peut donc constituer sous certaines conditions un outil de l’évaluation de la santé des travailleurs. Par exemple, le questionnaire de type Nordique a une validité suffisante pour être utilisé dans la surveillance des TMS (Descatha et coll., 2007). Notons cependant l’intérêt d’affiner l’interprétation des résultats d’un questionnaire en procédant à des entretiens auprès d’un échantillon de travailleurs. En effet, dans certains cas, les entretiens peuvent mettre en évidence une évolution des symptômes qu’il aurait été difficile de repérer en utilisant les seules questions standardisées (Vézina et coll., 2003 ; Vézina et coll., 2009).
29D’autres approches complémentaires d’évaluation de la santé sont possibles : examen clinique standardisé (consensus européen SALTSA), recueil de données médico-administratives (arrêts de travail, douleurs…), passages à l’infirmerie… Ces données, de nature et de précision différentes, sont intéressantes, notamment lorsque l’on souhaite obtenir des informations concernant des situations passées.
30D’autres utilisations du questionnaire sont possibles : le questionnaire de symptômes est souvent utilisé par les intervenants en entretien semi-structuré, et peut correspondre à une étape à part entière de l’intervention. Le contact direct avec la personne permet à l’intervenant de s’assurer de la compréhension juste des questions et de prendre connaissance des facteurs qui peuvent influencer les réponses concernant les symptômes. Ces informations sont évidemment très précieuses pour l’intervenant afin d’orienter ses actions. La répétition de l’entretien à la suite de transformations peut aussi lui permettre de mieux comprendre le type de changement qui s’opère dans les symptômes rapportés par les travailleurs. Bien que l’on puisse admettre les limites de ce type de données, puisque l’intervenant recueille lui-même les données qui serviront à l’évaluation de son intervention, on ne peut négliger l’importance de l’information qu’apporte ce type de données quant à la compréhension du vécu des personnes interviewées.
31L’utilisation de questionnaires, caractéristique de l’épidémiologie, a permis de construire de nombreuses connaissances dans le champ des TMS et notamment de faire reconnaître l’origine professionnelle de ces atteintes d’une part, et de repérer des facteurs de risque d’autre part.
- 5 En effet, le test-retest ne doit pas concerner les questions relatives aux symptômes qui, eux, ont (...)
32Aux précautions citées précédemment quant à son usage, la passation d’un questionnaire explorant la perception par les travailleurs de leurs conditions de travail peut avantageusement être accompagnée d’un test-retest : c’est-à-dire la passation du même questionnaire pour un petit échantillon des travailleurs concernés, une quinzaine de jours après la passation initiale. Cela permettra de vérifier la fiabilité des réponses concernant les conditions de travail5, à condition de suivre également les événements survenus durant ces quinze jours, tout en ayant conscience des limites associées (Stock et coll., 2005).
33De nombreux questionnaires existent et sont « plus ou moins validés », par exemple pour ce qui concerne les questions relatives aux contraintes physiques (Stock et coll., 2005). La qualité du questionnaire est donc déterminante, et plusieurs disciplines, dont l’épidémiologie et la sociologie, proposent des outils pour s’assurer de la validité d’un questionnaire.
- 6 Par exemple, les questions comme : « êtes-vous fonctionnaire ? », « travaillez-vous la nuit ? » son (...)
34De plus, la qualité des données recueillies sera en partie déterminée par l’adaptation de l’outil standard au contexte du projet : sans dénaturer ou transformer les caractéristiques de l’outil, il convient néanmoins souvent de vérifier le sens attribué par le répondant aux questions qui lui sont posées dans le questionnaire, surtout s’il est autoadministré. Cela suppose une étape préalable à la passation de vérification du sens avec des acteurs de l’entreprise, et si nécessaire de construction de formulations plus adaptées à la spécificité des situations de travail, voire (quand cela est possible du point de vue de la validité de construit du questionnaire choisi) la suppression de certaines questions6.
35Dans tous les cas de figure, les entretiens restent très utiles pour comprendre comment les travailleurs comprennent et utilisent le questionnaire dans une étape préalable à la passation, mais aussi dans une étape subséquente pour valider l’interprétation réalisée par les acteurs de l’évaluation.
36L’évaluation des effets d’une intervention doit donc aussi passer par une évaluation de l’évolution des expositions professionnelles. Il est néanmoins incontournable de situer cette évolution au regard des possibilités de transformation négociées par l’intervenant (voir plus loin : l’évaluation du contexte de l’intervention).
37La nature des différentes expositions pertinentes du point de vue des TMS nous est donnée par la littérature scientifique internationale et notamment l’épidémiologie :
-
facteurs biomécaniques (fréquence, intensité, durée, posture, vibrations, froid),
-
facteurs psychosociaux (latitude décisionnelle, stress, soutien de la hiérarchie et des collègues, exigences psychologiques de la tâche, intérêt porté au travail, monotonie, climat social, reconnaissance…),
-
- 7 Un travail de précision et de consensus de la part des chercheurs apparaît malgré tout indispensabl (...)
et facteurs organisationnels (répartition du travail, alternance des tâches, implication des travailleurs dans la conception de leurs situations de travail, horaires et prévisibilité du temps de travail, organisation de la production, maintenance des installations, entretien du matériel, évaluation du travail, etc.)7.
38Il s’agira moins de définir des valeurs absolues par facteur que des valeurs relatives, en décrivant leur évolution. En effet, il n’existe pas de norme, pour chacun de ces facteurs, qui permettrait de distinguer avec certitude une situation à risque d’une qui ne le serait pas : c’est la combinaison de facteurs de natures hétérogènes qui construit des situations à risque. La réduction des contraintes, par facteur et autant que cela s’avère possible à l’intérieur du projet, permettra de qualifier cette évolution. Mais l’évaluation finale du projet (est-il réussi ou non ?) fera l’objet d’un débat entre acteurs concernés puisque les évolutions constatées pour chacun des facteurs devront finalement être interprétées ensemble. Le risque est de tomber dans le « tout mathématisable » : certaines « formules » proposent d’additionner, soustraire ou multiplier des facteurs de risque entre eux. Dans tous les cas, ces formules demeurent discutables et leur résultat difficilement interprétable : que représente le chiffre final lorsque l’on mathématise un gain en matière de répétitivité, une perte du point de vue du froid, et un gain du point de vue de la latitude décisionnelle ? En quoi ce chiffre dessine-t-il des orientations pour l’amélioration des conditions de travail ? Dans de nombreux cas, nous avons pu constater que l’obtention d’une valeur unique permet de réduire la complexité de la situation afin de provoquer des prises de décisions destinées à attribuer des ressources pour l’amélioration des conditions de travail. Cette « utilisation stratégique des formules » peut s’avérer utile de ce point de vue.
39L’évaluation de l’évolution des expositions professionnelles hétérogènes suppose la mise en œuvre d’une combinaison d’outils associant approche subjective (entretiens, questionnaires basés sur le regard porté par le travailleur sur lui-même ou sa situation) et approche objective (outils métrologiques, analyses statistiques, observations par un expert des situations rencontrées par les travailleurs…). La nature des outils à associer dépend des enjeux et contraintes spécifiques à chaque intervention. La diversité des données permettra l’apport d’informations complémentaires les unes des autres pour interpréter les résultats convergents, différents, éventuellement contradictoires, et assumer la complexité des situations réelles de travail.
40Les questionnements et mesures qui peuvent conduire à apprécier l’évolution des expositions peuvent se situer à différents niveaux : cela peut se faire au niveau de la santé, des expositions aux facteurs de risques, comme nous venons de le préciser. Cela peut se faire également, et de manière complémentaire, à un niveau plus général et plus transversal autour de questionnements centrés sur le travail.
41« L’ergonomie de l’activité » (Laville, 2001 ; Daniellou, 2005) offre alors des ressources en ce sens du fait même de la spécificité de son approche. Nous ne pouvons ici que rappeler le caractère fondateur de la distinction entre travail réel et travail prescrit au double niveau de la tâche et de l’activité, traversée des notions de variabilités et de régulations dans le travail (Guérin et coll., 1997 ; Falzon, 2004).
42Les principales caractéristiques que cette approche retient de l’activité de travail sont les suivantes (Daniellou et Rabardel, 2005) :
-
l’activité de travail est finalisée par un ou plusieurs buts qui ne sont pas toujours évidents ;
-
la relation entre le sujet et l’objet est médiée par les dispositifs techniques, les schèmes individuels et leur organisation, eux-mêmes marqués du contexte social, culturel et historique du sujet ;
-
l’activité est toujours singulière ;
-
l’activité est porteuse de son histoire ;
-
l’activité comporte toujours une dimension collective, autrui pouvant être présent à travers les instruments, les outils, les règles ou les procédures ;
-
- 8 Des travaux convergents issus de disciplines voisines viennent enrichir ce regard. Citons, par exem (...)
l’approche de l’activité doit être intrinsèque, c’est-à-dire à même de saisir les rationalités qui motivent les régulations mises en œuvre par les travailleurs8 ;
-
enfin, l’activité est intégrative, c’est-à-dire que sa construction répond à un grand nombre de déterminants.
43Ainsi, une telle approche du travail tentera d’articuler les dimensions systémiques, dynamiques, historiques et culturelles de cette activité, en respectant la diversité des individus et leurs rationalités propres. En mettant l’accent sur les déterminants des facteurs de risque, cibles privilégiées de l’action de transformation du milieu de travail, l’ergonomie de l’activité définit les TMS comme un symptôme parmi d’autres possibles d’un dysfonctionnement organisationnel général du système de production de biens ou de services, où le déficit de marges de manœuvre des différents acteurs de l’organisation apparaît central (Vézina, 2001 ; Coutarel, 2004). Il est aussi important de rappeler que l’action sur certains déterminants des facteurs de risque est hors de portée de l’intervenant et relève d’actions collectives d’une autre nature (Caroly et coll., 2008).
- 9 Notons que certains questionnements relatifs aux facteurs de risque organisationnels se rapprochent (...)
44Poser le débat en ces termes dans le champ de l’évaluation des actions de prévention des TMS en milieu professionnel nous conduit à proposer des questionnements organisés autour des marges de manœuvre (Vézina, 2001 ; Coutarel, 2004) des différents acteurs de l’organisation9, pour disposer d’autres indicateurs d’évaluation des interventions. Par exemple :
Concernant l’organisation du travail :
-
les différentes prescriptions dont les travailleurs sont la cible sont-elles négociables en cas de difficulté ? Sont-elles compatibles entre elles ?
-
quelles sont les possibilités pour les travailleurs de réguler le déroulement de leur activité de travail (procédures, modes opératoires, gestes professionnels, cadence…) ?
45Concernant les capacités individuelles et collectives pour faire face :
-
le changement s’accompagne-t-il du développement de l’activité des travailleurs (participation des salariés au projet, formation, possibilité d’entraide, connaissance du système de production dans son ensemble…) ?
-
le projet a-t-il contribué à renforcer le collectif de travail afin qu’il se construise en ressource pour chaque travailleur ?
46Concernant l’amont et l’aval des situations concernées par les transformations :
-
les transformations réalisées ont-elles des impacts sur d’autres situations de travail situées en amont ou en aval ? De quelle nature sont ces impacts au sein de la structure ?
-
le projet a-t-il un impact aussi sur des acteurs externes de l’entreprise (institutionnels, clients, fournisseurs) ? De quelle nature sont ces impacts à l’extérieur de la structure ?
47Concernant les outils de gestion de la vie de l’entreprise :
-
le projet a-t-il permis de faire évoluer les outils de gestion en place ?
-
de nouveaux outils et/ou indicateurs issus de l’analyse du travail réel sont-ils implémentés ? De quelle nature sont ces changements ?
48Concernant la conception des outils et espaces de travail :
-
comment les variabilités des situations de travail rencontrées sont-elles prises en compte dans la conception des situations de travail ?
-
les outils et espaces de travail peuvent-ils être adaptés ou changés facilement ? Sont-ils adaptables ?
49Concernant les concepteurs des organisations :
-
le projet a-t-il fait la démonstration auprès des décideurs et de l’encadrement de l’intérêt de la participation des travailleurs aux projets de conception ?
-
le projet a-t-il permis d’améliorer les conditions de travail de ceux qui ont la mission d’organiser le travail des autres (l’encadrement notamment) ?
-
le projet a-t-il permis aux décideurs et à l’encadrement de mieux connaître la réalité des contraintes du travail (changement des représentations) ?
50Concernant l’organisation des projets :
-
le projet a-t-il permis de transformer les pratiques de l’entreprise en matière de conduite de projet (structuration sociale et technique des projets, démarche, outils…) ?
-
les différents acteurs concernés par le projet sont-ils impliqués selon des modalités différenciées et explicites (missions, modalités, temporalités) fondées sur les connaissances actuelles en matière de conduite de projet (Daniellou, 2004) ?
51Concernant le pouvoir de décision de la direction du site :
-
le projet a-t-il contribué à augmenter l’autonomie dont dispose la direction dans les décisions concernant la gestion du site (la conduite du changement, la conception, les modalités d’organisation du travail, la gestion de la production), par rapport à ses collaborateurs (actionnaires, groupe auquel le site appartient, clients, fournisseurs) ?
52Les questionnements liés à l’évaluation des effets d’une intervention sont potentiellement nombreux.
53Un certain nombre de travaux (Bonnet, 2006) s’intéressent par exemple à l’impact des projets sur la performance économique : y a-t-il des gains de productivité associés à l’amélioration des conditions de travail ? Qu’en est-il des coûts directs, indirects ou cachés ? Quel est le retour sur investissement attendu/atteint ? Comment est-il caractérisé à court terme et à moyen terme (productivité, qualité, image sociale, fidélisation du personnel…) ? Comme nous l’avons vu pour la question de la santé, il est souvent difficile d’établir un lien direct entre la performance économique et les changements opérés : la performance économique dépend de nombreux facteurs non concernés par l’intervention. La santé comme la performance constituent des cibles indirectes de l’intervention ergonomique. Dans le contexte de l’évaluation des interventions, il est donc nécessaire d’y adjoindre d’autres indicateurs. Nous proposons que les marges de manœuvre des salariés puissent constituer une catégorie d’indicateurs pertinents et complémentaires.
54Les indicateurs utilisés pour l’évaluation d’une intervention sont déterminés par les modèles étiologiques mobilisés, mais aussi par les modèles de transformation explicites ou non des intervenants. Au-delà des effets de l’intervention, le processus de changement et de transformation constitue donc une autre cible importante de l’évaluation.
55Le déroulement même de la démarche mérite d’être documenté (Bellemare et coll., 2008 ; Baril-Gingras et coll., 2008 ; Vézina et Tougas, 2008).
- 10 Si Wisner (1972) évoquait le terme de « modèles opérants » à propos des liens construits par l’anal (...)
56Ce qui distingue fondamentalement une démarche d’intervention en entreprise d’une démarche expérimentale de laboratoire du point de vue de l’évaluation, c’est le caractère irréductible de l’écart entre les modalités prévues initialement et les modalités réalisées (Rossi et Freeman, 1999). Le statut du modèle dans l’intervention ergonomique, et sans doute plus largement dans l’intervention en milieu vivant, doit être précisé. Le modèle d’intervention qui permet d’organiser l’action ne vise pas à être appliqué : il constitue un cadre initial et opérant10, qui doit être ajusté aux singularités des contextes et à leur dynamique non maîtrisable. Il s’agit d’ajuster le « traitement », dont l’efficacité démontrée, par les expériences antérieures, a permis de stabiliser des connaissances générales concernant les phénomènes et les actions, pour proposer le « soin », témoin de la prise en compte, dans la démarche, de la spécificité des situations et des acteurs. En ce sens, appliquer strictement un modèle général d’intervention à un contexte dont la singularité n’est pas prise en compte comme une donnée pertinente présente de nombreux risques du point de vue des possibilités d’amélioration des conditions de travail.
57Ceci introduit de fait l’idée d’un écart possible (et fréquent) entre le modèle d’intervention initial et l’intervention réalisée. Cet écart n’est pas automatiquement à interpréter comme une limite, mais :
-
comme la caractéristique de l’action en milieu vivant et complexe,
-
dont on ne saisit que progressivement certaines spécificités,
-
elles-mêmes sujettes à évolutions et variabilités,
-
et auxquelles il est indispensable de s’adapter pour la performance de l’intervention.
- 11 Voir par exemple une étude récente sur un programme ergonomique de prévention des maux de dos (Bert (...)
58De nombreuses études ayant permis d’observer des écarts importants, il est fondamental de documenter le déroulement de l’intervention qui a été réellement implantée11.
59Évaluer une intervention passe donc par la mise en évidence du modèle initial d’intervention, la description du déroulement réel de l’intervention et l’interprétation des écarts, des éventuelles incohérences apparentes, compte tenu des éléments de contexte. Sans ces étapes préalables, on risque de conclure à tort qu’une intervention est efficace ou inefficace (Scheirer, 1987 ; Shadish et coll., 2002).
60Afin d’interpréter les effets repérés en relation avec l’analyse du processus d’intervention lui-même, il est indispensable de suivre, tout au long de l’intervention, son contexte et son éventuelle évolution (Contandriopoulos et coll., 2000 ; Berthelette et coll., 2008). Il s’agit d’être capable de déterminer si d’autres événements que l’intervention peuvent contribuer à expliquer les résultats obtenus. Il peut s’agir de biais ou encore de facteurs qui interagissent avec l’intervention dans la production des effets.
61Les informations à recueillir sont de natures diverses : acteurs concernés, relations contractuelles clients-fournisseurs, situation économique, législative, sociale… Leur choix dépend du type d’intervention et des caractéristiques des milieux de travail dans lesquels l’intervention est implantée (Bellemare et coll., 2008).
62Il est important d’insister ici sur la nécessité de prélever des données d’époque. En effet, la mémoire individuelle et collective est peu fiable pour différentes raisons :
-
des oublis,
-
des choix non conscientisés,
-
des événements jugés significatifs en fonction du moment où la question est posée et pas forcément au moment où les événements surviennent,
-
une rationalisation a posteriori,
-
des mécanismes d’autojustification.
63Il est important de recueillir ces données d’époque avec des outils validés (journal de bord par exemple) permettant un recueil systématique et le plus exhaustif possible. En effet, des événements peuvent paraître non significatifs au moment où ils surviennent, alors que leur influence sur l’intervention apparaît à distance.
64L’intervention en équipe est plus favorable au recueil de données concernant les stratégies des intervenants et les événements jugés significatifs, car la collaboration s’organise notamment autour de moments explicites et organisés, de réunions, de discussions, de débats qui peuvent être enregistrés (Petit et coll., 2007). Lorsque l’intervenant est seul, il est possible de négocier avec lui le fait qu’il remplisse un journal de bord qui lui permette de noter à la fois les étapes de son processus d’intervention et les éléments du contexte. Les conditions méritent d’être correctement préparées. En effet, d’une part, tenir à jour un journal de bord s’avère coûteux sur le plan de l’investissement et du temps pour l’intervenant. Il convient de justifier et/ou de compenser ce coût. D’autre part, la nature du journal est certainement déterminante quant aux informations qui y seront notées.
65Ce texte souligne à la fois l’intérêt de l’évaluation des interventions en matière de prévention des TMS mais également la complexité de ce type de démarche. Plusieurs modalités de réalisation d’une évaluation méritent ici d’être reprises.
66Évaluer un projet constitue un enjeu majeur pour les raisons citées préalablement. Il s’agit également d’une question complexe, pour laquelle un accompagnement de la part de spécialistes de la question est pertinent. Cela permet d’apprécier ce dans quoi on s’engage, de préciser les conditions de faisabilité, d’éviter les écueils classiques et souvent de ne pas perdre son temps et son énergie dans la mise en place d’une évaluation qui, parce que les conditions ne sont pas réunies, n’aboutira à aucun résultat exploitable et rigoureux. L’évaluation d’un projet constitue un projet en soi, un projet dans le projet ; il s’agit de réunir les conditions nécessaires : ressources, temps, compétences, acceptabilité, anticipation…
67Nous l’avons vu, évaluer un projet suppose le recueil d’une diversité de données hétérogènes et la collaboration d’une diversité d’acteurs qui devront débattre pour construire collectivement une analyse systémique à partir des résultats obtenus. Évaluer suppose donc de construire les conditions d’une discussion organisée, à plusieurs voix, autour des effets hétérogènes du changement. Une discussion organisée suppose des outils, des objets construits pour favoriser le débat.
68Cette « dispute » à plusieurs voix induit la question : « Qui évalue le changement ? » L’intervenant n’est certainement pas le seul à pouvoir être impliqué et une dimension de l’intervention concerne l’identification des acteurs pertinents à solliciter. Ces acteurs, des individus ou des groupes concernés par l’intervention et son évaluation, sont potentiellement nombreux : l’intervenant, la direction, l’encadrement, les opérateurs, des partenaires institutionnels, les clients, les fournisseurs… Les modalités de mobilisation de ces acteurs sont à construire avec eux. L’évaluation est donc un projet qui suppose une construction sociale.
69L’évaluation d’un projet s’organise aussi dans le temps, et cela à différents niveaux.
70Tout d’abord, si le modèle d’évaluation avant/après est intéressant, il convient de garder à l’esprit que :
-
l’évaluation du projet n’est jamais totalement « avant ». En effet, la mise en place du projet et la présence de l’intervenant constituent déjà un changement dans l’entreprise. C’est déjà le résultat d’un important travail de discussions, de négociations, éventuellement de transactions qui ne peuvent laisser indifférents les interlocuteurs de l’entreprise. Le changement de leurs représentations, qui a conduit au projet de prévention des TMS, est déjà un effet très important de l’intervention et des actions préalables : ces décideurs ne conduisent pas aujourd’hui le changement de la même manière qu’hier. Et l’on connaît l’importance des représentations des décideurs dans la construction des compromis aboutissant à la conception des situations de travail, potentiellement génératrices de TMS. L’utilisation de certains indicateurs (données médicales, d’exposition, de gestion des ressources humaines, de production…) peut néanmoins, dans beaucoup de cas, contribuer à caractériser le « avant » ;
-
l’évaluation « après » ne doit être faite ni trop tôt, ni trop tard. En effet, trop tôt après le changement, l’évaluation de la santé des travailleurs peut montrer une augmentation des plaintes. Nous avons déjà constaté le fait que ces nouvelles plaintes sont indépendantes de la qualité des transformations opérées et seraient davantage inhérentes à tout changement (Coutarel, 2004) – d’où l’importance d’évaluations objectives des contraintes. Trop tard, l’évaluation risque de mesurer des effets qui ne sont pas liés au projet, mais à des événements survenus entre la fin du projet et le moment de l’évaluation – d’où l’importance du suivi du contexte.
71Ensuite, une évaluation avec une mesure « avant » et une autre « après » (quel que soit l’outil) s’avère souvent insuffisante : en effet, comment apprécier si le gain obtenu est un effet de l’intervention seule ou bien s’inscrit dans l’évolution naturelle de l’entreprise ? L’identification de tendances, d’inflexion dans les courbes, d’écarts peut être optimisée par plusieurs passations avant le projet et plusieurs après (deux ou trois par exemple). On se rapproche alors d’une perspective longitudinale de l’évaluation des interventions, qui permettrait en outre d’apprécier la durabilité des effets.
72Cela signifie que l’évaluation d’un projet de transformation des situations de travail est une des dimensions qu’il convient de penser en amont de la conception, dès les premières phases du projet, et bien avant la réalisation des travaux. La mise en place d’un suivi systématique et régulier des indicateurs retenus pour l’évaluation (symptômes, capacités fonctionnelles, marges de manœuvre des salariés, de l’encadrement et de la direction dans l’organisation…) peut permettre de découvrir a posteriori ces tendances. Cette mise en place peut être considérée comme un effet important d’une intervention, au même titre que le changement physique d’une situation de travail.
73De plus, la temporalité des évaluations au moyen d’outils spécifiques doit être ajustée à la temporalité du projet. En effet, prenons un exemple relatif à la mise en place d’un changement qui prendrait trois mois, suivi d’un temps de montée en charge des nouvelles installations sur trois mois de plus :
-
Si l’on considère l’ensemble du processus, il n’est peut-être pas opportun d’opérer une mesure durant les six mois concernés.
-
Si l’on considère que, les transformations étant proches dans le temps, les salariés modifient par anticipation leur perception de la situation, peut-être ne faut-il pas non plus de mesure dans les semaines qui précèdent les transformations.
-
Si l’on considère que le délai de stabilisation des nouvelles méthodes de travail et du fonctionnement des nouvelles situations de travail, que le temps d’acquisitions des nouvelles gestuelles, que le temps de constitution des collectifs de travail, etc. sont plus longs que la planification de la montée en charge, il peut alors être jugé inopérant de procéder à de nouvelles mesures durant les trois mois qui suivent la fin de la montée en charge. Dans le cas contraire, il sera important d’être vigilants quant à l’interprétation des résultats.
74Dans tous les cas, si des mesures sont faites, elles doivent être renouvelées au cours du temps afin d’en apprécier l’évolution en tenant compte de tous les éléments cités pour leur interprétation.
- 12 Notons ici que cette temporalité guide les interprétations et analyses possibles. Par exemple, si l (...)
75Au final, il ressort que les moments de l’évaluation doivent être choisis avec précision, compte tenu de la temporalité du projet et de la nature des différents critères d’évaluation retenus12. Enfin, il est conseillé de veiller à la régularité des espaces temporels entre les différents moments d’évaluation pour un même critère, et si l’évaluation mobilise différents outils, il est important que les différentes mesures se fassent sur une période relativement concentrée.
76La nature des composantes de la démarche d’intervention qu’il serait nécessaire et suffisant de documenter pour en assurer le suivi et permettre son évaluation demeure une question importante pour les chercheurs et devra faire l’objet d’un consensus. Ce texte vise à souligner la complémentarité des évaluations de la santé et des évaluations du travail, du fait même des limites intrinsèques de chacun des deux types d’évaluation.
77Évaluer un projet revêt de nombreux intérêts pour une diversité d’acteurs. L’évaluation du projet est une responsabilité partagée. Il ne s’agit pas d’évaluer l’action de l’intervenant, comme cela est trop souvent envisagé. Il s’agit d’évaluer les effets de la mobilisation de l’ensemble des acteurs impliqués ou pas dans la démarche. Vouloir spécifier la responsabilité isolée de l’intervenant dans l’évaluation d’un projet n’a pas de sens pour nous : d’une part, les approches participatives supposent des collaborations diverses et le refus éventuel de certains de s’engager dans le projet d’une manière ou d’une autre est une forme d’implication, et d’autre part, la transformation des situations de travail et la prévention des TMS restent au final de la responsabilité de l’employeur. Son non-engagement dans la démarche est donc à analyser tant du point de vue du modèle de l’intervenant, que de celui de l’employeur (contexte). La caution qu’il donne à l’intervenant en le laissant agir doit être un élément de l’évaluation. La conduite de projet en ergonomie, notamment dans le milieu industriel et architectural, a depuis longtemps souligné les effets négatifs pour la réussite d’un projet d’un déficit d’implication de l’employeur, ou, pour le dire autrement, d’un déficit de positionnement de la maîtrise d’ouvrage du projet (Martin, 2004). Cela doit constituer un élément de l’évaluation pour l’intervention de prévention des TMS aussi.
78Les critères potentiels de l’évaluation de l’intervention sont donc multiples et de nature hétérogène. Ceci signifie que « l’apport global » d’une intervention ne se mesure pas, il s’apprécie, même si les critères, pris séparément, peuvent faire l’objet de mesures. Classiquement, le critère des symptômes et de la santé est retenu mais, comme nous l’avons vu dans cet article, il n’est pas suffisant. Introduire dans l’évaluation des critères relatifs aux marges de manœuvre des différents acteurs de la structure permet d’élargir le questionnement aux déterminants des facteurs de risque reconnus par la littérature. Cela contribue certainement aussi à préfigurer de manière plus opérationnelle des axes d’amélioration possible des situations.
- 13 Nous ne voudrions pas ici contribuer à dire que si nous n’avons pas réuni toutes les conditions, no (...)
79Poser une appréciation pertinente sur le déroulement du projet et ses effets ne s’improvise pas. De nombreuses conditions sont à réunir et à négocier très tôt pour apprécier (et non pas mesurer) les relations entre les effets obtenus, le processus mis en place et le contexte du projet. Les réunir, ou tendre vers13, c’est tendre vers une évaluation sérieuse du projet et des intervenants, que l’on ne peut dissocier des autres acteurs. Évaluer le projet constitue un projet dans le projet. L’évaluation du projet suppose entre autres choses la construction d’espaces et de lieux pour débattre à plusieurs, selon des logiques hétérogènes, des effets obtenus. Créer ces espaces et ces moments, sous le prétexte de l’évaluation, contribue aussi à transformer les représentations des acteurs concernés. Dans une telle perspective, évaluer c’est aussi transformer le travail.