1Les armées françaises ont pour mission de participer à la gestion des conflits internationaux et des crises géopolitiques. Elles se doivent aussi de gérer et d’anticiper les crises sanitaires internationales pouvant impacter les forces en opération. Dans ce cadre, le service de veille sanitaire et anticipation du Centre d’épidémiologie et de santé publique des armées (CESPA) a reçu pour mission de gérer la connaissance sur les risques sanitaires pouvant toucher les militaires projetés (Tanti, 2010). Pour répondre à cette mission, ce service a développé depuis 2004 un Système de Gestion des Connaissances (SGC) architecturé en différents Systèmes d’Informations (SI) (Tanti, 2017a).
2La question de l’évaluation d’un tel système, éprouvé depuis sa construction à de nombreuses reprises lors d’épidémies ou de crises sanitaires, se pose. Le concept d’évaluation a d’ailleurs fait l’objet de nombreux travaux, notamment en économie. Ainsi, l’AFNOR le définit comme le « processus consistant à estimer l’efficacité, l’efficience, l’utilité et la pertinence d’un service ou d’une installation » (AFNOR, 2014). Cependant, dans la littérature, on ne retrouve pas de grilles d’évaluation des SGC publiées.
3Aussi, cet article a pour objectif de proposer une grille d’évaluation de ce système transposable à tous les SGC. Cette grille est basée sur l’évaluation d’indicateurs tangibles :
-
la fréquentation/nombre de connexions au système, indicateur indirect de son efficience ;
-
la satisfaction du système par les usagers, indicateur indirect de pertinence ;
-
l’utilité perçue du système par les usagers, indicateur d’utilité ;
-
le délai de réponse moyen à une demande, indicateur indirect d’efficacité du service ;
-
la performance du système qui tiendrait compte de l’ensemble des indicateurs précédents.
4Le SGC développé par les armées françaises pour gérer la connaissance sur les risques sanitaires est architecturé en 3 SI : Bedouin, Reduves et IntraCespa (cf. Figure 1) (Tanti, 2017b).
Figure 1 : SGC de la veille sanitaire de défense
(D’après Tanti, 2017b)
5Ce système, dont l’acronyme signifie Banque Épidémiologique de Données sur l’Outre-mer et la zone INter-tropicale, apporte la connaissance mise à jour sur les risques sanitaires potentiels pour les forces hors de France. Notamment, il met à disposition des fiches de synthèse par pays, des articles de revues sur les pathologies infectieuses humaines et vétérinaires et des fiches sur les agents du risque toxicologique. La consultation des documents se fait par navigation hypertexte à partir d’un index alphabétique (cf. Figure 2) et via un moteur de recherche (Tanti, 2017b).
Figure 2 : Portail d’accueil de BEDOUIN
(Source : Auteurs)
6Ce système, dont l’acronyme signifie base de données en REcherches et Développements de l’Unité de VEille Sanitaire, a pour mission d’informer des derniers articles scientifiques publiés sur les agents du risque sanitaire, notamment les agents du risque biologique militarisable et les chimiques de guerre, en particulier en termes de recherches et développements. Ce système est complémentaire de BEDOUIN. Sa consultation se fait soit par navigation hypertexte à partir d’un index par risque et par agent (cf. Figure 3), soit via un moteur de recherche (Tanti, 2017b).
Figure 3 : Portail d’accueil de REDUVES
(Source : Auteurs)
7Cette base, qui signifie « Intranet du CESPA », capitalise les rapports, comptes rendus, courriers, notes, bulletins de surveillance épidémiologique des armées françaises, règlements, protocoles, projets, organigrammes, annuaires et d’autres documents internes au SSA relatif à l’épidémiologie et aux programmes de santé publique dans les armées. Les documents sont consultables par auteur de publication, thème, type, en mode multicritère, en recherche simple ou avancée mais également par navigation arborescente (cf. Figure 4) (Tanti, 2017b).
Figure 4 : Portail d’accueil d’INTRACESPA
(Source : Auteurs)
8Aussi, nous pouvons signaler toujours dans ce souci de co-construction de la mise en œuvre du système par ses usagers, et donc de son appropriation que l’ensemble des acronymes : BEDOUIN, REDUVES, et INTRACESPA ont été choisis en concertation avec les usagers du système à partir d’enquêtes les impliquant. BEDOUIN a été choisi en référence aux nomades des zones intertropicales, qui sont également les zones de déploiement privilégiées des forces françaises. REDUVES a été sélectionné en référence à la punaise qui transmet la maladie de Chagas, maladie tropicale longtemps redoutée en Guyane par les militaires français et qui fait l’objet de nombreuses recherches. Cependant des travaux non publiés menées à travers une enquête auprès de 28 usagers du système a mis en évidence le besoin de rebaptiser la base INTRACESPA. Il est ressorti de cette enquête, le choix de l’acronyme suivant : NEOCORTEX pour base de doNnées en EpidémiOlogie de COnnaissances et de ReTour d’Expériences, en référence à la partie du cerveau impliquée dans les fonctions cognitives.
9Le SGC a été mis à l’épreuve lors de nombreuses pandémies qui ont touché la planète ou lors d’épidémies qui ont impacté plus spécifiquement les forces. On peut citer un certain nombre de cas concrets où le SGC développé a permis, pour le décideur militaire, face aux flux d’informations, de construire de nouvelles connaissances ou de contribuer à renouveler les connaissances internes lors de ces épidémies (Mahé, 2010). Parmi ces constructions de nouvelles connaissances, nous pouvons citer les connaissances qui permettent de mettre en place des contre-mesures médicales (vaccination…) en cas de crises sanitaires. On peut également citer les connaissances qui permettent de réagir face à une incertitude liée à l’émergence d’un évènement épidémique. Comme dernier exemple, on peut mettre en avant les connaissances permettant d’anticiper ou prévenir des évènements à risque pour la population militaire et pouvant constituer une menace pour les missions. La connaissance épidémique est donc, dans ce contexte, de premier plan. Cette connaissance est tacite et facilement formalisable dans des bases de données. Elle peut, par exemple, être collectée à partir des bases de données d’experts en médecine tropicale et maladies infectieuses. Les connaissances sur l’état des forces sont surtout formalisées dans des rapports internes rédigés par des experts militaires en santé, notamment dans le cadre d’enquêtes ou d’investigations d’épidémies sur des théâtres, menées par exemple à la suite de Toxi-Infections Alimentaires Collectives (TIAC) en OPEX ou dans des régiments ou des bâtiments de la Marine Nationale. De sorte, le développement de l’ensemble de ces connaissances est susceptible de contribuer à sa transformation et à la création de valeur stratégique, décisionnelle, notamment pour la gestion de crises (Mahé, 2010).
10Par exemple lors de la pandémie de grippe A(H1N1), le SGC a permis pour le décideur militaire d’anticiper sur cette crise au profit des forces et de la population civile (Tanti, 2012). Ainsi, dès le 24 avril 2009, le système a permis aux décideurs d’être informé d’une nouvelle maladie respiratoire due à un nouveau virus influenza chez deux Américains. Jour après jour leur sont adressés, via le SGC, des messages pour les tenir informés de l’évolution du nombre de cas par pays, ainsi que des documents pour les aider à mieux gérer la pandémie (Tanti, 2012).
11Plus récemment, lors de la pandémie de Covid-19 qui a touché toute la planète, l’exploitation des connaissances du système a permis le suivi de la dynamique épidémique en temps quasi réel et a permis de révéler plus rapidement l’émergence et l’expansion de la maladie sur le terrain (Tanti, 2022). La diffusion des données filtrées, débarrassées du « bruit informationnel » et classées dans le SGC a permis aux décideurs un suivi épidémique en quasi instantané, l’anticipation d’éventuelles menaces pour les forces et la mise en œuvre de contre-mesures médicales plus rapides (Tanti, 2022). De plus, l’exploitation des données scientifiques sur le virus a permis d’ouvrir la voie vers la construction de nouveaux savoirs médicaux et d’explorer les innovations pharmaceutiques, notamment vaccinales et thérapeutiques. Il a permis de suivre les essais vaccinaux en cours au profit de la population militaire. Le croisement de différentes données a conduit à des corrélations inédites qui ont permis à l’étage décisionnel de développer des modélisations dans une optique d’aide à la décision. Des connaissances ont ainsi été construites et ont permis d’estimer les paramètres fondamentaux de la transmission de la maladie et d’évaluer a priori l’impact des stratégies de contrôle et d’interventions militaires (Tanti, 2022).
12Comme dit en introduction, l’analyse de la littérature met en évidence l’absence de grilles d’évaluation de système de veille publiées. L’objectif a été donc de tenter d’imaginer des critères d’évaluation quantitatifs et qualitatifs, reproductibles à l’ensemble des systèmes de gestion des connaissances.
13Plusieurs difficultés ont été rencontrées dans cette recherche. En premier lieu, la culture de l’évaluation définie par Mottier Lopez comme « la construction dans et par un groupe social donné, des pratiques, normes, valeurs, discours, outils partagés en matière d’évaluation » est relativement récente dans l’institution militaire (Mottier Lopez, 2013). De plus, l’objectif dans notre cadre est d’évaluer un investissement immatériel, donc non matériel et dont le produit est un flux d’informations, qui par essence est difficilement évaluable.
14Nos travaux nous ont conduits à interroger le concept même d’évaluation. Nous avons pu constater que les études sur cette question sont nombreuses. Mais les études ne sont pas encore toutes « tranchées ».
15A notre sens, l’évaluation doit se fonder sur la mesure, c’est-à-dire sur des procédures d’observations, de recueil et de traitement de données à partir desquelles elle va pouvoir se construire (De Ketele, 2016). L’évaluation doit consister en une appréciation ou une estimation. Elle doit donc s’appuyer sur des critères qui peuvent se quantifier. Elle doit reposer aussi sur des critères qualitatifs. Dans ce cadre, l’enquête nous semble primordiale. Pour John Dewey, « L’enquête est générale… elle n’est pas réservée au savant ou au logicien, mais elle est utilisée par tout homme affrontant une difficulté » (Dewey, 1967). Empruntant toujours les propos de Dewey, « La situation qui provoque l’enquête est obscure, troublée, inconnue : il est impossible d’agir à partir d’elle, d’où l’institution de l’enquête […] L’enquête éclairant la situation, celle-ci devient connue, vraie […] La vérité apparait comme la fin (end-in-view) d’une enquête instituée pour élucider une situation indéterminée » (Dewey, 1967 : 35). A notre sens, l’évaluation ne doit pas constituer un contrôle et encore moins un moyen de contrôle, c’est-à-dire « un ensemble de procédures ayant pour objet d’établir la conformité entre…une norme… un modèle et les phénomènes ou objets auxquels on les compare » (Ardoino et Berger, 1989).
16Il se pointe aussi pour nous, la question du glissement possible de la culture de l’évaluation vers la culture du résultat, intimement liée à la mesure de la performance, notamment des organisations publiques. D’ailleurs, cette philosophie de l’évaluation est en train de devenir un mécanisme de gouvernement et de légitimation des organisations de plus en plus puissant, qui fait l’objet de critiques de nombreux auteurs, notamment quand il peut être l’objet d’un pouvoir performatif d’un nouveau genre (Martucelli, 2010).
17Notre objectif est plutôt d’inscrire nos travaux dans une culture d’amélioration et du progrès. Nous emprunterons ainsi plutôt la définition anglo-saxonne de valuation pour notre système de gestion des connaissances, c’est-à-dire d’après Dewey, à la fois le fait de priser (retenir pour précieux) et le fait d’évaluer (attribuer une valeur à) quelque chose, ici notre système (Dewey, 2011).
18Nous nous sommes ainsi appuyés, pour faire émerger des critères, sur la définition de l’évaluation de l’AFNOR comme le « processus consistant à estimer l’efficacité, l’efficience, l’utilité et la pertinence d’un service ou d’une installation » (AFNOR, 2014). L’ensemble de ces réflexions nous ont ainsi permis de conclure qu’un certain nombre d’indicateurs tangibles pouvaient être évaluables :
-
la fréquentation/nombre de connexions au système, indicateur indirect de son efficience ;
-
la satisfaction du système par les usagers, indicateur indirect de pertinence ;
-
l’utilité perçue du système par les usagers, indicateur d’utilité ;
-
le délai de réponse moyen à une demande, indicateur indirect d’efficacité du service ;
-
la performance du système qui tiendrait compte de l’ensemble des indicateurs précédents.
19L’évaluation de la fréquentation d’un service documentaire par le public est l’un des critères habituellement décrits dans la littérature (Accart, 2008 ; Briand, 2002 ; Carbone, 1989). Pour un système d’information, elle s’effectue en consultant les statistiques du nombre de connexions. Cela permet notamment de déterminer la notoriété du service documentaire. Dans notre cas, le nombre de connexions au système constitue un indicateur direct de fréquentation. C’est également un indicateur indirect d’utilisation (qui peut présager de son utilité). Pour ce faire, nous avons comptabilisé le nombre de connexions enregistrées chaque année. Les statistiques de connexion sont en effet souvent exploitées pour évaluer cet aspect en sciences de l’information et de la communication (Lamy, 2001 ; Accart, 2008).
20Depuis leur création, le compteur de la base BÉDOUIN a ainsi enregistré 77 529 connexions, et celui de la base REDUVES 2 918 connexions. BÉDOUIN est donc la base la plus consultée.
21Il nous est cependant difficile de déterminer précisément l’évolution de la fréquentation mensuelle pour chacune des bases dans la mesure où les données recueillies ne nous permettent pas toujours de connaître le mois au cours duquel le nombre de connexions a été relevé. Par exemple, pour l’année 2008, des relevés du nombre de connexions ont été effectués tous les quinze jours, et pour l’année 2014, deux relevés du nombre de connexions ont été effectués à six mois d’intervalle, tandis que pour d’autres années, la date exacte du relevé du nombre de connexions voire même le relevé du nombre de connexions ne nous ont pas été communiqués.
22Toutefois, à partir des données recueillies, nous pouvons proposer une estimation de la fréquentation mensuelle des bases. En moyenne, la base BÉDOUIN comptabilise ainsi 7 752.9 connexions par an et la base REDUVES 291.8 connexions par an. Si l’on ramène cela à une moyenne mensuelle, nous pouvons voir que la base BÉDOUIN comptabilise 646.075 connexions par mois et la base REDUVES 24.31 connexions par mois. Par ailleurs, nous avons pu constater l’augmentation croissante du nombre de connexions au fil des ans.
23Nous avons également questionné cet aspect à travers une enquête par questionnaire. En effet une enquête réalisée en 2015 par questionnaire adressé par mail à un échantillon de 720 médecins, pharmaciens, vétérinaires, scientifiques, dentistes, paramédicaux des armées, en médecine d’unité, en Hôpital d’Instruction des Armées ou en étage décisionnel pris de manière aléatoire et utilisateurs potentiels du système, a permis, après deux relances et un retour de 144 personnes (taux de réponse de 20 %), de mettre en évidence, parmi les personnes interrogées une fréquentation du système de l’ordre de :
-
87% pour BEDOUIN
-
77% pour REDUVES
-
83% pour INTRACESPA
24L’efficience est définie par l’AFNOR et un certain nombre d’auteurs comme la « mesure de l’utilisation des ressources pour atteindre un objectif donné » (AFNOR, 1998b ; Briand, 2002). On peut donc considérer que les statistiques de fréquentations et de connexions données précédemment peuvent constituer un indicateur d’efficience du système.
25La satisfaction des besoins informationnels du public en service documentaire se mesure souvent à l’aide d’entretiens ou d’enquêtes par questionnaires (Accart, 2008) mais aussi à travers les retours écrits que peuvent faire les clients (Briand, 2002).
26Nous concernant, nous avons pu l’évaluer en recensant le nombre de clients ayant exprimé des remerciements au service suite à la réponse apportée à des demandes d’informations, notamment lors de l’épidémie d’Ebola 2014-2015 (cf. Figure 5). Cet indicateur a déjà été décrit dans la littérature (Lamy, 2001).
Figure 5 : Messages de satisfaction lors de l’épidémie d’Ebola
(Source : Auteur)
27Nous avons aussi questionné cet aspect à travers l’enquête citée précédemment. Celle-ci met en évidence, chez les enquêtés consultant les bases :
-
94 % de satisfaction pour le SI BEDOUIN
-
86 % de satisfaction pour le SI INTRACESPA
-
76% pour le SI REDUVES
28La pertinence est définie par l’AFNOR et un certain nombre d’auteurs comme le « degré de corrélation entre la réponse et la question posée » (Briand, 2002 ; AFNOR, 2014). Les statistiques de satisfaction et les relevés qualitatifs donnés précédemment peuvent donc constituer des indicateurs de pertinence du système.
29L’évaluation de l’utilité du système s’est faite notamment à travers l’évaluation de la perception de l’utilité par les usagers eux-mêmes. Cette évaluation a été rendue possible par l’enquête de 2015 citée précédemment qui révèle entre 85 et 95 % d’utilité de l’information en fonction des produits documentaires.
30Les enquêtés citent notamment que les produits documentaires et le système leur ont été utiles pour élaborer des recommandations. Un médecin d’unité cite l’exemple de l’utilité d’un document du système pour anticiper l’exposition solaire de troupes dont il avait la responsabilité et partant en mission en Antarctique.
31D’autres enquêtés citent l’utilité de certains produits pour retrouver des informations utiles sur une pathologie et prendre des décisions thérapeutiques. Par exemple un médecin cite la valeur d’un document retrouvé dans le système en rapport avec un cas de suspicion de leptospirose chez un militaire dans son régiment. Un autre cite l’intérêt d’un document pour traiter un de ses patients atteint d’érysipèle.
32Parmi les décideurs, on retrouve notamment une utilité des contenus dans la cadre de la planification et de la conduite d’OPEX. D’autres décideurs citent l’utilité du dispositif dans le cadre de recherche d’avis d’experts ou de recherche d’informations en préOPEX.
33Plus globalement sont cités l’utilité du système dans le cadre de mises à jour de données épidémiologiques, de recherche d’informations institutionnelles, d’informations sanitaires aux voyageurs, d’informations sur des médicaments, d’aide à la pratique médicale, d’aide à la prise en charge de patients militaires, de recherche d’adresses de correspondants médicaux Outre-Mer, de recherche de textes réglementaires concernant les questions de vaccinations ou de prophylaxie…
34L’offre de services proposée aux usagers du SGC ne se limite pas à l’offre documentaire. Elle peut également porter sur les réponses que le système peut donner à ses clients suite à des demandes d’informations et notamment sur les délais moyens de réponse (Briand, 2002 ; Lamy, 2001) qui constituent aussi un moyen d’évaluer l’efficacité du service.
35Cette réactivité du système a pu être évaluée en mesurant les délais de réponse aux demandes d’information adressées par les clients. C’est un critère souvent évalué en sciences de l’information et de la communication (Briand, 2002 ; Lamy, 2001). Aussi une analyse réalisée durant l’épidémie d’Ébola 2014-2015 (de mars à septembre 2014), sur six demandes a permis de mettre en évidence, dans ce cadre, un délai de réponse moyen entre 39h08 et 39h09, donc inférieur à 48h en période de crise épidémique (cf. Figure 6).
Figure 6 : Délais moyens de réponses aux demandes durant l’épidémie d’Ebola 2014-2015
(Source : Auteurs)
36Les seuls éléments de comparaison que nous ayons concernant ce délai de réponse pour évaluer l’efficacité de ce service sont issus d’études réalisées en bibliothèque qui montrent un délai moyen de réponses aux demandes documentaires de l’ordre de 48 à 84h (Lamy, 2001 ; Briand, 2002 ; Accard, 2008). Cet élément de similitude est à prendre, à notre sens, avec précaution car notre étude a été réalisée en période de crise sanitaire, donc sous contrainte temporelle. Les bibliothèques n’ont souvent pas ce genre de contrainte à gérer dans leurs réponses aux demandes, d’où des délais de réponses pouvant être supérieurs aux nôtres.
37Dans les études que nous avons pu retrouver, la performance d’un service correspondrait à l’équilibre entre son efficacité et son efficience (Carbone, 1998). Ce qui reviendrait à évaluer globalement la qualité de ce service, c’est-à-dire l’« ensemble des caractéristiques d’un produit ou d’un service qui déterminent l’aptitude du centre à satisfaire des besoins explicites ou implicites » (Agence Française de Normalisation, 1998b ; Briand, 2002 ; Accart, 2008).
38Donc, dans notre cadre, on pourrait imaginer un indicateur de performance global qui tiendrait à la fois compte de :
-
la fréquentation/nombre de connexions au système, indicateur indirect de son efficience ;
-
la satisfaction du système par les usagers, indicateur indirect de pertinence ;
-
l’utilité perçue du système par les usagers, indicateur d’utilité ;
-
le délai de réponse moyen à une demande, indicateur indirect d’efficacité du service.
39On pourrait envisager de mener des recherches en collaboration avec des économistes ou des spécialistes en contrôle de gestion afin de proposer des scores pour chacun des différents indicateurs. Nous proposons ainsi la grille d’évaluation en Figure 7 qui serait complétée par des scores pour chacun des indicateurs précédents et qui permettrait d’établir un score de performance global du système. Des tableaux de bords d’évaluation de ces différents indicateurs seraient envisageables pour suivre l’évolution de la performance, par exemple avec des suivis mensuels et/ou annuels.
Figure 6 : Grille d’évaluation de la performance globale du système
Indicateur
-
Score
|
Taux ou % de fréquentation
|
Nombre de connexions
|
Taux ou % de satisfaction
|
% d’utilité perçue
|
Délai de réponse moyen à une demande
|
Indicateur global
|
Indicateur d’efficience
|
Score 1
|
Score 2
|
|
|
|
|
Indicateur de pertinence
|
|
|
Score 3
|
|
|
|
Indicateur d’utilité
|
|
|
|
Score 4
|
|
|
Indicateur d’efficacité
|
|
|
|
|
Score 5
|
|
|
|
|
|
|
|
|
Performance globale du système
|
|
|
|
|
|
Moyenne des Score1
+
Score 2
+
Score 4
+
Score 5
|
40Même si le SGC développé par les armées françaises pour manager la connaissance sur les risques sanitaires au profit des forces ne fait pas de profits financiers, même si l’immatériel se quantifie plus difficilement que le matériel, notre étude a voulu proposer des critères d’évaluations de performance de ce système et transposable à tous les SGC, en termes de satisfaction, utilité, pertinence, efficacité. Ces travaux ont également conduit à nous interroger sur ce que pouvait être l’évaluation dans les institutions publiques dont l’objectif n’est ni la rentabilité, ni la productivité. Aussi ce travail nous amène à questionner les liens qui peuvent unir économie de la connaissance et économie de la santé, des questionnements qui peuvent faire l’objet de collaborations dans le cadre de cette étude avec les économistes de la santé pour tenter de mieux les appréhender.